本文目录
如何写出尽量少维护的Xpath表达式
1、预设好规则，一般我们写xpath都是针对一个或多个业务场景来写，我们可以场景分类，也可以xpath表达式的规则分类，具体结合自己的实际情况
2、归纳，xpath针对的情况很多，当时在写的时候也是根据当时的情况来写，很难预测未来的xpath的格式是什么养，所以在写完后，我们还需要在归纳下，归纳通用规则，补充个性化规则，缩少xpath的规模
3、维护，定期维护一下现有的xpath的表达式，前期多花时间，可以增加印象，也能减少后期的维护成本
python爬虫有多少种方式只会最简单的正则表达式，还有其他什么工具吗
这里介绍一种简单的方式—BeautifulSoup，利用BeautifulSoup将爬虫获取到的html页面转化为树形结构，然后再根据需要提取标签的内容及属性，不需要正则表达式，下面我简单介绍一下BeautifulSoup安装和使用，实验环境win10+python3.6+pycharm5.0，主要内容如下：
1.安装bs4，这里直接在cmd窗口输入命令“pip install bs4”就行，如下，很快就能安装完毕：
2.安装成功后，我们就可以进行测试了，为了更好地说明问题，这里假设爬取的数据如下，内容比较简单：
对应的网页源码结构如下：
根据网页结构，解析代码如下，这里我是本地打开html文件，爬虫的话，直接使用requests请求对应的页面（requests.get(url)），解析的方式是一样的：
程序运行截图如下，已经成功获取到数据：
至此，我们就完成了利用BeautifulSoup来解析网页内容，整个过程不需要正则表达式。总的来说，这种方式很简单，对于常见的简单的页面来说，完全够用了（不过，正则表达式的使用范围比较广，建议还是认真学习一下），网上也有相关教程和资料，感兴趣的可以搜一下，希望以上分享的内容能对你有所帮助吧。
用爬虫技术能做到哪些有趣的事情
导语：大数据时代，爬虫技术的作用，超出很多人的想象。
爬虫是啥
可能有些小伙伴不太清楚爬虫技术，这边用比较简单的例子，跟各位小伙伴普及下，可能有些地方不够严谨，不过大概意思应该差不多。
我们最常接触的爬虫技术，大概是：百度的搜索引擎。
可能有些一看到“搜索引擎”这个词，就不想往下看。
那么我用更简单的方式来说明，“搜索引擎”就是基于爬虫技术。
你可以把这个玩意当做一只蜘蛛。
蜘蛛在一张蜘蛛网上面爬来爬去的，找寻它的食物，这只蜘蛛就是爬虫，这张网就是互联网。
那么百度的蜘蛛干了什么事情呢？
我们每天，互联网都会诞生千万亿的信息，而这只蜘蛛就在互联网上，到处爬取信息，把对它有用的信息，收录起来。
当用户搜索的某个词的时候，蜘蛛就会把他搜集到信息，展示给各位小伙伴查看。
这个是最简单的搜索引擎！
不过期间包含非常多的核心算法，小编也不懂，不过上述应该能够让大家了解什么是爬虫技术。
应该有很多互联网工作的小伙伴都懂这个原理，他们口中会经常说“蜘蛛”，基本上就是指这个。
只不过有时候对象可能变成“谷歌”“搜搜”或者“360搜索”，但是基础原理都差不多。
爬虫的作用
那么爬虫技术有什么作用？
用简单粗暴的方式来回答，现在是大数据时代，数据就是王的时代，爬虫技术是获取数据快速而有效的方法。
比如你是一家生产女性bra的商家，你想想要生产销量非常好的bra，那么你想知道，我们天朝的妹纸们底哪些款式或者颜色。
甚至你还想细分到各个年龄层，17岁到25岁的妹纸喜欢什么款式，25岁到35岁的妹纸喜欢什么款式。
那么这个时候要怎么办？
最简单的方法，就是去看下各个电商平台上，售卖出去信息，而这些数据太过庞大，靠人工去统计，基本上是不可能。
这个时候爬虫技术就非常有用了！
比如w3cschool上100多个免费的爬虫实战中，就有一个上述的项目！
小伙伴如果对python爬虫技术有兴趣的话，可以私信w3cshool“爬虫”。
来免费试学《python零基础入门》和《python爬虫技术：完全掌握爬虫技术》的信息！
同时还搭载100多个免费的python爬虫小项目！
爬虫技术能做什么
除了上述一个比较神奇的例子之外，其实爬虫还能够做很多事情！
上面那张图，都是爬虫技术在的实际运用，而且！是免费，提供源代码，获取方式上面已经提到了。
具体的还包含机器学习，大数据分析等比较好玩的技术。
另外有些小伙伴问为什么要用python，这边得澄清下，爬虫技术不仅仅是python这门编程语言可以实现，Java、PHP都可以做到，而且也能做的非常好！
只是目前爬虫技术领域比较热门的编程语言是python，所以小编用python来举例！
以上，如果你喜欢这篇文章，给我来个赞，好么。
