本文目录
用python写爬虫有什么优势
python有个爬虫框架叫做
scrapy，这个框架做得很好， 你只需要写抓取链接的提取方法，以及页面内容的抽取方法
一共两个自定义的部分，其他都是框架完成，包括定时，传输介质可以自定义
那你做爬虫效率就高了，
各种语言写网络爬虫有什么优点缺点
如果是一个站点，单一目的，用习惯的语言写吧，学别的语言用的时间都够重构两遍的了。如果是有100左右的站点，做个框架，把你的爬虫管理起来，比起怎么写更重要。ok，以上两个都是 “手动” 写模板的（当然，我们会有一些小插件等辅助工具）。手动写模板的好处是：当站点不多的时候——快，灵活。在这样的场景和目的下，选择你习惯的语言，有最多页面解析和 HTTP 请求支持的库的语言最好。比如 python，java。注意，这么选择的唯一原因是启动成本高于编写成本当你面临的是1000个站点这个量级的时候，可能你需要编写一个模板生成器，当你面临的是 1w 个站点以上，但是是同一类型的站点，可能你需要自动模板挖掘。在这个阶段，算法更重要，所以代码编写的便利程度决定你的选择。当然，当算法稳定之后，就变成下面那个问题了。当你面临的是每天几十亿的网页，来一次全量计算算一周，每个页面需要提取标题，主图，发布时间，网页分块，页面价值。不可能有人给他们写“脚本”，配模板。大量的建树，分词，机器学习，打分，follow 链接质量预测，筛选。占用大量的计算。这个阶段，计算速度就非常重要了，除非你能说服老大，给你加几千台机器。相对于这样的需求，重新编写所有基础组件都可以。语言的选择就会选择执行速度快的了。需要说明的一点是，灵活度，或者说抽取准确性，从上到下是依次递减的。PM也不会要求你能对几百亿的网站准确抽取每个字段对吧。
最后说一下抓取的问题。调度抓取对于每个爬虫都是必要的，但却没什么好说的，不同量级自然有不同的做法，但是这样的系统一般目的明确，少包依赖，不需要你不断修改。并且在架构中，往往可以是独立组件，和下游是不同语言都行，爱用什么写用什么写。。对于机房带宽来说，下行基本是没人用的，只要你和对方网站愿意，抓取速度不是瓶颈。反而，计算对方压力，筛选重复，高质链接更重要。而这又反过来带来了计算的压力。
java和Python哪个适合写爬虫
当然是Python，一般我们都口语化说Python爬虫，爬虫工程师都是用python语言。
Python独特的优势是写爬虫的关键。1)跨平台，对Linux和windows都有不错的支持;2)科学计算、数值拟合：Numpy、Scipy;3)可视化：2d：Matplotlib, 3d: Mayavi2;4)复杂网络：Networkx、scrapy爬虫;5)交互式终端、网站的快速开发。
用Python爬取信息的方法有三种：
1、正则表达式。实现步骤分为五步：1)在tomcat服务器端部署一个html网页;2)使用URL与网页建立联系;3)获取输入流，用于读取网页中的内容;4)建立正则规则;5)将提取到的数据放到集合中。
2、BeautifulSoup。
Beautiful Soup支持各种html解析器，包括python自带的标准库，还有其他的许多第三方库模块。其中一个是lxml parser。借助网页的结构和属性等特性来解析网页的工具，有了它我们不用再去写一些复杂的正则，只需要简单的几条语句就可以完成网页中某个元素的提取。
3、Lxml。Lxml是Python的一个解析库，支持HTML和XML的解析，支持xpath解析方式，而且解析效率非常高。Lxml主要解决三个问题：1)有一个XML文件，如何解析;2)解析后，如果查找、定位某个标签;3)定位后如何操作标签，比如访问属性、文本内容等。
当网页结构简单并且想要避免额外依赖(不需要安装库)，使用正则表达式更为合适。当需要爬取数据量较少时，使用较慢的BeautifulSoup也可以的。当数据量大时，需要追求效益时，Lxml时最好选择。
爬虫是一个比较容易上手的技术，也许你看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，并不是1*n这么简单，因此很多企业都在高薪招聘Python精英人才。
易语言和python比哪个更好更容易
虽然我很支持国产，但我不得不说，易语言一无是处，它甚至不能称为一门语言，顶多算个IDE工具。python是一门脚本语言，功能还不错，但目前还不能编写手机软件。编程中出现乱码是非常正常的，基本所有的编程语言，都会有中文乱码这个问题，这个问题大多出在出入口编码不一致这个问题上。
若是想做C/S
也就是桌面应用程序，建议学C(C/C++/C#)，如果想做B/S
也就是WEB应用程序，建议学Java或者PHP
易语言好用还是python语言好用
python适合做框架程序，就是把其他编程语言的程序组合起来。不要用python做太多行的代码，python不适合写超长程序。
C语言和Java是可以用于嵌入式的，产品数量非常大，但程序员数量却相对很少。ARMv7和CORTEX-M还是以C为主，支持C++的后缀名，但不能使用C++的语法。CORTEX-A支持C++和Java。
C++主要用来做工业软件。因为自动化工程师在学校都学的是C++，所以很自然就用的是C++。其实Java也很好用，但Java更适合做复杂系统，C++适合做复杂动作。由于Java不支持指针，导致对共享内存的处理和对系统内核的处理都需要频繁的拷贝，所以做需要频繁访问驱动的复杂动作的时候性能会很差。C++语言安全性不好，对于大型多机控制系统要处理的东西太多了，做大型复杂控制系统不好用。另外，C/C++也用来做大型游戏软件。游戏软件需要把最后的图形渲染放在显卡内部完成，也是需要频繁调用驱动。
Java主要用于大型复杂系统和快速开发具有很高灵活性的桌面软件。Java的灵活性非常接近于C++，支持JME游戏引擎，已经淘汰的AWT/swing可以自由地设计自定义控件，JavaFX则是提供了丰富的控件，每个控件都有非常复杂的属性参数表，可以轻松做出C++都不敢做的高端界面。Java内置的通信、并发容器类则使其能够快速开发网络和高并发应用。做Web前端不需要Java。
Qt、Visual Basic现在主要用于工业软件，Qt能力更大可以做所有的事情，因为Qt是对C++的简单升级，封装程度就比MFC高一点，但是Qt有自己的语法，所以可以认为是新的编程语言。Visual Basic则是给不会编程的自动化工程师使用的，功能比较简单，容易上手，不好下手。
VBS、JS用于组态软件脚本，VBS又用于Windows系统功能调用，JS又用于动态网页。
