本文目录
请高手介绍下什么是网络爬虫使用的大致技术以及其在互联网的用途
官方的概念自己搜吧，我给你举个简单的例子
比如你想获取互联网上所有的网页，但是网页虽然在那，你却不知道都有哪些，怎么办呢？你可以从一些比较有名的公开页面开始入手，比如搜狐新浪的主页，下载这些页面，然后分析并提取出页面内所有的url，再下载这些url，这样周而复始，就可以获取大量的网页了。因为这个过程就好像蜘蛛在一张巨大的网上爬行，所以就叫爬虫（spider）。
这个概念应该发源于搜索引擎的网页收录，当然也主要应用在搜索界了~
计算机爬虫是什么意思
普通爬虫：从一个或多个初始网页的URL开始，获取该初始网页上的URL，在抓取该网页的过程中，不断地从当前网页提取新URL，然后将该URL放置到队列中，直到系统停止条件满足为止。
焦点搜索：工作流程比较复杂，需要根据某些网页分析算法过滤与主题无关的链接，保留有用的链接，放置到URL队列中等待抓取。接着按照一定的搜索策略，从队列中选择下一步要抓取的网页URL，重复以上过程，直到系统满足一定的条件。另外，所有被爬虫抓取的网页都存储在系统中，进行一定的分析和过滤，并建立索引供日后查询和检索。对焦点爬虫来说，此过程所获得的分析结果也可反馈并指导后续的抓取过程。
很多人开始学习编程和爬虫。ip代理是网络爬虫顺利发展的关键，因为只有大量ip资源才能使您的爬虫程序运行良好，品易HTTP足以满足用户需求。
什么是爬虫系统
这个解释起来比较费劲，需要你有一定的电脑网络知识。
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
爬虫系统是一个很形象的说法，是用来形容象“baidu.com,google.com”等搜索引擎的，在互联网上搜索用户请求的信息象一群虫子一样的的全方位的爬行、搜索！“爬虫系统”这个词变成了搜索引擎的代名词！
简单讲，你可以把它理解为一个更高级，更智能化的搜索引擎升级版。
