什么是爬虫技术 什么是爬虫技术?怎样来判断爬虫行为是不是合法的?

【什么是爬虫技术 什么是爬虫技术?怎样来判断爬虫行为是不是合法的?】

什么是爬虫技术 什么是爬虫技术?怎样来判断爬虫行为是不是合法的?

文章插图
1、爬虫技术即网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本 。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫 。
2、网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:通用网络爬虫(GeneralPurposeWebCrawler)、聚焦网络爬虫(FocusedWebCrawler)、增量式网络爬虫(IncrementalWebCrawler)、深层网络爬虫(DeepWebCrawler) 。实际的网络爬虫系统通常是几种爬虫技术相结合实现的 。

    推荐阅读