爬虫:
以上平台或者机构不能够提供我们需要的数据,
这时就需要爬虫工程师,根据需求从互联网上抓取数据?
什么是爬虫?
就是一段自动抓取互联网数据的程序或脚本
爬虫最基本的步骤:
1.寻找目标url,发起请求
2.获取请求的响应结果,分析响应结果
3.从响应结果中提取数据
a.第一部分,从网页中提取的目标数据
b.如果存在新的url地址,则提取,继续发起请求
爬虫结束:
所有的目标url全部请求完毕,爬虫结束
爬虫的分类(通用爬虫,聚焦爬虫):
通用爬虫:
是搜索引擎的重要组成部分
作用和目的:尽可能全的将互联网上所有的网页下载到本地,通过分词,去噪等进行预处理,处理后进行数据的持久化(镜像备份),然后提取检索系统
爬虫的用途
1.搜索引擎
2.咨询新闻网站
3.购物助手（慧慧购物）
4.数据分析与研究积累原始数据资源
5.抢票软件等
获取数据的步骤):
a.获取一些种子url,放入待爬取队列
b.从待爬取队列中取出url发起请求,将获取的响应结果
进行处理,之后存入本地,然后将已爬取的url,放入已爬
取队列
c.从响应结果中获取外链(url),将url放入待爬取队列中
DNS服务:将域名转换为ip的技术
搜索引擎如何获取新网站的url:
1.向搜索引擎直接提交url地址(https://ziyuan.baidu.com/linksubmit/url)
2.通过网页的外链
3.跟DNS服务商合作,新网站注册的域对应的网
站将会迅速被搜索引擎抓取
搜索引擎的排名:
1.根据用户的访问量和网站的流量进行的排名
2.竞价排名:根据价钱进行网站的排名
搜索引擎需要遵守robot协议:
是一个规范,网站通过robot协议告诉搜索引擎哪些页面可以爬取,哪些页面不可以爬取
https://www.taobao.com/robots.txt
User-agent: Baiduspider(搜索引擎爬虫名称)
Allow: /article (允许爬取的url)
Disallow: /product/ (不允许爬取的url)
搜索引擎的缺点:
1.只能够获取简单的文件数据,大型的二进制数据(音频,视频)都不能够获取
2.搜索引擎搜索的结果千篇一律,没有办法根据特定的用户,特定的需求获取特定的数据
3.搜索引擎搜索结果99%并没用
由于搜索引擎的缺点,产生了聚焦爬虫
聚焦爬虫:
是面向主题,面向需求的爬虫,只获取跟需求相关的数据
