爬虫就是从网络上发现你想要数据的工具。

来自网络

大互联网公司

我原来在互联网公司，觉得获取数据so easy。只要你需要，好像各种数据都有，数据多到必须把一些不是很重要的的数据按期老化掉，不重要的数据不接受。

传统行业和小公司

离开大互联网公司后，接触的公司也比较多了，原来很多公司都没有数据，但是还是想搞大数据。我原来也是不理解，你没数据搞啥大数据吗？这不是让马儿跑，还不给马儿草么。
但是，现在我不这样想了。在大数据的热潮下，大家都怕错过这个风口，所以必须参加进来；再大数据对传统行业的改变，大家也有目共睹，比如uber对打车的改变，余额宝对金融的改变等。所以我们需要想办法获取数据，而不是没有数据我们就不搞大数据了。

数据来源

一方面，使自己的产品互联网化，数据可以积累起来，但是路程漫长。
另一方面，从互联网中获取数据。但是互联网中的数据又不开放，那么爬虫就派上用场了，而且还可以快速获取数据。

专题主要内容

• 爬虫技术交流
• 数据分享