GO------爬虫

首先需要下载gopm具体网上百度、需要翻墙、如果读者实在找不到可以留下邮箱我把所需要的文件发各位邮箱

此次小案例是我跟着慕课网的视频学习的、说实话、老师将确实不错

整体的算法:


首先准备如下文件夹



然后我们定义所需要的全局变量

在engine文件下建立types.go、Nilparse是为了测试所用

准备main函数入口

在fetcher中的fetcher.go中



在这里用的peek我实在是有点难以理解、如果有懂的大神希望给小女子提点一下、peek其实只是取出1024个字节的数据、但是读取的数据不可能仅1024、其他的就不读了么?

在zhenai /parser的citylist函数中



在engine文件下的engine.go中




我自己对这一部分的操作做了一个简单的总结


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容