注意：因为Pixiv不能直接访问，因此需要设置代理，代理问题请自行解决
这是一个简单的正则爬虫，根据正则表达式来进行内容匹配，获取到图片链接并下载
==文章末尾有全部代码==
流程分析
先进行一个简单的流程分析
首先我们需要向 pixiv日榜页面 发请求，拿到响应信息，对响应信息的Body部分进行正则匹配，拿到每张图片的pid(图片对应的唯一数字id，类似于B站的av号)
之后用拿到的pid组成该图片详细信息页面的地址，Pixiv的插画地址一般就是 https://www.pixiv.net/artworks/ + pid
例如
https://www.pixiv.net/artworks/97339160
之后向pid对应的地址发请求，拿到响应信息，仍然是通过正则匹配获取到图片的下载地址
最后再通过下载地址下载图片即可
整个流程是非常简单的
准备一些东西
要爬取的页面，也就是Pixiv插画日榜： https://www.pixiv.net/ranking.php?mode=daily&content=illust
代理，这里自行解决
几个正则表达式，用到会说
全局变量
var (
beforeRank = 10 // 爬取榜单前多少位的作品
dirLoc = "D:/Pixiv日榜/" // 保存目录
u, err = url.Parse("http://127.0.0.1:41091") // 代理（这里用的是自己的代理
aimUrl = `https://www.pixiv.net/ranking.php?mode=daily&content=illust`
chanImgUrls chan string // 图片下载链接管道
chanTask chan string // 任务数目管道
waitGroup sync.WaitGroup // 这个建议直接到标准库sync看看什么东西
rePid = `<a href="//www.greatytc.com/artworks/\d+"class="work _work "target="_blank">`
reImg = `https://i.pximg.net/img-original/img[^\"]+?(\.((jpg)|(png)|(jpeg)|(gif)|(bmp)))`
// 使用代理
client = http.Client{
Transport: &http.Transport{
Proxy: http.ProxyURL(u),
},
}
)
设置代理
这部分是在全局变量里的
u, err := url.Parse("http://127.0.0.1:41091") // 这里用的是自己的代理
client := http.client{
Transport:&http.Transport{
Proxy: http.ProxyURL(u),
},
}
发请求，获取响应体
用上面创建的的client来发请求
func GetPageStr(url string)(pageStr string){
resp, err := client.Get(url) // resp为响应信息
handleError(err,"client.Get") // 错误处理函数，下面会写
defer resp.Body.Close() // 使用完记得关掉
pageBytes, err := ioutil.ReadAll(resp.Body) // 读取respBody内容
handleError(err,"ioutil.ReadAll")
pageStr = string(pageBytes) // 将其转为字符串返回
return
}
// 错误处理函数
func handleError(err error, why string){
if err != nil{
fmt.Println(err, why)
}
}
获取排行榜页面的pid
通过上个函数我们拿到了排行榜页面的html字符串形式，之后我们就开始用正则表达式来匹配获取排行榜页面的pid
第一个正则，来锁定pid所在的a标签
// 这个放在全局变量那边
rePid = `<a href="//www.greatytc.com/artworks/\d+"class="work _work "target="_blank">`
// GetPid 获取排行榜整页的pid
func GetPid(url string) (urls []string) {
pageStr := GetPageStr(url) // 调用GetPageStr获取排行榜页面的html文档转化成的字符串
re := regexp.MustCompile(rePid) // 解析并返回一个RegExp
results := re.FindAllStringSubmatch(pageStr, -1) // 正则匹配得到含有目标pid的a标签
rePid := regexp.MustCompile(`\d+`) // 这里使用了第二个正则，主要是从a标签里只拿到pid
fmt.Printf("共找到%d条结果\n", len(results))
for _, result := range results {
url := rePid.FindString(result[0]) // 正则匹配a标签中的pid
urls = append(urls, url) // 将匹配结果添加到urls数组中
if len(urls) == beforeRank { // 这里是用来限制要爬取图片pid的数量，before也在全局变量那边
break
}
}
return
}
获取pid所对应的图片链接
我们在main函数那边调用时，将pid组装成了一个对应图片所在的详情链接
意思就是，传入的参数是： https://www.pixiv.net/artworks/ + pid
这里用到了下一个正则：原图链接
// 同样在全局变量那里
reImg = `https://i.pximg.net/img-original/img[^\"]+?(\.((jpg)|(png)|(jpeg)|(gif)|(bmp)))`
// GetImgUrls 获取当前pid所对应的图片链接
func GetImgUrls(url string) {
pageStr := GetPageStr(url) // 调用GetPageStr获取排行榜页面的html文档转化成的字符串
reImg := regexp.MustCompile(reImg) // 解析正则
results := reImg.FindAllStringSubmatch(pageStr, -1) // 正则匹配，获取当前页的插画原始链接
chanImgUrls <- results[0][0] // 将其放进图片下载链接管道
chanTask <- results[0][0] // 也将其放进任务数目管道中
waitGroup.Done() // waitGroup -1，在全局变量中
}
下载图片
这里分成了两个函数，原因是写在一起太乱了
DownloadImg()主要用来组建文件名，然后调用Download()函数，根据返回值判断下载是否成功
// DownloadImg 下载图片
func DownloadImg() {
for url := range chanImgUrls {
urlSp := strings.Split(url, "/")
fileName := fmt.Sprintf("%s_%s_%s_%s_%s_%s_pid_%s", urlSp[5], urlSp[6], urlSp[7], urlSp[8], urlSp[9], urlSp[10], urlSp[11])
ok := DownloadFile(url, fileName)
if ok {
fmt.Printf("%s下载成功！\n", fileName)
} else {
fmt.Printf("%s下载失败！\n", fileName)
}
}
waitGroup.Done()
}
通过观察图片下载链接发现
https://i.pximg.net/img-master/img/2022/04/13/11/48/31/97589364_p0_master1200.jpg
链接后面有该图片的上传日期以及pid，图片格式信息
因此这里采用的文件命名格式是这张图片
作者上传时的年_月_日_时_分_秒_pid_图片pid以及图片格式
不同的网站有着不同的反爬方式，而pixiv中的一个反爬方式便是检查访问来源是否是pixiv的域名，因此我们需要给请求头添加一个referer（访问来源）
之后的部分就是文件读写，就不在多说了
// DownloadFile 文件下载
func DownloadFile(url, fileName string) (ok bool) {
// 由于pixiv的图片访问来源需要是pixiv域名下url，因此需要加一个referer
req, err := http.NewRequest("GET", url, nil)
handleError(err, "DownloadFile http.NewRequest")
req.Header.Add("referer", "https://www.pixiv.net/")
resp, err := client.Do(req)
handleError(err, "DownloadFile http.Get")
defer resp.Body.Close()
bytes, err := ioutil.ReadAll(resp.Body)
handleError(err, "DownloadFile ioutil.ReadAll")
year, month, day := time.Now().Date()
dirName := fmt.Sprintf("%v年%v月%v日", year, int(month), day)
mdirerr := os.MkdirAll(dirLoc+dirName, os.ModePerm)
handleError(mdirerr, "新建文件夹")
fileName = dirLoc + dirName + "/" + fileName
//fileName = dirLoc + fileName
// 写出数据
err = ioutil.WriteFile(fileName, bytes, 0666)
if err != nil {
handleError(err, "文件写出错误，请检查路径是否出现问题")
return false
} else {
return true
}
}
main方法
func main() {
// 1. 初始化管道
chanImgUrls = make(chan string, 10) // 图片下载链接管道
rankPid := GetPid(aimUrl) // 拿到pid数组
chanTask = make(chan string, beforeRank) // 任务数目管道
// 2.爬虫协程 通过pid获取图片链接
for i := 0; i < len(rankPid); i++ {
waitGroup.Add(1) // 每运行一个协程，waitGroup + 1
go GetImgUrls("https://www.pixiv.net/artworks/" + rankPid[i])
}
waitGroup.Add(1)
go checkOk()
// 3.下载协程
for i := 0; i < 5; i++ {
waitGroup.Add(1) // 每运行一个下载协程，waitgroup+1
go DownloadImg()
}
waitGroup.Wait() // Wait方法阻塞直到WaitGroup计数器减为0。
fmt.Println("爬取结束！")
}
检测pid爬取任务是否完成
完成后关闭chanImgUrls管道
func checkOk() {
var count int
for {
url := <-chanTask
fmt.Printf("%s完成了爬取任务\n", url)
count++
if count == beforeRank {
close(chanImgUrls)
break
}
}
waitGroup.Done()
}
