Java网络爬虫实操（1）

大家好，说起爬虫相信很多程序员都听到过，简单来讲就是自动批量抓网络上信息的程序。接下来我结合github上一个爬虫框架NetDiscovery进行演示。

NetDiscovery

1 ）为什么要用框架？

框架能够帮助我们处理一些基础的、与目标任务没直接联系的工作，让我们专注在目标任务上。尤其对于爬虫初学者来说，很快就能体会到操作爬虫带来的效果与成就感，而不必去操心额外的事情。等入了门，再尝试不依赖框架独立从零写一个爬虫程序，然后再去研究别人已经搭建好的爬虫框架，等到能阅读爬虫框架源代码以后，相信您已经对网络爬虫有一定的研究了。

2 ）演示环境

Java JDK8、IntelliJ IDEA、Google Chrome
爬虫框架NetDiscovery：https://github.com/fengzhizi715/NetDiscovery/

3 ）确定爬虫任务

从某人才招聘网上获取指定的岗位信息：公司名称、岗位名称

4 ）人肉分析网页

用chrome浏览器打开目标网页，输入查询条件，找到展示岗位信息的网页：

网页信息

红框位置里的文字是我们计划要写程序去自动获取的信息。

这个环节的分析工作很重要，我们要对抓取的目标网页、目标数据有明确的了解。人眼已经能看到这些信息了，接下来就是写程序教电脑去帮我们抓取。

5 ）创建Java工程

创建一个gradle的java工程：

创建Java工程

build.gradle

在项目中添加爬虫框架NetDiscovery的两个jar包，目前版本是0.0.9.3，版本不高，但版本的更新迭代很快，相信是一个有成长力的框架。

group 'com.sinkinka'
version '1.0-SNAPSHOT'

apply plugin: 'java'

sourceCompatibility = 1.8

repositories {
    maven{url 'http://maven.aliyun.com/nexus/content/groups/public/'}
    mavenCentral()
    jcenter();
}

dependencies {
    testCompile group: 'junit', name: 'junit', version: '4.12'

    implementation 'com.cv4j.netdiscovery:netdiscovery-core:0.0.9.3'
    implementation 'com.cv4j.netdiscovery:netdiscovery-extra:0.0.9.3'
}

如果下载不了，请配上阿里云镜像地址：

http://maven.aliyun.com/nexus/content/groups/public/

6 ）代码实现

参考框架中example模块下的示例代码，以及另一个实例项目：
https://github.com/fengzhizi715/user-agent-list

创建main方法的入口类，在main里启动爬虫
针对目标网页的解析，需要创建实现parser接口的类
从html字符串中抓取目标内容有多种方法，比如xpath、jsoup、正则表达式等

在java的main方法里编写如下代码：

package com.sinkinka;

import com.cv4j.netdiscovery.core.Spider;
import com.sinkinka.parser.TestParser;

public class TestSpider {
    public static void main(String[] args) {

        //目标任务的网页地址，可以拷贝到浏览器去查看
        String url = "http://www.szrc.cn/HrMarket/WLZP/ZP/0/%E6%95%B0%E6%8D%AE";

        //依靠NetDiscovery，我们只需要写一个parser类就可以实现基本的爬虫功能了
        Spider.create()
                .name("spider-1")         //名字随便起
                .url(url)
                .parser(new TestParser())  //parser类
                .run();
    }
}

TestParser类的代码：

package com.sinkinka.parser;

import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.parser.Parser;
import com.cv4j.netdiscovery.core.parser.selector.Selectable;
import java.util.List;

/**
 * 针对目标网页的解析类
 */
public class TestParser implements Parser {

    @Override
    public void process(Page page) {

        String xpathStr = "//*[@id=\"grid\"]/div/div[1]/table/tbody/tr";
        List<Selectable> trList = page.getHtml().xpath(xpathStr).nodes();

        for(Selectable tr : trList) {
            String companyName = tr.xpath("//td[@class='td_companyName']/text()").get();
            String positionName = tr.xpath("//td[@class='td_positionName']/a/text()").get();

            if(null != companyName && null != positionName) {
                System.out.println(companyName+"------"+positionName);
            }
        }
   }
}

运行结果：

运行结果

7 ）总结

本文依赖爬虫框架，用尽量简单的代码演示了抓取网页信息的一种方法。后续会发布更多实操性的内容供大家参考。

NetDiscovery爬虫框架的基本原理图