爬虫之JAVA搜索引擎爬虫识别

所谓人之初性本善，爬虫诞生之初也是善良的，但是随着时代发展，尤其大数据｜机器学习等兴起之后，爬虫也像慢慢长大的人一样，有了善意与恶意之分（说明：爬虫技术无分善恶，这里指技术利用，最好遵循reboot君子协议，至少不要把人家爬瘫吧）。

1、善意爬虫

善意爬虫最常见的莫过于各个大的搜索引擎厂家，他们释放数以亿计的爬虫每天孜孜不倦的穿梭于各个服务之间，收录我们的网站服务信息，以供用户检索查询（虽然搜索出来大多数都是广告），作为网站服务的运营商，每天都大开方便之门欢迎他们来爬，虽偶尔会造成服务器压力，可以通过君子协议约束（如reboot文件），这种爬虫就可定义为善意的。

2、恶意爬虫

恶意的爬虫就不那么友好了，有的是小恶、有的是万恶；常见的小恶：每年的毕业设计来临之季，有些做数据分析相关毕设的同学，为了收集数据，释放了N多个小爬虫在网上乱窜。最重要的是：同学收集好了数据，记得关一下呀，交了毕设，爬虫也被抛到九宵云外，这些无人认领的小爬虫也就成了僵尸爬虫，这种往往是小恶。
常见的大恶：有没有想过为啥抢不到火车票、为啥抢不到专家号，因为你的手不可能快过爬虫；还有一些所谓大数据创业公司，他们的大数据从哪来？爬虫；这些收集来的数据其中就有很多敏感的个人信息数据，比如某些提供征信服务的小公司，比如某简历大数据公司被“一锅端”（网上可查）；这些涉及个人敏感数据非法收集的都是大恶了，还有那些把别人服务器爬瘫的等等。

3、惩恶扬善

理清楚了善恶，就要惩恶扬善了；在发赏善罚恶令之前，要先识别善恶，辨恶通常的手法是：1、IP频次识别 2、UA判断 3、Referer判断 4、参数hash验证等手段，这里不是今天的重点（以后详谈识别防护）。重点扬善，就是如何识别善意爬虫，要不花那么多钱做SEO不是打水漂了。

４、JAVA识别善意爬虫

技术手段很简单，就是通过IP域名反查来实现,window下通过nslookup、linux下通过host来反查，不扯淡，直接上代码（DEMO）。

public class nslookup {

    public static void main(String args[]) {
        System.out.println(spiderBGMU("111.206.221.6"));
        System.out.println(spider360("180.153.232.12"));
    }

    // 百度匹配 http://help.baidu.com/question?prod_id=99&class=476&id=2996
    /*
     * baidu.com baidu.jp 111.206.221.6 百度 
     * googlebot 66.249.67.254 谷歌
     * msnbot-103-25-156-254.search.msn.com 103.25.156.254 必应
     * unknown-68-180-228-x.yahoo.com 68.180.228.254 雅虎
     */
    private static boolean spiderBGMU(String ip) {
        String command = "host"; // 默认linux
        Properties props = System.getProperties();
        String osName = props.getProperty("os.name");
        if (osName != null && osName.toLowerCase().contains("win")) {
            command = "nslookup";
        }

        try {
            Process p = Runtime.getRuntime().exec(command + " " + ip); // host
            BufferedReader br = new BufferedReader(new InputStreamReader(p.getInputStream()));
            String inline;
            StringBuffer sb = new StringBuffer("");
            while ((inline = br.readLine()) != null) {
                sb.append(inline).append(" ");
            }
            br.close();
            System.out.println("baidu>>>" + sb);
            return sb.indexOf("baidu.com") > 0 || sb.indexOf("baidu.jp") > 0 || sb.indexOf("googlebot") > 0
                    || sb.indexOf("msnbot") > 0 || sb.indexOf("yahoo.com") > 0;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }

    // 360匹配 http://www.so.com/help/spider_ip.html
    // 这里实现非精确匹配，如果需要精确，可以下载全量列表
    private static boolean spider360(String ip) {
        String item = " 180.153.232.*,180.153.234.*,180.153.236.*,180.163.220.*,42.236.101.*,42.236.102.*,42.236.103.*,42.236.10.*,42.236.12.*,42.236.13.*,42.236.14.*,42.236.15.*,42.236.16.*, 42.236.17.*,42.236.46.*,42.236.48.*, 42.236.49.*,42.236.50.*, 42.236.51.*,42.236.52.*,42.236.53.*,42.236.54.*,42.236.55.*,42.236.99.*";
        System.out.println("360>>>" + objIP);
        if (item.contains(objIP)) {
            return true;
        }
        return false;
    }
}

最后编辑于：2019.04.20 15:36:21