done 爬虫运行正常 跳页 页面标签去重 mongoDB使用 容错设计 感悟 凌晨四点完成程序和ppt 久违的程序员感 todo 改递归(内存泄漏) 插入数据时检测重复(唯一索引) 参考 mongodb去除重复的数据 java对mongo的一些去重、分组聚合、分页查询等操作