1.前言
我有个习惯就是收藏一些书籍，比如说编程类的，总是会去某些网站刷刷，若有新书籍更新恰又是自己感兴趣的，自然会立马下载下来，�写程序的都知道，编程书籍更新换代太快，国内的翻译的速度很难全面地跟上，对此，阅读国外的电子书籍是个途径。
很早就想写个书籍集成的脚本，本周女朋友回学校改论文，鬼使神差地做起了这件事，白天上班，晚上撸，准备集成四个网站，目前实现了两个，可以进行搜索和下载。前后花了四个晚上，有点黑眼圈。
�下面展示下0.1版本的成果，比如说检索Mastering python，空格用+代替。
python abook.py search Mastering+python Hattem
2.说明
项目名称叫做ITBooks，当然不准备只做IT方面书籍，文学名著也是可以的。
ITBooks，是一个查询和下载书籍的python脚本。
目前只存储了allitebooks blah网站的书籍信息，接下来会更多的集成各个网站，因为想写成个人服务脚本，故使用sqlite3数据库，使用 scrapy爬取信息，具体看ITBooks/spider/allitebooks，爬虫部分可直接运行从而进行书籍信息更新；你可以通过变写爬虫来添加自己喜欢的网站。
添加爬虫只需要在ITBooks/spider/allitebooks/spider，下新建一个scrapy的爬虫脚本即可，对于数据的存储，具体在ITBooks/database，当然，你可以直接新建一个库。
这里放个allitebooks的爬虫脚本，这里说明下，这个良心网站很不错，希望各位爬的时候慢点。不然崩了大家都玩完。
# -*- coding: utf-8 -*-
import datetime
import sys
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose, TakeFirst, Join
from scrapy.http import Request
from allitebooks.items import AllitebooksItem
from allitebooks.pipelines import AllitebooksPipeline
if sys.version_info[0] > 2:
from urllib.parse import urljoin
else:
from urlparse import urljoin
class AllitebooksSpider(scrapy.Spider):
name = "allitebooks"
allowed_domains = ["allitebooks.com"]
start_urls = ('http://www.allitebooks.com', )
def parse(self, response):
"""
Get the next pages and yield requests
:param response:
:return: request url
"""
pages = response.css('.pagination>a::text').extract()[-1]
for page in range(int(pages)):
# Generate a list of urls
url = urljoin(response.url, '/page/' + str(page + 1))
yield Request(url, callback=self.parse_detail)
def parse_detail(self, response):
"""
Get item URLs and yield Requests
:param response:
:return: request url
"""
urls = response.css(
'article>div.entry-body>header>.entry-title>a::attr(href)'
).extract()
for url in urls:
# Remove duplicate links
sqlDb = AllitebooksPipeline()
isExist = sqlDb.search_url('allitebooks', url)
if not isExist:
yield Request(url, callback=self.parse_item)
def parse_item(self, response):
"""
This function parses a property page.
:param response:
:return: item
"""
# Create the loader using response
l = ItemLoader(item=AllitebooksItem(), response=response)
# Load primary fields using css expressions
l.add_css('title', '.single-title::text', MapCompose(str.strip))
l.add_css('cover', '.entry-body-thumbnail>a>img::attr(src)')
book_details = response.css('.book-detail>dl>dd::text').extract()
author_list = response.css(
'.book-detail>dl>dd:nth-child(2)>a::text').extract()
category_list = response.css(
'.book-detail>dl>dd:nth-child(16)>a::text').extract()
author = ','.join(author_list)
category = ','.join(category_list)
book_details = book_details[len(author_list):(-len(category_list))]
l.add_value('author', author, MapCompose(str.strip))
l.add_value('category', category, MapCompose(str.strip))
item_name = "isbn year pages language file_size file_format".split()
for index, value in enumerate(item_name):
l.add_value(value, book_details[index], MapCompose(str.strip))
l.add_css('description', '.entry-content')
l.add_css('download', 'span.download-links>a::attr(href)',
MapCompose(str.strip), TakeFirst())
# Housekeeping fields
l.add_value('url', response.url)
l.add_value('spider', self.name)
l.add_value('date', datetime.datetime.now())
yield l.load_item()
现在就是由于想在本地运行，对于自动更新是个问题，本来想使用celery将scrapy爬虫弄成一个个任务，我是可以在机器上这样部署，可是这对于使用者不大现实，目前是手动更新（确实很挫）。
接下来说说使用方法，如果你感兴趣，可以试试_
脚本在python2.7+和python3下都可以运行，我测试过，但是爬虫却没在python2下测过，所以我建议还是用3吧。
运行以下命令：
git clone https://github.com/howie6879/ITBooks
cd /ITBooks/ITBooks
python abook.py search Mastering+Python Hattem
具体使用方法如下：
python abook.py search <title> <author>
python abook.py title <title>
python abook.py author <author>
也在根目录下写了个bash，其实没什么差别：
bash run.sh [search|title|author] <value>
总结
写在最后，本人技术微末，如果错漏，欢迎指教，项目github地址在这里ITBooks，欢迎各位添砖加瓦。
