爬取小猪短租内容

练手,没有爬取图片,难度不大。
构建urls数组。抓取前6页
select找到各个关键点数据
for循环zip()写入字典。

import requests
from bs4 import BeautifulSoup
import time
urls=['http://liuzhou.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1,7)]
def get_onepage(url):
    html=requests.get(url)
    soup=BeautifulSoup(html.text,'lxml')
    titles= soup.select('#page_list   div.result_btm_con.lodgeunitname > div > a > span ')
    introduces=soup.select('#page_list  div.result_btm_con.lodgeunitname > div > em' )
    prices=soup.select('#page_list   div.result_btm_con.lodgeunitname > span.result_price > i')
    imgs=soup.select('#page_list ul img.lodgeunitpic')

    for title ,introduce, price, img in zip(titles,introduces,prices,imgs):
        data={
            "title":title.get_text(),
            "intorduces":introduce.get_text().split('-')[0].strip(),
            "price":price.get_text(),
            "img":img.get('lazy_src'),
        }
        print (data)

for url in urls:
    get_onepage(url)
    time.sleep(2)
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1、通过CocoaPods安装项目名称项目信息 AFNetworking网络请求组件 FMDB本地数据库组件 SD...
    阳明AGI阅读 16,019评论 3 119
  • 逐走 随着人群 随着灯火 默默向前走 停止了思考 也不愿记起曾经
    涵八阅读 186评论 0 2
  • 这个周末推荐一个非常精彩(要啥有啥)的app,叫“英语魔方秀”。特意看了一下,我的第一个配音片段是18年1月份录下...
    梦未央Almost阅读 280评论 0 3
  • 向西走,我没出过玉门关我的春风被关在离天很远的雾霾里 但我听说天的那边有春天和夏天有会唱歌的格桑花有秋天和冬天有牦...
    竹无心a阅读 565评论 2 11
  • 一、卡片是什么? 卡片通常是指那些包含一定图片和文本信息在内的一个长方形,作为指向更多详细信息的一个入口。现如今,...
    三达不留点gpj阅读 9,053评论 12 117