__author__ = 'Lee'
from bs4 import BeautifulSoup
import requests
'''
用这个爬取58中二手的分栏
'''
start_url = 'http://bj.58.com/sale.shtml' #开始的页面
url_host = 'http://bj.58.com'
def get_channel_urls(url):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
links = soup.select('ul.ym-submnu > li > b > a')
for link in links:
page_url = url_host + link.get('href')
print(page_url)
python mongodb爬取58网站
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 序 出于了解HTTP和爬虫的目的，于是就有了一个自己动手实现一个爬虫，并在此之上做一些简单的数据分析的想法。有两种...
- 今天是4.13号。 昨天把会议论文算是完成任务的写完然后提交了，而实习还没有找上，所以最近一段时间应该都会整天在实...
- 起因：学校项目实训，要求我们爬取招聘网站信息并对其进行分析，在此我和大家分享一下关于我爬取58同城招聘网站信息的过...
- 爬虫学习记录 获取58同城上的招聘信息 爬虫的意义 我们编写爬虫就是把网页中的关键信息爬取下来，然后做分析，现在是...
