#!/usr/bin/env python
# _*_ coding:utf-8 _*_
__author__ = 'junxi'
import urllib.request
import re
import sys
# reload(sys) # python 2需要设置这个, python 3不需要
# sys.setdefaultencoding('utf-8') # 输入内容为 utf-8编码
def get_content(page_num):
url = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=000000%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keyword=python&keywordtype=2&curr_page={}&lang=c&stype=1&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&list_type=0&fromType=14&dibiaoid=0&confirmdate=9'.format(page_num)
a = urllib.request.urlopen(url) # 打开网页
html = a.read()
html = html.decode('gbk')
# print(html)
return html
# get_content('3')
def get(html):
# (.*?)是取出来, .*?是匹配到但是不取出来
reg = re.compile(r'class="t1 ">.*?<a target="_blank" title="(.*?)".*?<span class="t2"><a target="_blank" title="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*?<span class="t5">(.*?)</span>',re.S)
items = re.findall(reg, html)
# print(items)
return items
# a = get_content('3')
# get(a)
for single_num in range(1, 10):
html_content = get_content(single_num)
for i in get(html_content):
print(i[0], i[1], i[2], i[3])
with open('51job_python.txt', 'a') as f: # a 追加模式, 创建新文件
f.write(i[0] + '\t' + i[1] + '\t' + i[2] + '\t' + i[3] + '\n\n')
f.close()
python 爬取 51job招聘信息
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 爬虫学习记录 获取58同城上的招聘信息 爬虫的意义 我们编写爬虫就是把网页中的关键信息爬取下来，然后做分析，现在是...
- 网页源码解析 - 智联招聘信息页面 根据招聘列表里面跳转过来的详细招聘信息页面。爬虫再根据这里进行关键信息提取。相...
- 本文源代码在 https://github.com/zhangshier/-.git 可下载 安装 pip ins...
