一句话介绍：
用程序模拟人登录网页进行成绩查询的行为。
流程
使用工具
- python2.7
- pycharm（断点调试）
- firefox浏览器(Firebug)
- wireshark
基本信息
- 教务系统有3个服务器，内网ip
- 10.50.17.1
- 10.50.17.10
- 10.50.17.21
- IIS
- 正方教务系统是ASP.NET开发的
1.登录：
我们需要post过去的数据：
tbYHM:用户名
tbPSW"密码
TextBox3:验证码
RadioButtonList1：身份选项（学生）
_VIEWSTATE:
tip1:_VIEWSTATE作用？
在当前页面中保存数据的.
像session.是会话级别的.只要会话没有过期.session中存的数据就在.
viewstate是页面级别的.只要这个页面在.viewstate中存的数据就在.
保存了控件的很多状态信息的一个东西，用base64编码在客户端保存，每次提交时，返回到服务器，服务器再解析出这些控件的状态
tip2:
乱码是因为编码问题
1.1验证码处理
识别办法：
- 自动识别
- 调用各种高级的库
- 找验证码识别网站的接口
- 人工识别
水平有限，所以选择人工识别：
在default.aspx页面源代码中可以找到验证码的链接，然后下载下来
<div class="left"><img id="icode" src="CheckCode.aspx" onclick="reloadcode();" alt="看不清，换一张" title="看不清，换一张">
1.2cookie处理
Python提供了一个模块叫做cookielib,我们要构建一个cookie的处理器来存储访问网站所得的cookie
# cookie and opener
studentCookie = cookielib.CookieJar() #创建CookieJar对象，自动管理cookie
#创建pageOpener对象，把cookiejar塞进去，每次打开页面都会自动使用cookie
pageOpener = urllib2.build_opener(urllib2.HTTPCookieProcessor(studentCookie))
1.3字符编码处理
网页编码：gbk编码
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
python编码：
默认：ascii编码
一般：utf-8编码
我在Linux下用gedit写代码的时候，自动默认成gbk编码了
1.4 _VIEWSTATE处理
可以在default3.aspx页面源码下找到
<input type="hidden" name="__VIEWSTATE" value="dDw1NjkwNTA3NjQ7dDw7bDxpPDE+Oz47bDx0PDtsPGk8Mz47aTwxND47aTwxNz47PjtsPHQ8cDxsPFZpc2libGU7PjtsPG88Zj47Pj47Oz47dDxwPDtwPGw8b25jbGljazs+O2w8d2luZG93LmNsb3NlKClcOzs+Pj47Oz47dDxwPGw8VmlzaWJsZTs+O2w8bzxmPjs+Pjs7Pjs+Pjs+PjtsPGltZ0RMOz4+y6kA4C28m4Zv+8qNY7Y/ILehplc=" />
正则表达式提取__VIEWSTATE
viewstatePattern = re.compile(r'name="__VIEWSTATE" value="(.*?)" /',re.DOTALL)
result=viewstatePattern.search(loginPageHTML)
try:
viewstate = result.group(1)
except:
print 'cannot find the value of viewstate'
2.访问：get&post
2.1get访问
#学生信息页面 get方式访问
xsxxPageURL = loginURL + '/xsxx.aspx?xh=' + loginID[0] + '&xh1=' + loginID[0]
#需要传header和cookie，cookie和default的一样
xsxxPageRequest = urllib2.Request(xsxxPageURL , headers = getxsxxPageHeader)
xsxxPageHTML = pageOpener.open(xsxxPageRequest).read().decode('gbk').encode('utf-8')
get方式最主要是保证header里面的referer别错
2.2post访问
#post访问 ,data
# login 时需要post的数据
postxscjData = {
'__VIEWSTATE':viewstate,
'xn':'',
'xq':'',
'ddlKCLX':'必修课',
'Button3':'按课程类型查询'
}
post访问注意编码问题
3.抓取
3.1编码问题
没什么好说的，注意编码问题
4.解析
得到初始的页面数据
4.1.去掉dirty数据（2次）
#匹配出需要的数据
htmls = re.findall('<tr bgcolor="#C1D8F0">(.*?)<tr bgcolor="#C1D8F0">',htmlss,re.S)
while ' ' in goal: #只要有' '就一直继续消除
goal.remove(' ')
然后就能得到一个纯净的数据
4.2.正则表达式匹配
得到纯净数据之后就找下规律，正则匹配+循环 输出数据
print '课程------------分数------------绩点'.decode('gbk').encode('utf-8')
i=0
while i < (len(goal)-13):
print '%s' %goal[i+15],'---------','%s' %goal[i+19],'---------','%s' %goal[i+20]
i+=9
5.效果：
6.tips
6.1 wireshark抓包神器
1.先通过网页端正常完整访问一次，抓包
2.然后这个就是标准包了，接下来运行python脚本的时候，抓包跟标准包比较分析
3.很多时候可以通过返回码：200 302 判断
6.2 需要注意的坑：
1.编码问题
2.请求头里面的referer
3._VIEWSTATE
6.3 代码：
代码写得很烂就不放了，或者等我重构一下吧。。。
6.4 实现方案:
可以使用java,php实现该功能,java大神们有兴趣可以尝试一下~~
欢迎交流~~
仅供学习测试使用~~~
7.参考
用Python模拟登录正方教务系统并抓取初始网页的一些个人笔记
python爬虫实战之模拟正方教务系统登录查询成绩
python刷课脚本（正方教务系统）
教务系统爬虫
