记录一下自己学习爬虫的经历 1

先说一下自己学习的基本目的 . 

1. 复习 python

2. 理解 爬虫架构

---------- 开始 -------------

当前自己机器的环境 

  a.  mac osx , python3.5, pycharm4.5 .

  b. 还会用到各种包,都尽量的使用最新的.

------------第一个小程序段----------

#!/usr/bin/env python

# coding: utf-8

# 学习一下 BeautifulSoup v4

frombs4importBeautifulSoup

# from imp import

importurllib.request

importsys

importimportlib

importtime,datetime

importlib.reload(sys)

__author__ ='bai'

# 抓取地址 读入页面源文件

url1 ="http://z.cn/"

open_beg_time = time.time()

data = urllib.request.urlopen(url1).read()

open_end_time = time.time()

soup = BeautifulSoup(data,"lxml")

parse_end_time = time.time()

print(soup)

print("get page time",open_end_time - open_beg_time)

print("formate ",parse_end_time - open_end_time)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容