设置超时

import urllib.request

#如果我们的网页常时间未响应,系统判断超时,无法爬取

for i in range(1,100):

    #timeout (设置)判断超时时间

    try:

        response=urllib.request.urlopen('http://baidu.com',timeout=0.5)

        print(len(response.read().decode('utf-8')))

    except:

        print('请求超时,请继续下一个爬取')

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。