9.2.1 request库概述

9.2.1 request库概述

request库是一个简洁且简单处理HTTP请求的第三方库,它的最大优点是程序编写过程更接近正常URL访问过程。这个库建立在Python语言的urllib3库基础上,这种在其他函数库之上封装功能,提供更友好函数的方式在Python语言中十分常见。

request库支持非常丰富的链接访问功能,包括国际域名和URL获取、HTTP长连接和连接缓存、HTTP会话和Cookies保持、流星使用风格的SSL验证、基本的摘要认证、有效的键值对、Cookies记录、自动解压缩、自动内容解码、文件分块上传、HTTP代理功能、连接超时处理、流数据下载等。

request库不是Python的标准库,需要安装。安装方法为在命令窗口输入安装命令:

pip install requests

使用时需要用语句导入request库:

import requests

网络爬虫和信息提交是request库支持的基本功能,与这两个功能相关的常用函数如表9-1所示。

表9-1 request库中的网页请求函数

get()方法是获取网页最常用的方法,在调用requests.get()函数后,返回的网页内容会保存为一个Response对象,其中,get()函数的参数url链接必须采用HTTP或HTTPS方式访问。例如:

运行结果:

requests实现其他HTTP的基本请求方式,都非常简洁明了,如: