1 httplib简介
httplib 是python中http协议的客户端实现,可以使用该模块来与 HTTP 服务器进行交互
httplib是一个相对底层的http请求模块,其上有专门的包装模块,如urllib内建模块,goto等第三方模块,但是封装的越高就越不灵活,比如urllib模块里请求错误时就不会返回结果页的内容,只有头信息,对于某些需要检测错误请求返回值的场景就不适用,所以就得用这个模块了。
httplib实现了HTTP和HTTPS的客户端协议,一般不直接使用,在python更高层的封装模块中(urllib,urllib2)使用了它的HTTP和HTTPS实现。其中HTTPS需要socket编译了SSL支持。HTTP类仅仅是和python1.5.2及以前的版本兼容,不推荐使用。
2 httplib 详解
下面介绍一下 httplib常用的类
2.1 class httplib.HTTPConnection
HTTPConnection类 有两种常见方式:
1 HTTPConnection
class httplib.HTTPConnection(host[,port[, strict[, timeout[, source_address]]]])
用法:
该类用于创建一个http类型的请求链接
参数:
host: 请求的服务器host,不能带http://开头
port: 服务器web服务端口
strict: 是否严格检查请求的状态行,就是http1.0/1.1 协议版本的那一行,即请求的第一行,默认为False,为True时检查错误会抛异常
timeout: 单次请求的超时时间,没有时默认使用httplib模块内的全局的超时时间
返回:
HTTPConnection类会实例并返回一个HTTPConnection对象
详解:
HttpConnection的实例表示与HTTP服务器的事务。实例化时需要传递主机和可选的端口号。如果没有端口号,试图以host:port格式从主机字符串提取,如果提取失败则使用默认的HTTP端口(80)。参数strict默认为false,表示在无法解析状态行时(status line)不能被HTTP/1.0或1.1解析时不抛出BadStatusLine异常;可选参数timeout表示即阻塞在多少秒后超时,如果没有给出默认使用全局超时设置。可选参数source_address表示HTTP的源地址(host, port)。
2 HTTPSConnection
class httplib.HTTPSConnection(host[, port[, key_file[,cert_file[, strict[, timeout[, source_address]]]]]])
用法:
该类用于创建一个https类型的请求链接
参数:
key_file:一个包含PEM格式的私钥文件
cert_file:一个包含PEM格式的认证文件
other:其它同http参数
返回:
同样返回一个HTTPSConnection对象
注意:
要创建https链接,必须要保证底层的socket模块是支持ssl的编译模式,即编译时ssl选项的开关是开着的
详解:
HttpConnection的子类,使用SSL与安全服务器通信。默认端口为443。key_file是包含PEM格式私钥的文件名称。 cert_file中是PEM格式的证书链文件。
附代码:
HTTP:
>>> import httplib
>>> conn =httplib.HTTPConnection('www.baidu.com')
>>> conn = httplib.HTTPConnection('www.baidu.com:80')
>>> conn =httplib.HTTPConnection('www.baidu.com','80')
>>> conn =httplib.HTTPConnection('www.baidu.com','80',True)
>>> conn =httplib.HTTPConnection('www.baidu.com','80',True,10)
错误示例:
>>> conn =httplib.HTTPConnection('www.baidu.com:80',True,10)
HTTPS:
>>> conn = httplib.HTTPSConnection('www.baidu.com',443,key_file,cert_file,True,10)
以下为 关于 HTTPConnection 类的方法
2.1.1 HTTPConnection.request()
HTTPConnection.request( method , url [ , body [ , headers ]] )
用法:
调用request方法会向服务器发送一次请求
参数:
method: 请求的方式,如'GET','POST','HEAD','PUT','DELETE'等
url: 请求的网页路径。如:'/index.html'
body: 请求是否带数据,该参数是一个字典
headers: 请求是否带头信息,该参数是一个字典,不过键的名字是指定的http头关键字
返回:
无返回,其实就是相对于向服务其发送数据,但是没有最后回车
附代码:
>>> import httplib
>>>conn=httplib.HTTPConnection('www.baidu.com',80,False,10)
>>> conn.request('get','/','',{'user-agent':'test'})
2.1.2 HTTPConnection.getresponse()
说明:
获取一个http响应对象,相当于执行最后的2个回车
返回:
HTTPResponse对象(下面会用到)
附代码:
>>> import httplib
>>> conn=httplib.HTTPConnection('www.baidu.com',80,False,10)
>>> conn.request('get','/','',{'user-agent':'test'})
>>>res = conn.getresponse()
2.1.3 HTTPConnection.connect()
对象创建之后连接到指定的服务器
2.1.4 HTTPConnection.close()
关闭与服务器的连接
附代码:
>>> import httplib
>>> conn=httplib.HTTPConnection('www.baidu.com',80,False,10)
>>> conn.request('get','/','',{'user-agent':'test'})
>>> res = conn.getresponse()
>>>conn.close()
2.1.5 HTTPConnection.set_debuglevel( level )
设置高度的级别。参数level 的默认值为0 ,表示不输出任何调试信息
2.2 class httplib.HTTPResponse
HTTPResponse表示服务器对客户端请求的响应。往往通过调用HTTPConnection.getresponse()来创建,实例连接成功之后返回的类,不能由用户实例化。
它有如下方法和属性:
2.2.1 HTTPResponse.read([amt])
说明:
获得http响应的内容部分,即网页源码
原型:
body = res.read([amt])amt: 读取指定长度的字符,默认为空,即读取所有内容
返回:
网页内容字符串
获取响应的消息体。如果请求的是一个普通的网页,那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。
附代码:
>>>conn=httplib.HTTPConnection('www.baidu.com',80,False,10)
>>> conn.request('GET','')
>>> res = conn.getresponse()
>>>res.read()
#下面的为网页信息
'<!DOCTYPE html><!--STATUSOK-->\r\n<html>\r\n<head>\r\n\t<metahttp-equiv="content-type"content="text/html;charset=utf-8">\r\n\t<metahttp-equiv="X-UA-Compatible" content="IE=Edge">\r\n\t<linkrel="dns-prefetch"href="//s1.bdstatic.com"/>\r\n\t<linkrel="dns-prefetch" href="//t1.baidu.com"/>\r\n\t<linkrel="dns-prefetch" href="//t2.baidu.com"
2.2.2 HTTPResponse.getheader(name[, default])
获取执指定的响应头。Name表示头域(headerfield)名,可选参数default在头域名不存在的情况下作为默认值返回。
2.2.3 HTTPResponse.getheaders()
获得所有的响应头内容,是一个元组列表[(name,value),(name2,value2)]
附代码:
>>>res.getheaders()
[('content-length', '14613'), ('bdqid','0x9d3801010001675e'), ('set-cookie','BAIDUID=9ACDF7C2DF8C2EA720CBD97636829343:FG=1; expires=Thu, 31-Dec-37 23:55:55GMT; max-age=2147483647; path=/; domain=.baidu.com,BIDUPSID=9ACDF7C2DF8C2EA720CBD97636829343; expires=Thu, 31-Dec-37 23:55:55 GMT;max-age=2147483647; path=/; domain=.baidu.com, PSTM=1436858070; expires=Thu,31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com,BDSVRTM=0; path=/'), ('accept-ranges', 'bytes'), ('vary', 'Accept-Encoding'),('bduserid', '0'), ('server', 'BWS/1.1'), ('last-modified', 'Wed, 03 Sep 201402:48:32 GMT'), ('connection', 'Keep-Alive'), ('x-ua-compatible', 'IE=Edge,chrome=1'),('pragma', 'no-cache'), ('cache-control', 'no-cache'), ('date', 'Tue, 14 Jul2015 07:14:30 GMT'), ('p3p', 'CP=" OTI DSP COR IVA OUR IND COM "'),('content-type', 'text/html'), ('bdpagetype', '1')]
2.2.4 HTTPResponse.msg
获取所有的响应头信息。包含响应头的mimetools.Message实例
>>>res.msg
<httplib.HTTPMessage instance at0x1959e60>
2.2.5 HTTPResponse.msg
获取服务器所使用的http协议版本。11表示http/1.1;10表示http/1.0
>>> res.version
11
2.2.6 HTTPResponse.status
获取响应的状态码。如:200表示请求成功
>>> res.status
200
2.2.6 HTTPResponse.reason
返回服务器处理请求的结果说明。一般为”OK”
>>> res.reason
'OK'
2.3 class httplib.HTTPMessage
HTTPMessage实例用于保存HTTP响应头。它使用mimetools.Message类实现,并提供了处理HTTP头的工具函数。它不直接实例化的用户。不能由用户实例化。
2.4 异常
exception httplib.HTTPException
Exception的子类,此模块中的其他异常的基类。下面的类默认是该类的直接子类。
httplib.NotConnected
httplib.InvalidURL
httplib.UnknownProtocol
httplib.UnknownTransferEncoding
httplib.UnimplementedFileMode
httplib.IncompleteRead
httplib.ImproperConnectionState
httplib.CannotSendRequest
ImproperConnectionState的一个子类。
httplib.CannotSendHeader
ImproperConnectionState的一个子类。
httplib.ResponseNotReady
ImproperConnectionState的一个子类。
httplib.BadStatusLine
服务器返回的HTTP状态码不认识时产生。
2.5 常量和类变量
httplib.HTTP_PORT:HTTP协议的默认端口,恒为80。
httplib.HTTPS_PORT:HTTPS协议的默认端口,恒为443。
状态常量:参见http://docs.python.org/2/library/httplib.html
httplib.responses:映射HTTP1.1状态代码映射到W3C的名字的字典。