文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

requests基本用法

2023-01-30 23:20

关注

requests比起urllib更加方便简单,有了它,cookies,登陆验证,代理设置等操作都很容易解决.


安装requests

pip3 install requests


基本用法

import requests

r = requests.get("https://www.baidu.com")
# 状态码
print(r.status_code)
# 文本类型 str
print(r.text)
# bytes类型
print(r.content.decode('utf-8'))
# cookies信息
print(r.cookies)


GET请求

http中最常见的请求之一,构建一个简单的get请求

import requests

r = requests.get("http://httpbin.org/get")
print(r.text)

返回信息如下:

image.png


如果要附加额外的信息,怎么添加,可以通过字符串拼接的方式,即构造如下:

http://httpbin.org/get?name=zhangsan&age=22


上面的写法有点麻烦,一般情况下这种信息数据会用字典来存储,利用params这个参数就好了,示例:

import requests

data = {'name': 'zhangsan',
        'age': '22',
        }
r = requests.get("http://httpbin.org/get", params=data)
print(r.text)

返回信息如下:

image.png


上面返回的数据是字符串,但是它很特殊,是JSON格式的,如果要直接得到一个字典格式的话,可以调用json()方法,示例如下:

import requests

data = {'name': 'zhangsan',
        'age': '22',
        }
r = requests.get("http://httpbin.org/get", params=data)
print(type(r.text))
print(type(r.json()))
print(r.json())

返回信息:

image.png

如果返回的信息不是json格式的话,就会解析出错,抛出异常



抓取网页示例:抓取知乎文章title,使用lxml的xpath来解析页面

import requests
from lxml import etree

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
r = requests.get("https://www.zhihu.com/explore", headers=headers).content.decode('utf-8')
# 使用lxml来解析html页面
content = etree.HTML(r)
tag_list = content.xpath("//a[@class='question_link']/text()")
print(tag_list)

返回信息:

image.png



抓取二进制数据(图片,音频,视频)

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
r = requests.get("http://pic1.win4000.com/wallpaper/9/5450ae2fdef8a.jpg", headers=headers)
with open('111.jpg', 'wb') as f:
    f.write(r.content)

返回信息,会在当前目录下生成111.jpg文件

image.png



POST请求

import requests

data = {'name': 'zhangsan',
        'age': '22'}
r = requests.post('http://httpbin.org/post', data=data)
print(r.text)

返回信息:

image.png

其中form部分就是提交的数据,证明POST请求成功



响应

获取其它信息,状态码,响应头,Cookies等....

import requests


r = requests.get('https://www.baidu.com')
# 状态码,返回int类型
print(type(r.status_code), r.status_code)
# 响应头
print(type(r.headers), r.headers)
# Cookies属性
print(type(r.cookies), r.cookies)
# url
print(type(r.url), r.url)
# 请求历史
print(type(r.history), r.history)

返回信息:

image.png



状态码常用来判断请求是否成功,而requests还提供了一个内置的状态码查询对象,requests.codes

示例:

import requests

r = requests.get('https://www.baidu.com')
if r.status_code == requests.codes.ok:
    print("Request Successfully")
else:
    exit()

返回结果:

Request Successfully

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯