文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

怎么使用Python请求网络资源

2023-07-06 02:37

关注

这篇文章主要介绍了怎么使用Python请求网络资源的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇怎么使用Python请求网络资源文章都会有所收获,下面我们一起来看看吧。

使用 python 访问网络资源

要访问网络中的资源,有些朋友可能会使用 urllib.request,这个模块也是一个 python 的标准库。不过我们使用的是 requests,它是 urllib.request 的封装,使用起来更方便。如果是第一次使用的话,需要安装 requests,我们使用 pip 安装:

pip install --user requests

安装成功后,就可以直接使用了,使用的时候,需要在 python 文件的上方引入:

import requestsimport requests

为了有一个整体的认识,大家可以先使用浏览器打开这个地址,看看里面的内容,它是一个以 json 格式展现的文本。

然后我们新建一个 test-resp.py 的文件,里面输入如下代码:

import requestsurl='https://www.yisu.com/link/62d90d223cf3e2239113a4963b191d71';get_resp=requests.get(url);

上述代码中第 1 行为引入 requests 模块,第 2 行将待访问地址存储到 url 变量中,第 3 行使用 requests 模块的 get 方法来访问这个 url,并将响应存储在变量 get_resp 中。这个响应是一个对象,包含请求资源的内容和状态。可以打印一下这个响应的状态,使用 status_code 对象,如下代码:

print(get_resp.status_code)

结果如下:

$ python test-resp.py200

当然,也可以打印出响应的文本,即打印 get_resp.text,不过这个文本没有格式化,不易读,如下图所示:

上图我们只截取了结果的一部分,因为太长了...这个结果解析起来是比较麻烦的,不过完全不用担心,简单看一下其内容我们就可以注意到,其内容是一个json格式的,所以响  应结果也是一个 json,而 python 对 json 的解析功能是很强大的,如下我们可以打印出这个 json 的 key 值:

print(get_resp.json().keys())

结果如下:

$ python test-resp.pydict_keys(['total_count', 'incomplete_results', 'items'])

由上结果可以知道,我们完全可以将这个响应结果当作一个 json 对象来处理。比如,上述结果中的第一个 keyi 值 total_count,其表示 python 仓库的总数,我们可以将这个数值打印出来,如下所示:

response_dict=get_resp.json();print("Total repositories:", response_dict['total_count'])

其运行结果如下:

$ python test-resp.pyTotal repositories: 9128125

如果读取的网络资源,是普通的 html 格式,可以使用一个第三方库 BeautifulSoup,可以完美解决 html 解析。关于BeautifulSoup我们在之前的文章中也介绍过,大家可以参考:使用 Python 的 Beautiful Soup 库来分析网页

添加请求头信息

有些网络资源对于请求的响应可能做了限制,比如阻止机器人(程序)访问,或者需要登录(有用户会话)才能访问,为此,可以在请求中添加请求头,在请求头中模拟浏览器,添加用户会话信息(token)等。如下所示:

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36','Authorization':'41d15146-c3f3-4c0b-b48b-b5210151a9df'}get_resp=requests.get(url,headers=headers,params=None)

上述代码中,headers 对象中的 User-Agent 为模拟的浏览器信息,Authorization 为请求令牌。也可以按需添加其他请求头信息,如下所示:

header={'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8','Accept-Encoding': 'gzip, deflate, sdch','Accept-Language': 'zh-CN,zh;q=0.8','Connection': 'keep-alive','User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'}

其他

上面我们使用的例子,都是处理的 get 请求,对于 post 请求也同样适用,使用 requests 的 post 方法,如下:

post_resp=requests.post(url,headers=headers,data=None,json=None)

使用方法与 get 请求完全相同。

关于“怎么使用Python请求网络资源”这篇文章的内容就介绍到这里,感谢各位的阅读!相信大家对“怎么使用Python请求网络资源”知识都有一定的了解,大家如果还想学习更多知识,欢迎关注编程网行业资讯频道。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯