文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python爬虫爬取商品失败如何解决

2023-06-20 20:17

关注

本篇文章为大家展示了Python爬虫爬取商品失败如何解决,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

登陆网站,开启开发者模式。

可以在浏览器中点击右键检查或者F12打开开发者模式。

点选 NetWork,DOC,然后刷新页面。

在 network 中选择 doc,在请求的 headers 中搜索 cookie。

获取对应的 cookie 以及 user-agent。

在代码中添加到 headers 里面。

def getHTMLText(url):  kv = {    'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'    'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'  }    try:    r = requests.get(url, headers=kv, timeout=30)    r.raise_for_status()    r.encoding = r.apparent_encoding    return r.text  except:    return "gg"

实例扩展:

程序的结构设计

  1. 提交商品搜索请求,循环获取页面

  2. 对于每个页面,提取商品名称和价格信息

  3. 将信息输出

遇到问题

爬取成功,数据有问题

打印 html 文件,返回如下

<script type="text/javascript">  TRLang = {    ERROR_NICK_BLANK: "请填写账户名",    ERROR_PASSWORD_BLANK: "请输入密码",    ERROR_NICK_PASSWORD_BLANK: "请输入账户名和密码",    ERROR_CHECKCODE_BLANK: "请输入验证码",    TIPS_REMEMBER_PASSWORD: "记住密码",    TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共计算机记住密码,防止账户被盗"  };</script>

上述内容就是Python爬虫爬取商品失败如何解决,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注编程网行业资讯频道。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯