Python爬虫爬取商品失败怎么办

这篇文章主要介绍Python爬虫爬取商品失败怎么办，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

登陆网站，开启开发者模式。

可以在浏览器中点击右键检查或者F12打开开发者模式。

点选 NetWork，DOC，然后刷新页面。

在 network 中选择 doc，在请求的 headers 中搜索 cookie。

获取对应的 cookie 以及 user-agent。

在代码中添加到 headers 里面。

def getHTMLText(url):  kv = {    'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'    'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'  }    try:    r = requests.get(url, headers=kv, timeout=30)    r.raise_for_status()    r.encoding = r.apparent_encoding    return r.text  except:    return "gg"

当然如果出现ip高频率访问限制的问题，还是需要通过更换ip来解决

以上是“Python爬虫爬取商品失败怎么办”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注编程网行业资讯频道！