文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python爬虫:手把手教你采集登陆后才能看到数据

2024-12-03 18:01

关注

 爬虫在采集网站的过程中,部分数据价值较高的网站,会限制访客的访问行为。这种时候建议通过登录的方式,获取目标网站的cookie,然后再使用cookie配合代理IP进行数据采集分析。

1 使用表单登陆

这种情况属于post请求,即先向服务器发送表单数据,服务器再将返回的cookie存入本地。

  1. #! -*- encoding:utf-8 -*- 
  2.  
  3. import requests 
  4.  
  5. import random 
  6.  
  7. import requests.adapters 
  8.  
  9.  
  10.  
  11. # 要访问的目标页面 
  12.  
  13. targetUrlList = [ 
  14.  
  15.     "https://httpbin.org/ip"
  16.  
  17.     "https://httpbin.org/headers"
  18.  
  19.     "https://httpbin.org/user-agent"
  20.  
  21.  
  22.  
  23.  
  24. # 代理服务器(产品官网 www.16yun.cn) 
  25.  
  26. proxyHost = "t.16yun.cn" 
  27.  
  28. proxyPort = "31111" 
  29.  
  30.  
  31.  
  32. # 代理隧道验证信息 
  33.  
  34. proxyUser = "username" 
  35.  
  36. proxyPass = "password" 
  37.  
  38.  
  39.  
  40. proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { 
  41.  
  42.     "host": proxyHost, 
  43.  
  44.     "port": proxyPort, 
  45.  
  46.     "user": proxyUser, 
  47.  
  48.     "pass": proxyPass, 
  49.  
  50.  
  51.  
  52.  
  53. # 设置 http和https访问都是用HTTP代理 
  54.  
  55. proxies = { 
  56.  
  57.     "http": proxyMeta, 
  58.  
  59.     "https": proxyMeta, 
  60.  
  61.  
  62.  
  63.  
  64. # 访问三次网站,使用相同的Session(keep-alive),均能够保持相同的外网IP 
  65.  
  66. s = requests.session() 
  67.  
  68.  
  69.  
  70. # 设置cookie 
  71.  
  72. cookie_dict = {"JSESSION":"123456789"
  73.  
  74. cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True
  75.  
  76. s.cookies = cookies 
  77.  
  78.  
  79.  
  80. for i in range(3): 
  81.  
  82.     for url in targetUrlList: 
  83.  
  84.         r = s.get(url, proxies=proxies) 
  85.  
  86.         print r.text 

2 使用cookie登陆 

使用cookie登陆,服务器会认为你是一个已登陆的用户,所以就会返回给你一个已登陆的内容。因此,需要验证码的情况可以使用带验证码登陆的cookie解决。

  1. response_captcha = requests_session.get(url=url_login, cookies=cookies) 
  2.   
  3. response1 = requests.get(url_login) # 未登陆 
  4.   
  5. response2 = requests_session.get(url_login) # 已登陆,因为之前拿到了Response Cookie! 
  6.   
  7. response3 = requests_session.get(url_results) # 已登陆,因为之前拿到了Response Cookie! 

若存在验证码,此时采用response = requests_session.post(url=url_login, data=data)是不行的,做法应该如下:

  1. response_captcha = requests_session.get(url=url_login, cookies=cookies) 
  2.   
  3. response1 = requests.get(url_login) # 未登陆 
  4.   
  5. response2 = requests_session.get(url_login) # 已登陆,因为之前拿到了Response Cookie! 
  6.   
  7. response3 = requests_session.get(url_results) # 已登陆,因为之前拿到了Response Cookie! 
  8.   

 【编辑推荐】

  1. TIOBE 11月榜单:Python挤掉了Java!
  2. React Concurrent Mode三连:是什么/为什么/怎么做
  3. Linux高性能网络编程之TCP连接的内存使用
  4. Python曾是程序员的“瑞士军刀”,而如今正被慢慢取代
  5. 全球疫情下的网络安全:警惕“趁火打劫”的线上攻击

 

来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯