文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

python3 爬“斗图啦”

2023-01-31 08:16

关注

接触了一个多月的python,终于可以小小露一手了。手法之拙略就不得不恭维了,哈哈,


环境win7系统,Python3.6,Pycharm2017社区版,还有Google浏览器(官网均可下载)


http://www.doutula.com


需要的模块requests, lxml, BeautifulSoup, 

import requests
import lxml
from bs4 import BeautifulSoup

说明一下,下载很多网站都有了反爬机制,所以道高一尺,魔高一丈了,我们模拟浏览器去访问网站,

也就是获得

User-Agent:

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36


方法:随便打开网页 F12 --Network --F5 --Headers -- User-Agent

wKiom1kIV-GDRLO5AAEz-pEq79w918.jpg-wh_50

代码来了

start_url = "http://www.doutula.com/arcticle/list/?page=1"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'}

start_html = requests.get(url=url, headers=headers).content
#print(start_html)

soup = BeautifulSoup(start_html,'lxml')  ##lxml 解析网页的
all_a = soup.find_all('a',attrs={'class':'list-group-item'})

for a in all_a:
    #title = a.h4.get_text()
    url = a['href']
    #print(title,url)

wKiom1kIWwiiQbQCAAHKLlf3tHA893.png-wh_50

每一套“斗图”对应一个 a 标签,所以直接find_all('a',attrs={'class':'list-group-item'}),谢谢站长布局如此规律。

注意这是上面代码的继续,所以注意 缩进

img_html = requests.get(url,headers=header).text
img_soup = lxml.etree.HTML(img_html)  ##打印源码,自动修正html
img_items = img_soup.xpath('//div[@class="artile_des"]')
for item in img_items:
    imgurl_list = item.xpath('table/tbody/tr/td/a/img/@src')[0]  ##[0]取list的第一个元素
    print("正在下载"+imgurl_list)
    imgcontent = requests.get(imgurl_list).content ##换成text会报错no 'str'
    with open('doutu/%s' % imgurl_list.split('/')[-1],'wb') as f:  ##doutu是文件夹,需要自己提前创建
        f.write(imgcontent)

wKiom1kKdDTRamEkAACylVKiubw823.jpg-wh_50

然后就有你要的图了,一个一个,据说还可以多线程下载,当然需要另一个模块(threading)了的,

下次见


阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯