文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

利用python抓取网页图片

2023-01-31 01:35

关注

    近期在家想看华为官方的【IP,图话技术,微图】系列文档,奈何家里是长宽,基本打不开页面,刷新多次,心力憔悴。


▎下图感受下:

wKiom1mqK53QvjMZAAEguKiuqIc274.png-wh_50

    突然想起上次华为云大会送了台云服务器,一直被我用来做linux实验机。于是,突发奇想,利用python下载图片,然后利用工具传递到本地阅读,权当练手了。


▎网页代码样例:

wKiom1mqMJfBxWHdAAQD_irs6zw538.png-wh_50

查看网页源代码,可以找到图片所在的网址,加上网站前缀就是真正的图片目标地址。

在linux系统中,直接wget就能下载这些图片,验证图片地址的真实性。

[root@plinuxos tmp]# wget http://support.huawei.com/huaweiconnect/data/p_w_upload/forum/201705/03/20170503211729148001.png
--2017-09-02 12:48:40--  http://support.huawei.com/huaweiconnect/data/p_w_upload/forum/201705/03/20170503211729148001.png
Resolving support.huawei.com (support.huawei.com)... 221.193.246.61, 121.18.169.18, 101.28.252.205
Connecting to support.huawei.com (support.huawei.com)|221.193.246.61|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 495335 (484K) [p_w_picpath/png]
Saving to: ‘20170503211729148001.png’

100%[=============================================================>] 495,335     1.98MB/s   in 0.2s   

2017-09-02 12:48:41 (1.98 MB/s) - ‘20170503211729148001.png’ saved [495335/495335]

[root@plinuxos tmp]# ls
20170503211729148001.png  downpic.py       mysql.sock  test.py   zrlog.sql
db01.sql                  hsperfdata_root  mysql.sql   test.sql


▎抓取代码:

#/usr/bin/env python                                  
import requests,bs4,time
headers={'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0'}
url='http://support.huawei.com/huaweiconnect/enterprise/thread-400343.html'
urlhtml=requests.get(url,headers=headers)
urlhtml.raise_for_status()
pichtml=bs4.BeautifulSoup(urlhtml.text[:],'html.parser')
piclink=pichtml.select('p span img[src]')
if __name__=='__main__':
    piclist=[]
    for i in range(len(piclink)):
        picdic=piclink[i].attrs
        newpicdic='http://support.huawei.com'+picdic['src']
        newpic=requests.get(newpicdic)
        picname=str(time.strftime("%Y%m%d00",time.localtime(time.time())))+str(i)+'.png'
        with open(picname,'wb') as file:
            file.write(newpic.content)

代码部分的解析,可以参见学习笔记,也可以参照往期利用python处理网页信息一文。


▎执行脚本:

[root@plinuxos tmp]# python3 downpic.py 
[root@plinuxos tmp]# ls -lhrt *.png
-rw-r--r--. 1 root root 484K Sep  2 12:50 20170902000.png
-rw-r--r--. 1 root root 241K Sep  2 12:50 20170902001.png
-rw-r--r--. 1 root root 542K Sep  2 12:50 20170902002.png
-rw-r--r--. 1 root root 607K Sep  2 12:50 20170902003.png
-rw-r--r--. 1 root root 500K Sep  2 12:50 20170902004.png
-rw-r--r--. 1 root root 146K Sep  2 12:50 20170902005.png
-rw-r--r--. 1 root root 381K Sep  2 12:50 20170902006.png
-rw-r--r--. 1 root root 463K Sep  2 12:51 20170902007.png

可以看到,图片已经下载到了linux系统中,然后通过远程软件传输到本地查看。


▎效果如下:

wKioL1mqLerDAu2MAALxrs1zQbE602.png-wh_50


好了,练手完,接下来,博主就可以安心的打磨网络知识了。。。


阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯