文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

怎么用python爬取中国大学排名网站排名信息

2023-06-29 00:32

关注

今天就跟大家聊聊有关怎么用python爬取中国大学排名网站排名信息,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

 程序解决问题如下:

利用python网络爬虫爬取中国大学排名网站上的排名信息,将排名前20的大学的信息保存为文本文件,并在窗口打印出这20所大学的信息,按列打印和保存。

程序代码如下:

import requestsfrom bs4 import BeautifulSoupimport bs4 def getHTMLText(url):    try:        r = requests.get(url, timeout=30)        r.raise_for_status()        r.encoding = r.apparent_encoding        return r.text    except:        return "" def fillUnivList(ulist, html):    soup = BeautifulSoup(html, "html.parser")    for tr in soup.find('tbody').children:        if isinstance(tr, bs4.element.Tag):            tds = tr('td')            hdfd = tds[0].find('div')            tt = hdfd.string.split()            ff = "".join(tt)            attr = tds[1].find('a')            hh = tds[4].string.split()            hg = "".join(hh)            shf=tds[2].text.split()            shfn="".join(shf)            ulist.append([ff, attr.string,shfn,hg])  def printUnivList(ulist, num):    tplt = "{0:^10}\t{1:{4}^10}\t{2:^10}\t{3:^10}"    print(tplt.format("排名","学校名称","省份","总分", chr(12288)))    with open('save.txt', 'w+', encoding='utf-8') as f:        f.write(tplt.format("排名","学校名称","省份","总分", chr(12288)))        f.write('\n')    for i in range(num):        u = ulist[i]        print(tplt.format(u[0], u[1], u[2],u[3],chr(12288)))        with open('save.txt', 'a', encoding='utf-8') as f:            f.write(tplt.format(u[0], u[1], u[2],u[3],chr(12288)))            f.write('\n') def main():    with open('save.txt', 'w+', encoding='utf-8') as f:        f.write("排名,学校,省份,总分\n")        f.close()    uinfo = []    url = 'https://www.shanghairanking.cn/rankings/bcur/2021'    html = getHTMLText(url)    fillUnivList(uinfo, html)    printUnivList(uinfo, 20)main()

程序运行结果如下:

怎么用python爬取中国大学排名网站排名信息

怎么用python爬取中国大学排名网站排名信息

看完上述内容,你们对怎么用python爬取中国大学排名网站排名信息有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注编程网行业资讯频道,感谢大家的支持。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯