文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

bs4爬虫实战一:获取百度贴吧内容

2023-01-30 22:05

关注

目标分析:

进入百度贴吧,访问: https://tieba.baidu.com/index.html

搜索权利的游戏

blob.png



定义需要爬取的数据,爬取每个帖子上面的内容

blob.png


定位到每个帖子,即取 li标签 里面 'class'=' j_thread_list clearfix' 的所有帖子,这个li里面就包含需要的所有内容

title   # 帖子

post_author   # 帖子创建作者

post_time   # 帖子创建时间

re_num   # 总回复数

content   # 最后回复内容

last_author   # 最后回复者

last_time   # 最后回复时间


blob.png



获取下一页的url请求

请求地址: http://tieba.baidu.com/f?kw=%E6%9D%83%E5%88%A9%E7%9A%84%E6%B8%B8%E6%88%8F&ie=utf-8&pn=50

blob.png


图中,可以很明确的看出,每按一次"下一页",pn将增加50,只需求拼接url地址的时候更改pn的值,就可以得到下一页的请求地址


项目实施:

新建一个get_tieba_info.py文件,代码如下:

#!/usr/bin/env python
# coding: utf-8
import urllib.request
from bs4 import BeautifulSoup
from mylog import MyLog as mylog  # 导入Mylog类,起别名为mylog


class Item(object):  # 定义一个Item类,爬取的字段类
    title = None  # 帖子
    post_author = None  # 帖子创建作者
    post_time = None  # 帖子创建时间
    re_num = None  # 总回复数
    content = None  # 最后回复内容
    last_author = None  # 最后回复者
    last_time = None  # 最后回复时间


class GetTieBaInfo(object):
    def __init__(self, url):
        self.url = url  # 接收一个初始的url地址
        self.log = mylog()  # 实例化mylog日志类
        self.pagesum = 5  # 控制爬取的页面数(一页50条数据)
        self.urls = self.geturls(self.pagesum)  # 获取所有下一页的urls列表
        self.items = self.spider(self.urls)  # 处理每一页的数据
        self.pipelines(self.items)  # 数据下载

    '''处理url地址,return urls地址列表'''
    def geturls(self, pagesum):
        urls = []
        pns = [str(i*50) for i in range(pagesum)]  # 得到列表['0','50','100'....]即下一页的数字
        # ['0', '50', '100', '150', '200']

        ul = self.url.split('=')  # 以=号为分隔符,切割url地址,得到下面结果
        # ['http://tieba.baidu.com/f?kw', '权利的游戏&ie', 'utf-8&pn', '0']

        for pn in pns:
            ul[-1] = pn  # ur[-1] = 0 ,50,100,150
            url = '='.join(ul)  # 以=为拼接符,拼接下一页的url地址
            urls.append(url)  # 添加到上面的urls列表中
        self.log.info(u'获取URLS成功')  # 写入日志文件
        return urls  # 返回urls地址列表

    def spider(self, urls):
        items = []
        for url in urls:
            # 调用self.getresponsecontent函数,返回整个html的内容
            HtmlContent = self.getresponsecontent(url) 
            # 使用bs4解析器进行过滤
            soup = BeautifulSoup(HtmlContent, 'lxml')
         
            # 找到所有符合规则的li标签,返回一个list
            tagsli = soup.find_all('li', attrs={'class':' j_thread_list clearfix'})

            for tag in tagsli:
                item = Item()  # 实例化Item类
                # 获取帖子
                item.title = tag.find('a', attrs={'class':'j_th_tit '}).get_text().strip()
                # 获取帖子创建作者
                item.post_author = tag.find('span', attrs={'class':'frs-author-name-wrap'}).get_text().
                strip()
                # 获取帖子创建时间
                item.post_time = tag.find('span', attrs={'class':'pull-right is_show_create_time'}).
                get_text().strip()
                # 总回复数
                item.re_num = tag.find('span', attrs={'class':'threadlist_rep_num center_text'}).
                get_text().strip()
                # 最后回复内容
                item.content = tag.find('div', attrs={'class':'threadlist_abs threadlist_abs_onlyline '}).
                get_text().strip()
                # 最后回复者
                item.last_author = tag.find('span', attrs={'class': 'tb_icon_author_rely j_replyer'}).
                get_text().strip()
                # 最后回复时间
                item.last_time = tag.find('span', attrs={'class':'threadlist_reply_date pull_right 
                j_reply_data'}).get_text().strip()
                items.append(item)  # 把所有的item,添加到items列表
                self.log.info(u'获取为<<{}>>的项成功...'.format(item.title))
        return items

    def pipelines(self, items):  # 接收一个items列表
        filename = u'百度贴吧_权利游戏.txt'
        with open(filename, 'w', encoding='utf-8') as fp:
            for item in items:
                fp.write('帖子{}\n帖子创建作者:{}\n帖子创建时间:{}\n帖子总回复数:\
                {}\n帖子最后回复内容:{}\n帖子最后回复者:{}\n帖子最后回复时间:{}\n\n\n\n'\
                         .format(item.title,item.post_author,item.post_time,item.re_num,item.content,item.last_author,item.last_time))
                self.log.info(u'为<<{}>>的项输入到 {} 成功'.format(item.title, filename))

    def getresponsecontent(self, url):
        try:
            page = urllib.request.urlopen(url)
            html = page.read().decode('utf-8')
        except:
            self.log.error(u'python 返回 URL:{} 数据失败'.format(url))
        else:
            self.log.info(u'python 返回 URL:{} 数据成功'.format(url))
            return html
         


if __name__ == '__main__':
    url = 'http://tieba.baidu.com/f?kw=%E6%9D%83%E5%88%A9%E7%9A%84%E6%B8%B8%E6%88%8F&ie=utf-8&pn=0'
    st = GetTieBaInfo(url)


新建一个mylog.py日志文件,代码如下:

import logging
import getpass
import sys


# 定义MyLog类
class MyLog(object):
    def __init__(self):
        self.user = getpass.getuser()  # 获取用户
        self.logger = logging.getLogger(self.user)
        self.logger.setLevel(logging.DEBUG)

        # 日志文件名
        self.logfile = sys.argv[0][0:-3] + '.log'  # 动态获取调用文件的名字
        self.formatter = logging.Formatter('%(asctime)-12s %(levelname)-8s %(message)-12s\r\n')

        # 日志显示到屏幕上并输出到日志文件内
        self.logHand = logging.FileHandler(self.logfile, encoding='utf-8')
        self.logHand.setFormatter(self.formatter)
        self.logHand.setLevel(logging.DEBUG)

        self.logHandSt = logging.StreamHandler()
        self.logHandSt.setFormatter(self.formatter)
        self.logHandSt.setLevel(logging.DEBUG)

        self.logger.addHandler(self.logHand)
        self.logger.addHandler(self.logHandSt)

    # 日志的5个级别对应以下的5个函数
    def debug(self, msg):
        self.logger.debug(msg)

    def info(self, msg):
        self.logger.info(msg)

    def warn(self, msg):
        self.logger.warn(msg)

    def error(self, msg):
        self.logger.error(msg)

    def critical(self, msg):
        self.logger.critical(msg)


if __name__ == '__main__':
    mylog = MyLog()
    mylog.debug(u"I'm debug 中文测试")
    mylog.info(u"I'm info 中文测试")
    mylog.warn(u"I'm warn 中文测试")
    mylog.error(u"I'm error 中文测试")
    mylog.critical(u"I'm critical 中文测试")


运行get_tieba_info.py:

pycharm截图

blob.png


get_tieba_info.log日志文件生成截图:

blob.png


百度贴吧_权利游戏.txt截图:

blob.png


代码分析:

mylog.py模块,主要是为程序提供log功能

log功能很重要,在大量爬取的时候,没有log帮助定位,很难找到错误点


主程序:

get_tieba_info.py也很简单

Item类定义需要获取的数据

GetTieBaInfo类逻辑处理

geturls方法 获取所有需要爬取的url地址

spider方法 提取每个url地址的详细内容

pipelines方法 处理数据,爬取到的数据储存方式,这里使用的是文本txt,这可以存入mysql,redis,mongo等等

getresponsecontent方法 负责发送请求,拿到影响文件(html)



阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯