文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何用Python爬取当当、京东、亚马逊图书信息

2023-06-27 09:42

关注

本篇内容主要讲解“如何用Python爬取当当、京东、亚马逊图书信息”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何用Python爬取当当、京东、亚马逊图书信息”吧!

注:
1.本程序采用 MSSQLserver 数据库存储,请运行程序前手动修改程序开头处的数据库链接信息;
2.需要 bs4、requests、pymssql 库支持;
3.支持多线程。

源码

from bs4 import BeautifulSoup import re,requests,pymysql,threading,os,traceback  try:   conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='book',charset="utf8")   cursor = conn.cursor() except:   print('\\\\n错误:数据库连接失败')  #返回指定页面的html信息 def getHTMLText(url):   try:     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}     r = requests.get(url,headers = headers)     r.raise_for_status()     r.encoding = r.apparent_encoding     return r.text   except:     return '' #返回指定url的Soup对象 def getSoupObject(url):   try:     html = getHTMLText(url)     soup = BeautifulSoup(html,'html.parser')     return soup   except:     return '' #获取该关键字在图书网站上的总页数 def getPageLength(webSiteName,url):   try:     soup = getSoupObject(url)     if webSiteName == 'DangDang':       a = soup('a',{'name':'bottom-page-turn'})       return a[-1].string     elif webSiteName == 'Amazon':       a = soup('span',{'class':'pagnDisabled'})       return a[-1].string   except:     print('\\\\n错误:获取{}总页数时出错...'.format(webSiteName))     return -1  class DangDangThread(threading.Thread):   def __init__(self,keyword):     threading.Thread.__init__(self)     self.keyword = keyword   def run(self):     print('\\\\n提示:开始爬取当当网数据...')     count = 1        length = getPageLength('DangDang','http://search.dangdang.com/?key={}'.format(self.keyword))#总页数     tableName = 'db_{}_dangdang'.format(self.keyword)      try:       print('\\\\n提示:正在创建DangDang表...')       cursor.execute('create table {} (id int ,title text,prNow text,prPre text,link text)'.format(tableName))       print('\\\\n提示:开始爬取当当网页面...')       for i in range(1,int(length)):         url = 'http://search.dangdang.com/?key={}&page_index={}'.format(self.keyword,i)         soup = getSoupObject(url)         lis = soup('li',{'class':re.compile(r'line'),'id':re.compile(r'p')})         for li in lis:           a = li.find_all('a',{'name':'itemlist-title','dd_name':'单品'})           pn = li.find_all('span',{'class': 'search_now_price'})           pp = li.find_all('span',{'class': 'search_pre_price'})            if not len(a) == 0:             link = a[0].attrs['href']             title = a[0].attrs['title'].strip()           else:             link = 'NULL'             title = 'NULL'            if not len(pn) == 0:             prNow = pn[0].string           else:             prNow = 'NULL'            if not len(pp) == 0:             prPre = pp[0].string           else:             prPre = 'NULL'           sql = "insert into {} (id,title,prNow,prPre,link) values ({},'{}','{}','{}','{}')".format(tableName,count,title,prNow,prPre,link)           cursor.execute(sql)           print('\\\\r提示:正在存入当当数据,当前处理id:{}'.format(count),end='')           count += 1           conn.commit()     except:       pass class AmazonThread(threading.Thread):   def __init__(self,keyword):     threading.Thread.__init__(self)     self.keyword = keyword    def run(self):     print('\\\\n提示:开始爬取亚马逊数据...')     count = 1     length = getPageLength('Amazon','https://www.amazon.cn/s/keywords={}'.format(self.keyword))#总页数     tableName = 'db_{}_amazon'.format(self.keyword)          try:       print('\\\\n提示:正在创建Amazon表...')       cursor.execute('create table {} (id int ,title text,prNow text,link text)'.format(tableName))          print('\\\\n提示:开始爬取亚马逊页面...')       for i in range(1,int(length)):         url = 'https://www.amazon.cn/s/keywords={}&page={}'.format(self.keyword,i)         soup = getSoupObject(url)         lis = soup('li',{'id':re.compile(r'result_')})         for li in lis:           a = li.find_all('a',{'class':'a-link-normal s-access-detail-page a-text-normal'})           pn = li.find_all('span',{'class': 'a-size-base a-color-price s-price a-text-bold'})           if not len(a) == 0:             link = a[0].attrs['href']             title = a[0].attrs['title'].strip()           else:             link = 'NULL'             title = 'NULL'            if not len(pn) == 0:             prNow = pn[0].string           else:             prNow = 'NULL'            sql = "insert into {} (id,title,prNow,link) values ({},'{}','{}','{}')".format(tableName,count,title,prNow,link)           cursor.execute(sql)           print('\\\\r提示:正在存入亚马逊数据,当前处理id:{}'.format(count),end='')           count += 1           conn.commit()     except:       pass class JDThread(threading.Thread):   def __init__(self,keyword):     threading.Thread.__init__(self)     self.keyword = keyword   def run(self):     print('\\\\n提示:开始爬取京东数据...')     count = 1      tableName = 'db_{}_jd'.format(self.keyword)          try:       print('\\\\n提示:正在创建JD表...')       cursor.execute('create table {} (id int,title text,prNow text,link text)'.format(tableName))       print('\\\\n提示:开始爬取京东页面...')       for i in range(1,100):         url = 'https://search.jd.com/Search?keyword={}&page={}'.format(self.keyword,i)         soup = getSoupObject(url)         lis = soup('li',{'class':'gl-item'})         for li in lis:           a = li.find_all('div',{'class':'p-name'})           pn = li.find_all('div',{'class': 'p-price'})[0].find_all('i')            if not len(a) == 0:             link = 'http:' + a[0].find_all('a')[0].attrs['href']             title = a[0].find_all('em')[0].get_text()           else:             link = 'NULL'             title = 'NULL'                      if(len(link) > 128):             link = 'TooLong'            if not len(pn) == 0:             prNow = '¥'+ pn[0].string           else:             prNow = 'NULL'           sql = "insert into {} (id,title,prNow,link) values ({},'{}','{}','{}')".format(tableName,count,title,prNow,link)           cursor.execute(sql)           print('\\\\r提示:正在存入京东网数据,当前处理id:{}'.format(count),end='')           count += 1           conn.commit()     except :       pass def closeDB():   global conn,cursor   conn.close()   cursor.close()  def main():   print('提示:使用本程序,请手动创建空数据库:Book,并修改本程序开头的数据库连接语句')   keyword = input("\\\\n提示:请输入要爬取的关键字:")    dangdangThread = DangDangThread(keyword)   amazonThread = AmazonThread(keyword)   jdThread = JDThread(keyword)    dangdangThread.start()   amazonThread.start()   jdThread.start()   dangdangThread.join()   amazonThread.join()   jdThread.join()    closeDB()    print('\\\\n爬取已经结束,即将关闭....')   os.system('pause')    main()

示例截图:

关键词:Android  下的部分运行结果(以导出至 Excel )

如何用Python爬取当当、京东、亚马逊图书信息

如何用Python爬取当当、京东、亚马逊图书信息

如何用Python爬取当当、京东、亚马逊图书信息

到此,相信大家对“如何用Python爬取当当、京东、亚马逊图书信息”有了更深的了解,不妨来实际操作一番吧!这里是编程网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯