文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

用Python爬取某宝2008条棉袄商品数据,进行可视化分析,终于找到值得入手的棉袄

2024-12-02 18:21

关注

文末本文转载自微信公众号「志斌的python笔记」,作者 志斌 。转载本文请联系志斌的python笔记公众号。

大家好,我是志斌~

转眼就到11月份了,本以为能在大连过一个浪漫的秋天,但是没想到今年的大连没有秋天,直接到了寒风刺骨的冬天。。。

于是,志斌赶紧打开了Python,用它爬取并分析一波棉袄,找到一件最合适的棉袄给裹到身上。

一、数据采集

数据采集是数据可视化分析的第一步,也是最基础的一步,数据采集的数量和质量越高,后面分析的准确的也就越高,我们来看一下淘宝网的数据该如何爬取。

淘宝网站是一个动态加载的网站,我们之前可以采用解析接口或者用Selenium自动化测试工具来爬取数据,但是现在淘宝对接口进行了加密,使我们很难分析出来其中的规律,同时淘宝也对Selenium进行了反爬限制,所以我们要换种思路来进行数据获取。

打开开发者模式,开始对网页进行观察后发现,淘宝商品的数据竟然在源网页中存储着。

我翻了几页网页之后发现,每翻一页,网页的params参数中的s参数就会增加44(初始值是0)。

经过以上分析,现在我们就可以开始构造爬虫程序了。

1.导入爬虫使用的库

  1. import requests 
  2. import re 
  3. import time 
  4. import random 
  5. import openpyxl 

2.发起请求

  1. for page in range(1,101): 
  2.    params = ( 
  3.        ('q''棉袄'), 
  4.        ('imgfile'''), 
  5.        ('commend''all'), 
  6.        ('ssid''s5-e'), 
  7.        ('search_type''item'), 
  8.        ('sourceId''tb.index'), 
  9.        ('spm''a21bo.jianhua.201856-taobao-item.2'), 
  10.        ('ie''utf8'), 
  11.        ('initiative_id''tbindexz_20170306'), 
  12.        ('hintq''1'), 
  13.        ('s', str(page*44)), 
  14.    ) 
  15. response = requests.get(url,  params=params) 

3.数据存储

  1. a = 0 
  2. b = 0 
  3. for i in range(44): 
  4.     try: 
  5.         sheet.append([dianpumingcheng[i],shangpinming[i],float(jiage[i]),fahuodi[i],fukuanrenshu[i]]) 
  6.     except
  7.         a+=1 
  8.         if a>30: 
  9.             print(f"第{page}页数据未爬取......"
  10.             wb.save('棉袄.xlsx'
  11.             # 把xxx改成你想要的存储的名称即可 
  12.             b = 1 
  13.             break 
  14. if b == 1: 
  15.     break 
  16. print(f"已爬取完第{page}页数据......"
  17. time.sleep(random.randint(3,5)) 
  18. nt(f'共爬取{page}页数据......'

二、数据清洗

数据采集后,要对其进行清洗,剔除脏数据,用以提高分析的准确性。

1.导入商品数据

用pandas读取爬取后的商品数据并预览。

  1. import pandas as pd 
  2. df = pd.read_excel('棉袄.xlsx',names=['店铺名称','商品名','价格','产地','付款人数']) 
  3. print(df.head()) 

2.删除重复数据

  1. df.drop_duplicates() 

删除重复数据后,还有2008条数据。

3.数据类型转换

我们发现付款人数是字符串类型,我们需要将其转换成整数类型。

  1. wb = openpyxl.load_workbook('棉袄.xlsx'
  2. int_list = [] 
  3. sheet = wb['Sheet'
  4. for i in range(2,2008): 
  5.    str = sheet[f'E{i}'].value 
  6.    if '万+' in str: 
  7.        int_list.append(int(int(str[:-2])*random.uniform(1,2)*10000)) 
  8.    elif '+' in str: 
  9.        int_list.append(int(int(str[:-1])+random.random()*1000)) 
  10.    else
  11.        int_list.append(int(str)) 
  12. for i in range(2,2008): 
  13.    sheet.cell(i,5).value = int_list[i-2] 
  14. wb.save('3.xlsx'

4.查看数据类型

查看字段类型和缺失值情况,符合分析需要,无需另做处理。

  1. df.info() 

三、可视化分析

我们来对这2008家棉袄商品数据进行可视化分析。可视化图是由Python、Tableau和Excel共同绘制而来。

1.在售棉袄特点

通过对棉袄的商品名称进行词云图绘制,我们发现,今年棉袄的样式以宽松、潮流、韩版、短款类居多。

制作代码如下:

  1. from imageio import imread 
  2. import jieba 
  3. from wordcloud import WordCloud, STOPWORDS 
  4.  
  5. with open("1.txt",'r',encoding='utf-8'as f: 
  6.  job_title_1 = f.read() 
  7. contents_cut_job_title = jieba.cut(job_title_1) 
  8. contents_list_job_title = " ".join(contents_cut_job_title) 
  9. wc = WordCloud(stopwords=STOPWORDS.add("一个"), collocations=False
  10.             background_color="white"
  11.             font_path=r"K:\msyh.ttc"
  12.             width=400, height=300, random_state=42, 
  13.             mask=imread('棉袄.jpg', pilmode="RGB"
  14.             ) 
  15. wc.generate(contents_list_job_title) 
  16. wc.to_file("推荐语.png"

2.各省产量分布图

通过对各商品的产地数据进行统计并绘制了全国地图,我们发现浙江、广东和福建这三个地方生产棉袄最多,分别是914家、261家和203家。

制作代码如下:

  1. import openpyxl 
  2. from collections import Counter 
  3. from pyecharts import Map 
  4. wb = openpyxl.load_workbook('棉袄.xlsx'
  5. sheet = wb['Sheet'
  6. a = [] 
  7. for i in range(2,1960): 
  8.  D = sheet[f'D{i}'
  9.  a.append(D.value) 
  10. province_distribution = dict(Counter(a)) 
  11. provice = list(province_distribution.keys()) 
  12. values = list(province_distribution.values()) 
  13. map = Map("中国地图",width=1200, height=600) 
  14. map.add("", provice, values, visual_range=[0, 50], maptype='china', is_visualmap=True
  15. visual_text_color='#000',is_label_show=True
  16. map.render(path="地图.html"

我们进一步对浙江省的产地数据进行分析发现,杭州的棉袄商家最多,占全省的40%。

3.棉袄价格区间分布

我们对棉袄价格以100为分点,进行可视化后发现,价格在100-200的棉袄商品最多,有869家,其次是价格在201-300之间的,有501家。看来棉袄的价格还是相对便宜的~

4.棉袄月销量top20商家

销量最高的竟然不是旗舰店,是一个李广森的自制时尚女装店,志斌打开她们家的店铺看了看,感觉还不错,可以给对象入手一套~

四、小结

本文仅供学习研究使用,提供的评论仅供参考。如有不妥之处请及时告知作者。

 

来源:志斌的python笔记内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯