Python分布式抓取和分析京东商城评价

正文

请到「今天看啥」查看全文

分析该商品不同渠道的销售比例，生成柱状图

利用 Django 搭建后台，将数据抓取和数据分析连起来

前端显示数据抓取和分析结果

分布式抓取京东商城的评价信息

采用分布式抓取的目的是快速的在短时间内尽量抓取足够多的商品评价,使分析结果更精确

1. 以 iPhone7 https://item.jd.com/3995645.html 为例，通过 Chrome 抓包分析出京东商城的评价请求 URl https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv2940&productId=3995645&score=0&sortType=5&page=1&pageSize=10&isShadowSku=0

2. 找出评价请求 URL 规律，获取到如下 URL 组合链接

3. 利用 Chrome 插件 Postman 测试链接是否可用，发现京东获取评价信息并没有验证 Cookie 之类的反爬措施

4. 开始编码利用 scrapy 抓取京东商城的商品评价信息并存入数据库以备使用

数据分析

1. 从数据库中取出相应数据，开始分析

2. 使用 python 的扩展库 wordcloud 分别提取好评、中评、差评的关键字，并且生成相应的词云图片

3. 分析该商品不同颜色的销量占比，并且生成柱状图，例如 iphone7 的不同颜色金色、玫瑰金色、银色、黑色、亮黑色、还有最新出的红色的占比

4. 分析该商品不同配置的销量占比，并且生成柱状图，例如 iphone7 32G 、 64G、128G 存储

5. 分析该商品销售和评论时间并且生成折线图，分析出商品在什么时间最畅销

6. 分析用户购买该商品的渠道，例如用户通过京东 Android 客户端、微信京东购物、京东 iPhone 客户端购物的比例，并且生成柱状图

7. 分析购买该商品的用户的地域省份。例如北京、上海、广州那个城市在京东上购买 iPhone7 的人更多

8. 将以上分析结果都存储保留

Django 后台 WEB

请到「今天看啥」查看全文