作为电商卖家,选款是一件很重要的事情,所以我们在选款上面需要下大功夫分析数据。 如何第一时间知晓同类商品及其价格,如何实时采集到新款、爆款,及其价格? 下面我对比两种方法,看看哪种方式更适合我们普通电商从业人员!
目标:抓取拼多多某类商品的列表页面信息,以“学生文具用品笔”为例,采集商品名称、价格。
方法一 python编写爬虫程序
A、思路分析 1)参数寻找 首先说明:图下这个url如果按照 “进首页、输关键字、点击搜索”的步骤会出现很多参数。 http://mobile.yangkeduo.com/search_result.html?search_key=小学生文具用品&search_src=new&search_met=btn_sort&search_met_track=manual&refer_page_name=search_result&refer_page_id=10015_1566810380672_oQen4fLq1E&refer_page_sn=10015 但有效参数就只有search_key一个。其他多余的参数应该删除。 看看目标url的情况: headers没啥说的,都挺正常。然后看params里面主要就是list_id、flip、anti_content三个参数,这三个参数不知道咋出来的了。
2)list_id、flip 仔细找就能发现,list_id、flip这俩参数是在主页里面的,这个id名为__NEXT_DATA__的script标签下就有list_id和flip。 3)anti_content 在找到了list_id和flip后就只剩一个anti_content参数了,这就是拼多多在js上的反爬措施。
B、找入口 将鼠标悬浮到加载过的js后能看到很长一串,一般都是随便点一个,然后进去用上下栈慢慢找。 拼多多的这个js是真的不好找,因为是异步执行的,调用上下栈能看到的参数是以异步前后分开的,所以耐心特别重要了。当然不是纯看参数,有时候也可以搜,或者看看代码英文对应的大概意思。 比如到这里的时候,这个getAntiContent那不就明摆着了吗?然后读一下riskController啥意思?不就是风险控制吗。这连anti_content的大概意思都懂了,然后再看看到了case 4的情况: 这个时候我们需要的anti_content已经出来,那么就意味着在case 0到case 4之间他已经加密完成了,接下来就再一次在case 0到case 4之间一直按F11观察情况了。然后按着按着就来到了这个js文件:
js文件名就叫RiskControl,再然后多按几下F11,这就是入口了。 C、逆js
拼多多的js用了N多“语法丑化”的混淆方式,其目的就是为了增大代码阅读量。当解起来的时候会出现很多开发中不可能出现的调用。 yt()最后的return就是我们需要的anti_content,解的途中有两个重要的节点: 1、获取初始化参数r; 2、以r为基础参数,产生最后需要转换成字符串的数组s。 第一步:r …… 第二步:o …… 此处省略五千字左右。太难了,程序员看起来都比较吃力,就不展示了。 总之,整个anti_content的破解,从开始找入口到解出来用了1天半,其中,大半天都用在了无用功上。 …… 接下来如何爬取的规则也不进行演示了! 接下来如何爬取的规则也不进行演示了! 接下来如何爬取的规则也不进行演示了!
因为我在修改这篇文章时(大概就是一星期左右),拼多多的前后端代码又改了,已经不能通过先前那个url去分析了。要想编写采集爬虫,还得重新分析。
方法二 用博为小帮软件机器人采集
相比之下,用博为小帮软件机器人采集拼多多平台的商品数据会容易得多。
博为小帮软件机器人是一种比较新的技术,它是一款能模拟人工自动化操作各种软件和网站,执行重复规律、大批量电脑操作的软件。
博为小帮软件机器人的配置方法非常简单,鼠标操作,几分钟就可以完成,告诉博为小帮软件机器人你需要复制拼多多平台中的哪些地方的数据就可以了,很适合不懂编程的非IT人士。
配置好以后,只需要在“我的小帮”页面,选择相应的工具,点击“运行”按钮后,打开拼多多平台相对应的采集页面,选择“立即运行”,小帮就会自动帮您采集商品数据,并保存至Excel文件。
博为小帮软件机器人有几个独有的优势: 1、配置过程非常简单。通过简单的鼠标拖拽和配置,即可自行设计一个模拟人类操作流程的软件机器人; 2、引入门槛非常低,配置人员无需任何IT背景,也不需集中培训。跟着软件引导视频一步一步的操作,即可上手DIY一个软件机器人; 3、博为小帮软件机器人是由用户自己配置业务流程,业务流程发生变化时,用户也可以自行修改,极为灵活。
总结 如上所述,要采集拼多多平台的数据,使用小帮软件机器人采集,比自己编写爬虫程序省事多了! 如果你是电商从业人员,博为小帮软件机器人一定是你应该必备的利器。除了拼多多,你还可以用博为小帮软件机器人采集京东、淘宝、天猫等等其他电商平台的数据。