跨境电商批量采集系列教程三（Shopee）教你如何批量采集Shopee平台上的产品

前两篇文章中，我们已经讲过了如何批量采集抓取 tophatter 和 lazada 平台上的产品，相信你已经体验到了批量采集抓取的美妙之处。现在海量SKU数量已经不再是多复杂多困难的事情了。在我们看来，那都是分分钟的事情。总的来说，批量采集抓取并不复杂，也不是什么高难度的技术，但作为跨境电商卖家，掌握了这项技能，就已经比不少中小卖家都要“领先”了。之所以将其称之为技能是因为充分利用这种方法，能做的事情非常多，即便是在生活和工作中的其他很多地方，也能给你带来惊喜。

今天跨境电商批量采集系列教程的采集对象是Shopee。关于Shopee平台,可以翻阅点点KG百家乐之前的《取长补短更接地气的东南亚电商平台Shopee开店经验分享》。如何批量采集抓取Shopee平台产品，我在早前《看他们是如何用Python抓取Shopee虾皮商品信息》这篇文章就分享过由台湾技术开发人员制作的Python抓取shopee采集教程，在youtube上可以看到。

数据分析过程，与我们之前采集tophatter和lazada相同，这里不再多讲。采集过程，这里用的是Python，而我们之前用的是第三方采集软件进行。对比两种方式，Python更加灵活、简便、高效，对于专业技术人员，是毋庸置疑的首选方式。而对于没有编程基础的非专业技术人员来说，第三方采集软件显得更容易理解和使用，也是大部分跨境电商卖家的首选方式。老样子，我们继续用火车采集器来搞定Shopee。

一、分析

我们以shopee马来西亚站为例，老样子，通过列表页找关联内容页，获得需要的数据。打开首页，随便找一个目录，比如美妆类，https://shopee.com.my/Health-Beauty-cat.129

首先，还是习惯性的打开列表页的源代码，优先以前后字符截取方式获得数据，先查找能产品相关信息。结果一无所获，全篇只有56行代码，整个源代码中没有任何产品相关的文字信息可供截取。

 换种方式吧。还是用Chrome浏览器，按F12，观察Network下面的XHR，按F5刷新页面，

很明显 https://shopee.com.my/api/v2/search_items/?by=relevancy&limit=50&match_id=129&newest=300&order=desc&page_type=search  ，这个链接中newest=后的数字，每翻一页，增加50 通过数字叠加，可以批量获得所有的列表页。接下来，我们要找出，列表页和内容页之间的关联。我们先看内容页，随便点开一个产品，观察XHR.

知道这个json数据包链接：https://shopee.com.my/api/v1/item_detail/?item_id=774780589&shop_id=18228905

仔细看下，你会发现，链接中包含了item_id和shop_id，删除任何一个，都无法打开链接，也就是说我们得从列表也中，找到这2个变量才能获得内容页信息。

那么，回到列表页，翻翻看。看下图，找到了！

点开列表页格式化后的json数据包，很容易就找到了item_id和shop_id。到这里，该找的东西都找到了，分析工作就做完了，接下来就是采集了。

二、采集

打开火车采集器，新建任务shopee。

打开https://shopee.com.my/api/v2/search_items/?by=relevancy&limit=50&match_id=129&newest=50&order=desc&page_type=search ，

找出itemid和shopid匹配信息，

粘贴到提出规则中，用参数1和参数2替代，变量部分用（*）替代

我们采集试试看。

 

测试成功，已经能够抓取到内容页信息了。

通过json提取方式，获得产品标题名称。

测试效果，抓取成功，然后就可以开始批量开始抓取数据了。

至此，Shopee 的产品标题抓取过程就做完了，按照这个方法，同样可以将描述、图片、价格等信息一并抓取下来。总的来说，在当时的环境下 Shopee 的数据抓取难度不大，只要前期分析工作到位，不管是 Python 还是第三方采集器，都能顺利抓取到这些数据。需要再次提醒的是，本文方法基于早期接口，如今 Shopee 的接口结构与反爬机制已大幅变化，文中参数链接可能已不可用，请以平台最新规则为准并合规操作。