中国古话说的好，“心腹知彼，百战百胜”，这用到国外的公司也是同样的道理。小探本日就来跟你说说，大公司，尤其是电子商务领域的大公司们是如何搜集竞争对手数据的？
先来看看美国的在线零售商的几大巨子都有谁。
根据 Techcrunch 去年的一篇宣布，亚马逊无疑已经是霸占了美国电子商务的半壁江山，其它零售商像沃尔玛、Home Depot、Best Buy 的份额都远远小于亚马逊了。
但这并不虞味着后来者主动放弃竞争向上的机会。
路透社在 2017 年就曾宣布过，沃尔玛依赖打算机程序扫描竞争对手网站上的价格，以便相应地调度其价格列表。由于价格差50美分就可能意味着你的消费者就去别家买了。（嗯，没错，精明，是哪个国家消费者都有的事！
）
当然，大公司并不是你想搜集，就能搜集的。事实上，亚马逊的发言人就表示，该公司已经意识到有竞争对手利用机器人检讨其价格列表，并“残酷地”谢绝了任何机器人类的“活动”。
（截自路透社***宣布）
那到底有没有办法，绕开亚马逊的检讨，顺利爬取它的数据呢？当然！
几个亚马逊前员工，就希望反大公司而行之，帮助客户，搜集大公司的数据。更准确说，“抓取你竞争对手的网上数据，无论是你本身是大公司，还是小公司。”
这便是最近小探从伯克利孵化器 Skydeck 采访到的一家初创公司 Bungee 在做的。Skydeck 孵化器此前小探已经有先容过，它是全美首个公立研究型大学的校内加速器操持。它孵化的初创企业多数是已有事情履历的人，在校生相对较少。
光明正大地搜集数据
就电子商务领域来说，亚马逊由机器人驱动的定价已经代表了零售业的巨大变革。电子商务跟实体店的一个巨大不同是：你的价格可以一天变革好几次。而亚马逊总是有最低价，便是由于它能时候追踪竞争对手的价格变革。
这是怎么做到的呢？紧张是零售商通过其库存水平、发卖预测和竞争对手的定价数据，用算法帮助进行价格的更新。正由于是算法驱动的，每天乃至可以更新多次。
（亚马逊的产品价格变革）
如果没有像亚马逊或者沃尔玛这样用机器人来搜集数据的话，那就只能动用其它武器了：比如虚拟专用网（VPN）、代理、P2P 网络等，再加上弘大的开拓运营，就为了手动挖掘对手的数据。
那如果用机器人来搜集数据的话，一样平常又是怎么做的呢？
据 Bungee 产品经理 Calrence Chang 先容，抓取的行为多数是通过机器代码进行的。这也是为什么只要网上一搜“爬数据”（crawl data），出来的都是如何用代码进行爬数据。用机器爬数据虽然快，但很随意马虎被“反爬”，这也是为什么亚马逊能够识别“机器人”的行为，然后进行阻挡。
2017年秋季开始，Bungee 的两位创始人Rajat Nigam 和 Charles Ding 就开始研究，到底有没可能自动轻松搜集数据，而且还不被对方的机器人创造呢？
按照 Bungee 产品经理 Clarence Chang 的说法，创始人“是希望能有一种工具，可以简化环球规模的网络数据网络，各种代理、VPN和其他传统技能都不须要了。就光明正大地相互网络数据吧！
”
让机器人假装成人，就不会被创造了
如今，Bungee 已经成功开拓出了一种 API，让 API 可以比任何当前做事更大规模地知足爬取数据（crawl data）的要求，同时还保持靠近完美的爬取成功率。
到底是怎么做到的呢？
很大略，机器人随意马虎被对方机器人创造进而阻挡，但人就不会啊！
那扮成“正常的消费者”不就好了！
试想一下，如果你自己在网上浏览各种产品信息的话，一样平常是怎么做的？是不是先搜索一下这个产品，进入电商页面后，还会高下滑动页面，回到主页再比较一下不同的价格，乃至会看看点评？
事实上，Bungee 便是这样做的。Clarence见告小探，如果是机器的话，一样平常是一个固定的IP地址，进入网站后，就不断地点击产品链接，获取价格数据。但是，Bungee 通过“仿照”人在挑选页面的动作，比如勾留的秒数，滑动的次数等，从而让机器做到像“人类”一样“购物”。如今，Bungee 的成功率高达 90%，也便是说，只有10%的可能性会被机器人创造了。
这样“爬数据”，竞争对手一旦知道了，会不会反应很激烈呢？
Clarence 认为，实际上，爬数据已经是“公开的秘密”了。商业领域时候都在进行这样的事情，由于你总是须要理解竞争对手的，大公司也不会见告你“我们已经在做这件事”了。
当前，Bungee 做事的客户紧张面向的是电商、机票以及酒店领域，这些都是范例消费者最关注价格的运用处景。“这样，消费者就能得到最好的价格了。”
Clarence 还透露，实在连我们平时不太留神的求职市场，也存在着浩瀚机会。像美国当前求职市场里面，LinkedIn、Indeed、Glassdoor等 ，都难免存在相同的求职信息，这实在便是竞争对手相互“复制”导致的。
无需防火墙，300个城市任你选
不知大家有没有试过，如果买一张从美国出发到中国的机票，你在美国买和在中国买，价格是不一样的，至幼年探就试过。（以是每回买返国机票，小探难免还得返国内各大机票官网瞄一眼！
）
这也是发卖商最范例的发卖策略：加倍达国家，可以承受同样东西的价格就越贵……（发卖商内心OS：发达国家钱多，当然要赚多点啊！
）
Bungee 的另一大技能上风就涌现了，纵然你想要查找同一款产品在不同国家的价格数据，又或者是只在同一个国家、不同城市的价格数据，都可以！
“这有助于我们的客户迅速理解环球的价格数据，而不再是仅仅某个国家的数据。” Clarence见告小探，这紧张是通过 Bungee 做事器在环球有30多个国家，以及300多个城市的终端做到的，从而帮助客户获取基于地理位置数据的价格。
那么，现在 Bungee 的客户都有哪些呢？据 Clarence 透露，现在 Bungee 已有2个大客户，个中一个是电子商务领域的客户，另一个是财富 50 强客户，是一家专做市场研究的印度企业。
Bungee 终极能供应给客户的是什么呢？很大略，竞争对手数据。得到数据有两种办法，第一种办法，是给客户供应API（运用程序编程接口），客户可以通过自己的开拓职员，从中获取任何想要的数据；第二种办法，供应数据包，比如客户想要某个邮编区域发卖电子器材的电商的价格数据，无论是沃尔玛，还是Sears百货，Bungee供应的发卖文档里面，就包括产品价格、运输情形、客户的评价等。如今，每天，Bungee 能够对1500 万件产品进行剖析！
此外，Bungee 还供应基于 Chrome、Firefox 浏览器的插件版本，让客户搜集数据更加方便。登录 Bungee 账户后，选择你想要假装在的地方，比如你现在在加州的伯克利，但你想要假装在美国的佛罗里达州，又或者说加拿大的多伦多，都是可以的。
下一步：从搜集数据到剖析数据
研究机构 IDC 曾预测， 到2025年估量全天下每年将创造163个zettabytes（ 1万亿千兆字节） 的数据 。小探此前曾宣布过，美国大约每年花费 250 亿美元在人工网络数据上。
无论是数据拥有者，还是数据剖析者，都试图在这样弘大的数字市场当中分一杯羹。“数据是到处都有的，但你如何网络收据，用好数据，这正是企业所期盼的。” Bungee 见告小探，当前第一步确实是从网络数据开始，但是，随着数据的增加，Bungee 希望用自己的深度学习等算法技能，对数据进行剖析，提炼出更多洞察在个中，向用户***更多有代价的数据。
Bungee 希望做事的，不仅仅是大公司，也有浩瀚小型公司，从10人到500人的公司，都是可以供应 SaaS 做事的。
试想一下，如果某个海内企业想要在亚马逊上售卖自己的产品，比如鞋子，但是可能一开始是不知道如何定价的，如果通过 Bungee 获取了某双鞋子的价格、其它公司如何做匆匆销的、假期如何影响销量等关键信息后，或许就知道如何定价、如何匆匆销了。
剖析竞争对手的弘大帝国
小探创造，捕捉竞争对手动态的公司已有不少，乃至已经形成一个完全的家当链。不同的初创公司正在试图通过多种渠道办理，到底企业该如何剖析你的竞争对手，剖析竞争对手的哪些部分并加以利用。
综合性竞争对手剖析
Kompeyte：小探此前就采访过这个创业公司，它是被 500 Startups 孵化的企业。Kompeyte 供应的是实时访问竞争对手的网站、社交媒体、广告、***简报、热议度、着陆页等多个渠道，24小时就能见分晓。我不是教你诈，这家公司便是教你如何“吃透”竞争对手
竞争对手的受众剖析
Brandwatch：这家英国的创业公司着重于在社交平台关注竞争对手的受众，紧张监控竞争对手的社交媒体输出。企业可以剖析并查看对手的受众特色、以及他们共享的内容。乃至可以***粉丝作为列表，通过像 Twitter 广告之类来定位类似的受众。这家公司融资6470万美元，利润8960万美元。
SEO和关键词剖析工具
SpyFu，亚利桑那州这家公司 可以显示竞争对手在谷歌 AdWords 中购买的每个关键字，以及过去 10 年以来的广告变革。 帮助客户更深入地理解竞争对手利用的关键字和PPC（pay-per-click） 广告关键词策略。比如，竞争对手排名的关键字数量，以及企业关键字与对手关键字设置的重叠程度等。这家企业的利润是380万美元。
SEMRush，这家位于波士顿的创业公司，供应在线可视化管理和内容营销SaaS平台。希望通过剖析竞争对手的一系列关键字、付费搜索和排名等指标，帮助企业进行剖析。可免费搜索10个网站，得出有限结果。 这家公司融资4000万美元，利润310万美元。
付费广告和PPC工具
iSpionage，这家硅谷初创公司成立于2008年，该公司供应可识别竞争对手PPC的工具，还包括其每月预算和全体Adwords策略。乃至可以访问七年的PPC和SEO关键字数据。这家公司利润1000万美元。
Whatrunswhere，这家成立于2011年的加拿大公司，供应查看竞争对手的广告位置，乃至广告外不雅观、以及广告效果的功能。乃至包括访问15万个效果最佳的展示广告发布商的广告系列数据，在2016年被一家数字广告企业收购。这家企业利润400万美元。
可以说，无论是剖析竞争对手本身，还是剖析竞争对手的受众，乃至竞争对手如何做广告都剖析了。这些企业明显面向企业的需求也导致了纵然未有进行过多融资，但利润并不低。果真是：都来相互搜集吧！
大家事情中是否碰着什么好用的搜集竞争对手的工具呢？又是如何剖析竞争对手的？欢迎大家爆料！
推举阅读
区块链报告 |脑机接口报告
硅谷人工智能|斯坦福校长
卫哲|姚劲波|胡海泉
垂直栽种 | 无人车
王者光彩 | 返老还童
