我国目前并未出台专门针对网络爬虫技能的法令规范，但在司法实践中，相关判定已屡见不鲜，K哥特设了“K哥爬虫普法”专栏，本栏目经过对真实事例的分析，旨在进步广大爬虫工程师的法令意识，知晓怎么合法合规利用爬虫技能，警钟长鸣，做一个守法、护法、有原则的技能人员。
案情介绍
被告人：北京百度网讯科技有限公司（以下简称百度公司），百度
上诉人：上海汉涛信息咨询有限公司（以下简称汉涛公司），群众点评
汉涛公司诉称，“百度地图”与“百度知道”未经授权，许多复制“群众点评网”的用户点评等信息，与“百度地图”具有合作联系的上海杰图软件技能公司运营的“城市吧”网站因运用了“百度地图”又扩展了侵权影响规模、形成公司重大丢失。因而，“群众点评网”的运营方上海汉涛信息咨询有限公司将北京百度网讯有限公司及上海杰图软件技能公司以不正当竞赛为由，诉至法院，要求被告中止侵权、刊登公告消除不良影响，并赔偿经济丢失 9000 万元和为制止侵权行为支出的 45 万余元。
该案中，北京百度网讯科技有限公司（“百度公司”）运用技能手段在群众点评等 APP 上抓取了商户的基本信息及点评信息，用户运用其运营的百度地图 APP 查询位置时，无需跳转至群众点评界面，就可直接在百度地图界面获取商户的基本信息和点评信息。汉涛公司以百度公司等相关主体构成不正当竞赛向法院申述。
法院观点
两边是否存在竞赛联系？
法院以为，尽管汉涛公司与百度公司所运营的APP归于不同行业、不同范畴且有着不同的经营形式，可是两边的行为在抢夺相同的网络用户集体，两者在为用户提供商户信息和点评信息的服务形式上近乎一致，存在竞赛联系。 从法院观点来看，在竞赛联系的确定上，将不限于对同行业相关主体竞赛联系的确定，还将抢夺相同网络用户集体的相关主体确定为具有竞赛联系。这对许多以“流量为王”的企业十分具有警示含义。
汉涛公司是否有可诉诸法令保护的合法权益？
法院以为，汉涛公司为了积累点评信息付出了巨额本钱。点评信息是汉涛公司的核心竞赛资源之一，为汉涛公司带来竞赛优势。 在法院考量汉涛公司是否具备可诉诸法令保护的合法权益上，关注了汉涛公司获取涉案数据信息的本钱，以及涉案数据信息为汉涛公司带来的效益。
百度公司是否存在不正当的行为？
法院以为，在百度公司靠本身用户无法获取满足点评信息的情况下，经过技能手段，从群众点评等网站获取点评信息，用于充分百度地图，百度公司的这种行为违反了公认的商业道德和诚笃信用原则，具有不正当性。 在对百度公司行为不正当性进行确定上，法院以为百度公司这种相似于“搭便车”、“不劳而获”的行为违反了商业道德和诚笃信用原则。
汉涛公司是否因百度公司的行为遭受实践危害？
法院以为，用户在运用百度地图查阅到商户信息和点评信息后已无需跳转至群众点评检查更多信息，百度地图现已对群众点评构成实质性代替，对汉涛公司形成了实质性危害。 关于互联网企业而言，用户流量的多少，在某种程度上决议了企业在市场上的竞赛力和企业价值。与确定是否具有竞赛联系相似，法院在确定汉涛公司是否遭受实践危害时，关注到百度公司“截取”了汉涛公司应有的网络用户浏览量，对群众点评构成实质性代替。
判定情况
法院一审判定成果：
- 百度公司于判定收效之日起当即中止以不正当的方法运用汉涛公司运营的群众点评网的点评信息；
- 百度公司于判定收效之日起十日内赔偿汉涛公司经济丢失 300 万元及为制止不正当竞赛行为所付出的合理费用 23 万元；
- 驳回汉涛公司的其他诉讼请求，一审案子受理费 494,067 元，由汉涛公司担负 238,207 元，由百度公司担负 255,860 元。
法院二审判定成果：
- 维持原判，案子受理费人民币 32,640 元，由上诉人北京百度网讯科技有限公司担负。
判定文书
wenshu.court.gov.cn/website/wen…
事例分析
本案中汉涛公司以为百度的行为是零本钱获取己方拥有“著作权的内容”，且因百度的行为形成了实践丢失，构成不正当竞赛。而百度方代理律师以为，百度是一家搜索功用公司，与群众点评网之间没有构成竞赛联系，所做的仅仅搜索相关信息，挑选后进行呈现，在这个过程中收集到了群众点评网中的部分信息，不存在不正当行为，并且群众点评网的Robots协议是面向百度敞开的，百度收集的信息是Robots协议答应的。
在二审中上诉人汉涛公司的辩称中有一条需要咱们留意：百度公司经过搜索引擎抓取涉案信息并不违反Robots协议，但并不意味着百度公司能够任意运用该些信息，若不对运用别人网站信息的方法进行合理控制，将导致百度公司以极低的本钱攫取汉涛公司的经营成果。
咱们知道Robots协议是一种约定俗成的正人协议，并不具备法令效应。即便群众点评网中Robots协议是面向百度的，但百度也不能够用收集到的信息对群众点评网形成影响，百度的行为依旧归于不正当竞赛行为。这种情况也存在于许多企业之中，许多企业都会收集一些信息聚合平台上的揭露或者半揭露的信息，然后将信息应用于自己的事务场景中，企业以为自己收集的是揭露信息，并不违反法令。可是却没有考虑事务是否与信息聚合平台间存在竞赛联系，没有考量对爬虫信息的运用规模和方法以及对信息聚合平台形成的影响，这也是许多个人爬虫开发者在爬虫开发时没有去考虑的点。
目前数据抓取行为所涉的竞赛联系确定规范比较模糊，目前关于此类案子的判定主要有三要件：
榜首，行为确属法令未特别清晰；
第二，其他经营者的合法权益确因该竞赛行为而受到了实践危害；
第三，该种竞赛行为确因违反诚笃信用原则和公认的商业道德而具有不正当性或可责性。
该案中百度的行为也的确契合这三要件，同样作为内容提供商，将群众点评网中的信息展现在自己的产品中，会导致群众点评的流量丢失，是不正当的行为。
随着数据在现代社会中的重要性日益增加，数据权属问题也越来越重要，企业甚至国家关于数据的注重程度不断加深。《中共中央 国务院关于构建愈加完善的要素市场化配置体系机制的意见》中清晰将数据作为一种出产要素，与传统的出产要素如土地、劳动力、资本、技能等并排。因而，爬虫开发中，咱们不只需要关注数据的来源是否合法，也要思考数据的运用是否得当。
