顶象最新一期事务安全情报显示，某社交媒体渠道遭受持续性的歹意爬虫进犯，用户信息和原创内容被批量盗走，经分类梳理和开始加工后，被黑灰产转售给竞争对手或直接用于歹意营销。由此不只给用户形成隐私和信息走漏，更给社交媒体渠道的数字财物带来直接损失，破坏了内容工业的健康开展。

什么是网络爬虫？

网络爬虫，又被称为网页蜘蛛，网络机器人，是依照必定的规矩，主动地抓取网络信息和数据的程序或许脚本。浅显点讲，网络爬虫模拟人的行为，用程序替代了人的操作，从一个链接跳转到下一个链接，就像是在网络上匍匐一样遍历网页。爬虫跳转、翻开、阅读等动作比人的速度快，阅读的网站的层次也更深，所以被称为网络爬虫。

1993年，麻省理工学院的学生马休格雷写了一个名为“互联网漫游者”的程序，用来统计互联网上的服务器数量，并检索网站的域名。由此，世界上第一个网络爬虫诞生。跟着互联网的迅速开展，网页以爆发式增加，快速、精准的检索越来越困难。开发者在“互联网漫游者”程序的基础上进行了许多改进优化，用来检索整个互联网。一起，搜索引擎的遍及，推进网络爬虫向多战略、负载均衡及大规模增量抓取等方向开展。

依照系统结构和完结技能，网络爬虫可以分为四类：应用于搜索引擎和大型数据收集的通用网络爬虫，面向指定主题和目标页面收集的聚焦网络网络爬虫，只收集有更新有改变网页的增量式网络爬虫，以及可以收集静态链接后边、隐藏在搜索表单后信息不断改变的深层网络爬虫。

顶象与中国信通院联合发布的《数字事务安全白皮书》认为，歹意网络爬取会带来数字财物损失、用户隐私走漏和扰乱事务正常运行等三大损害，并将其列为十大事务欺诈手段之一。

歹意爬取与技能反爬的三个阶段

歹意爬取与反爬跟着技能开展不断演进，是一个动态的攻防过程。依据网络爬虫的开展以及歹意爬取行为的改变，大体来看是三个阶段。

第一阶段，约束IP和账号、验证码阻拦

起先网站的反爬办法，是关于非源于阅读器的拜访直接拒绝。当歹意网络爬虫拜访时，就会呈现403过错响应码，或许收到“抱歉，无法拜访“的提示。

为了绕过反爬机制，网络爬虫设置Headers信息，模拟成阅读器，多线程的对静态页面进行大规模歹意抓取。

Headers是Http恳求和相应的中心，承载了用户拜访网页的首要信息，包含Cookie（用户名、暗码）、host（恳求的服务器主机）、User Agent（阅读器、阅读器内核、厂商等）、Referer（阅读轨迹，比方上一个页面）等。

针对歹意爬取行为，网站和渠道对频频改变UserAgent（模拟阅读器）、频频运用署理IP的账号、设备进行约束和阻拦：当同一IP、同一设备在必定时刻内拜访网站的次数，系统主动约束其拜访阅读；当某一拜访者拜访次数过多后，就主动让恳求跳转到一个验证码页面，只有在输入正确的验证码之后才干持续拜访。

第二阶段，动态网页技能维护信息

面临反爬技能的晋级，网络爬虫也随之晋级。网络爬虫可以主动辨认并填写验证码，绕过二次核验的阻拦；一起运用多个账号，装备IP署理工具，绕过渠道对账号和IP地址的约束。

针对网络爬虫的改变，许多网站和渠道选用动态网页开技能。依据动态网页技能，网页的URL地址不固定，后台实时与前端用户交互，完结用户查询、提交等动作。并且不一起间、不同用户、拜访同一URL地址时会产生不同的页面。比较与传统的静态网页，动态网页有用维护重要的数据信息，有用遏止了网络爬虫的歹意爬取行为。

第三阶段，全流程防控歹意盗取

道高一尺魔高一丈。为了绕过新的反爬办法，网络爬虫运用Selenium和Phantomjs技能，完全模拟人的操作。

Selenium是一个用于Web应用程序测试的工具，可以直接运行在阅读器中。它支撑所有主流的阅读器，可以依据开发者的指令，让阅读器主动加载页面，获取需求的信息数据，甚至页面截屏，或许判别网站上某些动作是否发生。由于Selenium 需求与第三方阅读器结合在一起才干运用，因而开发者运用Phantomjs工具（或称之为”虚拟阅读器”）替代真实的阅读器。

跟着网络爬虫的不断迭代，单一的防控办法已不能见效，渠道和企业需求立体的防护办法，才干有用应对歹意爬取行为。

顶象的全流程反爬计划

进犯的是一个点，防护却需求一个面。顶象的全流程的立体防控办法，有用防备歹意爬取行为。

首先，定时对渠道、App的运行环境进行检测，对App、客户端进行安全加固，对通讯链路的加密，保障端到端全链路的安全。其次，部署依据顶象防护云、风控引擎和智能模型渠道，构建多维度防护系统。

顶象智能验证码:

作为防护云的一部分，顶象智能验证码可以阻挡歹意爬虫盗用、盗取数据行为。并可以在注册、登录、查询时，对歹意账号、歹意爬取行为进行实时的核验、断定和阻拦。

顶象设备指纹:

作为防护云的一部分，顶象设备指纹可以对代码注入、hook、模拟器、云手机、root、越狱等危险做到有用监控和阻拦。

顶象风控引擎:

依据事务查询场景的恳求、客户端收集的设备指纹信息、用户行为数据行为（鼠标的滑动轨迹、键盘的敲击速率、滑动验证码的滑动轨迹、速率、按钮点击等行为轨迹等），完结对歹意“爬虫”行为的有用辨认，依据安全防控战略，有用地歹意爬取行为进行辨认和阻拦。

顶象智能模型渠道:

依据事务、爬取危险与反爬战略改变，构建专属风控模型，完结安全战略的实时更迭，从而有用阻拦各种歹意爬取危险。

——————

事务安全产品：免费试用