一、缘起

最近借款利率不断的下降,以及到了结婚的年岁,计划买套房来作为婚房,否则结婚后还得租房住,不断搬家真实扛不住啊。

下定决心后(毕竟要背负大几百万的借款,所以给自己做了许多心思建设,哈哈),于是加入了看房的大队伍中。跟着看房累积的经历不断的添加,越发感觉中介这行水很深,真是为了成交什么手法都能用出来的。当然也有十分专业的中介,给了许多客观的定见,但还是少数

考虑到没办法一向重视房源的变化,并且北京的房源是不显现成交价的,作为一名资深头秃程序猿,那必然是想着有没有什么神奇的操作能够解决这两个问题,所以要完成的目标呼之欲出

  1. 房源变化每日报表
  2. 抓到房源成交价

经过缜密的剖析(玩游戏等待加载的时分看了看),发现能够完成,于是快速的付出了行动(打完N局游戏之后)

本系列共分为两篇文章《为了买房,我抓取了某家房源的数据-剖析篇》,《为了买房,我抓取了某家房源的数据-实战篇》,本篇为原理剖析篇,重视后食用更佳~

二、作用展现

为了证明本刁的强壮,那必然先上作用,咱们且看下图

为了买房,我抓取了某家房源的成交数据(分析篇)

由于本刁是后端码农,真实不善于美化界面,咱们将就着看

数据首要分为两大块,有每日变化的数据以及悉数的数据

黄色的标题代表的是今日变化的数据,有成交的房源,停售的房源,假如有新上架的房源也会展现在内

悉数数据指的是从抓取到至今一切的房源数据概况

并且假如房源是已成交的话,会展现房源的【签约日期】、【签约价格】以及【成交周期】

三、剖析

3.1 某家事务的承载方法

看了作用图,下面着手剖析下这个需求,该怎么完成

首要需求了解的是某家事务的承载方式以及数据获取的难易程度,首要有:

  1. 某家APP。手机APP可做的功用许多,一般都会有防抓包以及数据加密的功用,数据获取难度高
  2. 某家网站。在浏览器上即可拜访以及抓包,数据获取较为简略
  3. 某家小程序。在微信上拜访的,需求工具来抓包,数据获取难度一般

为了买房,我抓取了某家房源的成交数据(分析篇)

根据数据获取的难易程度,在浏览器上可直接打开的某家网站无疑是首选。

于是对某家网站进行抽丝剥茧的剖析,这个过程十分重要,需求骄傲自大

为了买房,我抓取了某家房源的成交数据(分析篇)

3.2 数据获取流程剖析

首当其中的是,怎么获取心仪小区的悉数房源信息?

链家提供了对指定小区的房源进行查找的功用,如下图所示,能够拿到小区的总信息和房源信息,若一页放不下的话还需求翻页,详细如下图

为了买房,我抓取了某家房源的成交数据(分析篇)

为了买房,我抓取了某家房源的成交数据(分析篇)

有了上面这份数据,新上架的房源信息就能够拿到了,公式为:今日新上架的房源 = 今日的一切房源 - 昨日一切的房源,这公式的复杂程度让我连连称自己为小天才

为了买房,我抓取了某家房源的成交数据(分析篇)

关于下架/停售的房源和成交的房源,链家做了必定的限制,需求重视该房源后比及【下架/停售】或【成交】的时分才会在重视列表中改动房源的状态信息,如下:

在重视列表中停售的房源图

为了买房,我抓取了某家房源的成交数据(分析篇)

在重视列表中成交的房源图

为了买房,我抓取了某家房源的成交数据(分析篇)

那么理论上,咱们只要重视这个小区的一切房源,然后不断的遍历其状态就能够拿到下架和停售的房源信息喽

说起简略,做起来也简略,这涉及到两个点:

  1. 登录
  2. 重视房源

大部分网站登录态的保存都是借用的cookie的功用,咱们在拜访接口的时分直接把一切的cookie扔进去即可,这些技术细节我会在完成篇详细介绍,这儿暂时不需求重视

关于重视房源,重视一下,抓个包就OK了,看起来也挺简略,这些细节就让咱们相约实战篇吧~

四、总结

本篇文章首要对链家的网站进行了剖析,找到适宜的数据信息,下面实战篇将会介绍怎么抓包、解析出自己需求的数据以及邮件通知

本系列文章仅供学习运用,不得用于违法犯罪行为