一、缘起
最近借款利率不断的下降,以及到了结婚的年岁,计划买套房来作为婚房,否则结婚后还得租房住,不断搬家真实扛不住啊。
下定决心后(毕竟要背负大几百万的借款,所以给自己做了许多心思建设,哈哈),于是加入了看房的大队伍中。跟着看房累积的经历不断的添加,越发感觉中介这行水很深,真是为了成交什么手法都能用出来的。当然也有十分专业的中介,给了许多客观的定见,但还是少数
考虑到没办法一向重视房源的变化,并且北京的房源是不显现成交价的,作为一名资深头秃程序猿,那必然是想着有没有什么神奇的操作能够解决这两个问题,所以要完成的目标呼之欲出
- 房源变化每日报表
- 抓到房源成交价
经过缜密的剖析(玩游戏等待加载的时分看了看),发现能够完成,于是快速的付出了行动(打完N局游戏之后)
本系列共分为两篇文章《为了买房,我抓取了某家房源的数据-剖析篇》,《为了买房,我抓取了某家房源的数据-实战篇》,本篇为原理剖析篇,重视后食用更佳~
二、作用展现
为了证明本刁的强壮,那必然先上作用,咱们且看下图
由于本刁是后端码农,真实不善于美化界面,咱们将就着看
数据首要分为两大块,有每日变化的数据以及悉数的数据
黄色的标题代表的是今日变化的数据,有成交的房源,停售的房源,假如有新上架的房源也会展现在内
悉数数据指的是从抓取到至今一切的房源数据概况
并且假如房源是已成交的话,会展现房源的【签约日期】、【签约价格】以及【成交周期】
三、剖析
3.1 某家事务的承载方法
看了作用图,下面着手剖析下这个需求,该怎么完成
首要需求了解的是某家事务的承载方式以及数据获取的难易程度,首要有:
- 某家APP。手机APP可做的功用许多,一般都会有防抓包以及数据加密的功用,数据获取难度高
- 某家网站。在浏览器上即可拜访以及抓包,数据获取较为简略
- 某家小程序。在微信上拜访的,需求工具来抓包,数据获取难度一般
根据数据获取的难易程度,在浏览器上可直接打开的某家网站无疑是首选。
于是对某家网站进行抽丝剥茧的剖析,这个过程十分重要,需求骄傲自大
3.2 数据获取流程剖析
首当其中的是,怎么获取心仪小区的悉数房源信息?
链家提供了对指定小区的房源进行查找的功用,如下图所示,能够拿到小区的总信息和房源信息,若一页放不下的话还需求翻页,详细如下图
有了上面这份数据,新上架的房源信息就能够拿到了,公式为:今日新上架的房源 = 今日的一切房源 - 昨日一切的房源
,这公式的复杂程度让我连连称自己为小天才
关于下架/停售的房源和成交的房源,链家做了必定的限制,需求重视该房源后比及【下架/停售】或【成交】的时分才会在重视列表中改动房源的状态信息,如下:
在重视列表中停售的房源图
在重视列表中成交的房源图
那么理论上,咱们只要重视这个小区的一切房源,然后不断的遍历其状态就能够拿到下架和停售的房源信息喽
说起简略,做起来也简略,这涉及到两个点:
- 登录
- 重视房源
大部分网站登录态的保存都是借用的cookie的功用,咱们在拜访接口的时分直接把一切的cookie扔进去即可,这些技术细节我会在完成篇详细介绍,这儿暂时不需求重视
关于重视房源,重视一下,抓个包就OK了,看起来也挺简略,这些细节就让咱们相约实战篇吧~
四、总结
本篇文章首要对链家的网站进行了剖析,找到适宜的数据信息,下面实战篇将会介绍怎么抓包、解析出自己需求的数据以及邮件通知
本系列文章仅供学习运用,不得用于违法犯罪行为