跟着手机及智能设备的鼓起，咱们的生活已经被数字信息围住，“胃口”在不断变大，各个产品为了能给用户带来更多、更新鲜的体会和信息，开端不断地生成各类数据和信息，本着为用户带来更好的体会，却给用户造成了更多困扰。
那怎么带给用户最舒服的引荐、最合适的产品或服务呢？这也是鼎道智联一直在探究的事情，而为了处理这个问题， 咱们对数据仓库做了更多的了解：比尔恩门提出了数据仓库的概念，演化至今，它能够用于数据剖析，供上层决议计划，常见于一些查询性的核算数据，也借此为用户供给更有针对性的服务。
01 数据仓库是什么
数据仓库，英文名称为 Data Warehouse，可简写为 DW 或 DWH 。它为企业一切等级的决议计划制定进程，供给一切类型数据支撑的战略集合， 它可认为需求事务智能的企业，供给指导事务流程改善、监督时刻、成本、质量以及操控。
简单来说，数据仓库是出于剖析性报告和决议计划支撑意图而被创建的。
02 数仓架构演化流程
经典数仓
数据仓库之父 Bill Inmon 在提出数据仓库概念的一起，也建议各企业能够自上而下（DWDM）建造企业级数据仓库，然而 DWDM 的数据存储方法严格按照三范式建模方法，导致数据剖析功率低下。这也造成了很多公司并没有办法经过 DWDM 模型来构建数据仓库。
这时， 拉尔夫金博尔（Ralph Kimball）则建议自下而上（DMDW）的方法，力推数据集市建造，并运用维度建模来替代三范式来完结信息贮存的动作。
虽然仅仅一个很小的变动，但实际的操作难度大大降低，也满意了公司内部部分事务部门的火急需求。不过，跟着数据集市的不断增多，这种架构的缺陷也逐步闪现，公司内部独立建造的数据集市由于遵从不同的规范和建造原则，以致多个数据集市的数据紊乱和不一致，如果要处理以上问题，就还需回归到范式建模。
最后，Bill Inmon 推出了新的 BI 架构 CIF（Corporation information factory），并把 Kimball 的数据集市包含进来，完结了将数仓架构划分为不同的层次以满意不同场景的需求。
CIF 的确成功的处理了其时的问题，并成为建造数据仓库的框架指南。但跟着大数据背景的到来，咱们开端扔掉了传统构建数仓的技能，转而挑选了更能满意当前年代需求的大数据技能，也成果了咱们之后所说的离线数仓的概念。
离线数仓
离线数仓运用大数据东西来替代经典数仓中的传统东西，但其实质仍是经典数仓。它首要是把企业的事务数据库、日志行为数据等，按照决议计划剖析的要求建模并汇总到数据仓库引擎中，其运用以报表为主，意图是支撑办理层和事务人员决议计划（中长期策略型决议计划）。
而数据以 T+1 的方法核算好放在那里，给前台的各种剖析运用供给算好的数据。后来，咱们也把这种形式称为“大数据的批处理”。
离线数仓的分层
为了更好的办理数据，能对数据有一个愈加清晰的掌控，数据仓库在构建进程中一般都需求进行分层处理：
- ODS 原始层：
该层首要包含了埋点数据和事务数据。 它将多源异构的数据转换成一致格局，这里的数据一般与事务系统的数据高度对应，基本是1对1的。
- DWD 数据明细层：
该层能够对 ODS 层数据进行清洗（去除空值，脏数据，解析等数据处理），是事务层与数据仓库的隔离层。 以事务进程作为建模驱动，根据每个详细的事务进程特色，构建细粒度的明细层现实表。
- DWS 汇总层：
首要是对 DWD 和 DIM 层数据进行聚合一致操作，这一次聚合核算是需求将各个维度的数据都要细化核算出来，按照事务划分，如流量、订单、用户等，生成字段比较多的宽表，整合汇总成剖析某一个主题域的服务数据，用于供给后续的事务查询。
- DIM 维表层：
①高基数维度数据：一般是用户材料表、产品材料表相似的材料表。数据量可能是千万级或许上亿等级。
②低基数维度数据：一般是装备表，比方枚举值对应的中文含义，或许日期维表。数据量可能是个位数或许几千几万。
- ADS 运用层：
该层首要是根据报表、专题剖析需求而核算生成的数据。
不过，跟着事务的改变和发展，为了确保对数据的掌控愈加清晰，创建分层的技能处理手段也不完全相同。
而当企业信息化发展到必定程度，对数据的时效性要求越来越高，也对数仓的才能提出了更高的要求：
- 互联网的在线特性对实时性提出了要求；
- 用户反诈骗、用户审阅需求的暴升，导致无法只靠人工干预完结；
03 实时数仓是什么
实时数据仓库其实就是将实时查询和剖析数据的才能归入数据仓库中，以确保在数据产生后的分钟级、秒级内，企业就能够拿到相关数据，并在事务中发挥它们的价值，以提高相应的事务收益。
因而，咱们能够将实时数仓的定义拆解：
- 具有实时数据处理才能，并能够根据事务需求供给实时数据的数仓才能，如可认为运营侧供给实时事务改变、实时营销作用数据。
- 数仓中一切数据都采用实时方法，比方：数据采集、加工处理、数据分发等。
区别于离线批处理数据仓库，实时数仓的首要特色是：经过运用流式核算相关技能来达到事务对于实时性的要求。为了满意该要求，人们开端在离线大数据架构基础上加了一个加速层，运用流处理技能直接完结那些实时性要求较高的目标核算，这便是 Lambda 架构。
Lambda 架构
Lambda 架构的中心理念是“流批一体”，数据从底层的数据源开端，经过多种格局后进入大数据渠道，被 Kafka、Flume 等数据组件收集后，再分红两条线进行核算：一条线是进入流式核算渠道（例如 Storm、Flink或许Spark Streaming），去核算实时的一些目标，确保数据实时性；另一条线则进入批量数据处理离线核算渠道（例如 Mapreduce、Hive，Spark SQL），去核算 T+1 的相关事务目标，这些目标需求隔日才能看见。
如上图所示，整个数据流自左向右流入渠道。进入渠道后一分为二，一部分走批处理形式，一部分走流式核算形式；但不管哪种核算形式，终究的处理结果都将由一致服务层，也确保访问的一致性。它处理了一个公司大数据批量离线处理和实时数据处理的双重需求，并经过分开实时核算和离线核算顶峰操作时刻，确保了 Lambda 的稳定性。
由于一起运用两套核算方法， Lambda 的坏处也很显着：
- 同样的需求需求开发两套相同的代码；
- 数据过多导致服务器存储大；
- 集群资源运用增多；
- 离线结果和实时结果不一致；
- 批量核算T+1可能核算不完。
这些缺陷的确让其时的大数据团队很头疼，不过跟着 Flink 等流式处理引擎不断完善，流处理相关的技能逐步老练，LinkedIn 的 Jay Kreps 结合实际经历和个人领会提出了能处理该问题的 Kappa 架构。
Kappa 架构
Kappa 架构的中心思想是经过改善流核算系统来处理数据全量处理的问题，使得实时核算和批处理进程运用同一套代码。而流核算天然的分布式特征，注定了他的扩展性更好，经过加大流核算的并发性，加大流式数据的“时刻窗口”，来一致批处理与流式处理两种核算形式。
Kappa 架构的消息行列常挑选 Kafka，由于它具有历史数据保存、重放的功能，并支撑多顾客一起运用。而流处理集群一般挑选 Flink ，由于 Flink 支撑流批一体的处理方法，而且对 SQL 的支撑率逐步提高，因而能够削减流处理和批处理逻辑代码不一致的状况。
俗话说事有两面，Kappa 的长处的确十分显着，但一起，Kappa 也有着自身的局限性：
- Kafka 无法支撑海量数据存储。
- Kafka 无法支撑高效的 OLAP 查询，
- 无法复用现在已经十分老练的根据离线数仓的数据血缘、数据质量办理体系。
- Kafka 不支撑 update / upsert ，现在 Kafka 仅支撑 append 。
04总结
其实，从底子来说，数据仓库是伴跟着企业信息化发展起来的。而在企业信息化的进程中，跟着信息化东西的升级和新东西的运用，数据量变得越来越大，数据格局越来越多，决议计划要求越来越严苛，数据仓库技能也在不停地发展。
因而，当咱们全体看数仓的架构演化流程时，就能够发现每一个数仓的发展和改变其实都离不开互联网的大变动，比方大数据年代的来临、实时处理的要求等。而数据架构技能不断演进，实质是在往流批一体的方向发展，让用户能以最天然、最小的成本完结实时核算，从而为用户带来更流通的操作体会。
为用户带来更简便、安全、绿色的操作体会，也是鼎道智联的课题。因而，咱们一直致力于打造一款真正“以人为本”的操作系统，旨在真正完成“助全国尽享智能物联服务”，鼎道智联一直保持着对行业的探究和对自己生态的打造，如果你也认可咱们的想法，有相同的目标，欢迎加入或重视鼎道生态。
