关于长城智能新能源
长城轿车是一家全球化智能科技公司，业务包含轿车及零部件规划、研发、出产、出售和服务，旗下具有魏牌、哈弗、坦克、欧拉及长城皮卡。2022年，长城轿车全年出售1,067,523辆，接连7年销量超100万辆。长城轿车面向全球用户供应智能、绿色出行服务，加快向全球化智能科技公司进阶，智能化车型浸透率达86.17%，车联网作为智能化两大运用方向之一，在这个过程中快速发展。
长城车联网途径包含车内总线数据上报、远程、车机配备下发、推送文件、推送消息、运营关心等全新车联网业务，完结车机端和业务途径解耦并高效完结业务对接整合。
首要场景包含：
●车端数据上报——电机、位置、发动机、整车数据、电池，报警等，通过tbox上报车联网途径，针对上报数据进行实时数据处理、核算、推理，以便供应车况查询、告警等智能化服务。
●远程操控——手机APP/智能设备集成车联网途径才干，完结远控、确诊。
以下是车联网途径架构图（暗示）。
车联网途径架构图（暗示）
爆破式增加带来的应战
车联网途径现在已接入数百万辆车，峰值在线达百万辆。车端上报信号数据量大、上传频率高，数据呈爆破式增加，海量数据实时处理与分析面对严峻应战。
对系统提出以下要求：
1、处理时效要求高
查询时效性、分析决议方案、监控告警
2、数据量大，安稳
物联网设备一般功用比较弱，很难去运用盛行的传统的消息中间件。基本上 IOT 设备里面，都是用 MQTT 来去做消息的传输。但 MQTT 存在以下缺陷：
1、仅仅排队，而不是流处理
2、无法处理运用量激增(没有缓冲)
3、大多数 MQTT 代理不支撑高可弹性性
4、异步处理(一般脱机很长时间)
5、缺少与企业其他部分的杰出集成
6、单一基础设施(一般位于边际)
7、不能对事情进行再处理
只要 MQTT 数据有或许来不及处理就被丢掉，一同也满足不了海量数据实时处理与分析带来的应战。
处理方案
作为分布式消息队伍的Kafka，因多分区、零仿制、批处理、次第读写等规划和特功用够完结高吞吐量的数据处理。一同作为一个事情流途径，它结合消息传递、存储和数据处理来构建高度可弹性、可靠、安全和实时的基础设施。从车联网的角度来看具有以下长处：
1、流处理，不仅仅是排队
2、高吞吐量
3、大规模的
4、高可用性
5、长时间存储和缓冲
6、再处理的事情
7、与企业的其他部分杰出集成
Kafka和MQTT的结合是构建可弹性、可靠和安全的车联网基础设施的天成之选，因此长城车联网途径挑选Kafka作为数据处理中心组件。
MQTT的Broker集群后对接Kafka集群，先通过MQTT从设备收集数据，收集后再转储到Kafka，供后续引擎分析处理。即使处理的速度没有收集的速度快，数据也不会丢掉，由于已转储到Kafka，长城正是用这种方案完结了车联网设备情况的继续监控和分析。
但自建 Kafka 带来日益加剧的研发和运维本钱：
首要，处理问题的研发运维人员需求具有扎实的核算机功底（了解核算机网络、IO 等），需对 Kafka 的底层原理、各种配备参数项等具有深刻理解，可以进行 Kafka 集群参数调优，快速处理突发缺点、恢复集群抖动和动态进行集群扩缩容等。
其次，一方面需求投入更多的人力、物力本钱，另一方面需求时间监控集群的健康情况，及时打扫问题以确保业务的安稳运行。
最后，自建消息队伍在扩展性、可维护功用方面存在缺少，当业务的消息数据量到达必定程度后，自建的消息队伍集群就会引发各式各样的问题，问题的处理又带来很大的应战。
举几个简略比如：
●集群产生反常时，由于监控方针不全，日志输出不合理等原因，排查定位问题困难。只能靠暂停业务、重启Kafka 集群处理问题，对业务影响较大。
●Kafka 的集群扩容复杂度高，在业务高峰进行搬家的时分，出现分区搬家卡死。
●自建集群的 ZK 运维难度大，ZK负载高，导致ZK频频断连。
与腾讯云技术团队沟通，CKafka（CloudKafka）作为云上Kafka版别，具有完善的监控告警系统和运维工单系统，在功用、扩展性、业务安全确保、运维等方面具有很强优势，可以在享受低本钱、高功用、丰盛功用的一同，清除繁琐运维作业。
车联网途径运用高功用、高吞吐、可拓展的分布式消息队伍引擎 CKafka，完结业务解耦、削峰填谷、数据的异步处理，到达业务的高可靠性。
数据上报场景
车辆产生的实时数据（如GPS位置、速度、油耗等）通过CKafka进行收集、传输、分发，完结一份数据多个流向满足多个场景需求。
实时核算部分
通过 Flink供应的Kafka连接器，流数据通过Flink算子进行处理落入高功用列式数据库Clickhouse，用于实时更新数据的分析。该流程可供应一次精确的处理语义，一同 CKafka 多分区供应更高的吞吐量，削减数据歪斜和热门。
车辆缺点、反常行为等车辆的情况数据，通过实时分析可以快速发现并处理车辆的问题。
离线分析部分
通过Flume等日志收集系统，可将 CKafka中海量日志数据进行高效收集、聚合、移动，最后存储到HDFS 或许 Hbase。在出产处理环节中，当出产与处理速度不一致时，CKafka可以充当缓存人物。具有Partition结构以及选用Append追加数据，使CKafka具有优异的吞吐才干；一同其具有Replication结构，使CKafka具有很高的容错性。
车辆数据通过离线分析和开掘，分析效果可以用于优化车辆功用、提高驾驭安全、下降能耗等。
指令下发场景
在指令下发场景中，CKafka 接受远程指令和呼应效果，为上下游多个系统供应异步接耦、削峰填谷的才干，一同消息耐久化及可回溯的产品特功用确保指令情况的终究一致性。
运用CKafka后的业务收益
与自建 Kafka 比较，CKafka 有完善的监控告警系统和运维工单系统，CKafka 研发专家随时答疑解惑，敏捷处理客户问题，省心省力。
CKafka 在功用、扩展性、业务安全确保、运维等方面具有超强优势，让客户在享受低本钱、超强功用的一同，清除繁琐运维作业。当 CKafka 集群的流量和磁盘容量超越告警阈值，后端会及时扩容设备对客户端无感知，处理开源Kafka长时间以来搬家数据的痛点，配备晋级无感知，轻松应对业务高峰。
除了可拓展性之外，Ckafka 支撑同地域自定义多可用区布置，跨地域灾备，提高业务容灾才干。
未来展望
针对下降存储本钱、快速应对突发流量峰值的两个中心诉求，CKafka 将演进按量存储形状，并推出弹性带宽才干。
●按量存储
依照实际运用存储空间弹性计费，无需考虑预留存储空间，更加灵敏易运维，且本钱更低。
●弹性带宽
在既定带宽规范上，供应必定规模的上浮空间（即弹性才干）。
若遇到突发的流量毛刺，集群不会触发限流，而是在规则规模内弹性扩缩容，超出原有带宽部分的流量按量计费。
通过合理的架构规划和灵敏的产品才干，CKafka 协助用户在云上以更低本钱保管高吞吐、高可用、易用免运维的消息队伍 Kafka 服务，一站式树立数据流转链路。后续也等待与出行工作客户有更多协作，分享更多云上最佳实践。
