导言

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

日益剧增的数据激流与改造敏捷的新式事务,既引发了互联网企业对数据库技能的从头思考,也带来了传统职业对数据库运用的二次迷思。以灵敏、易扩展著称的NoSQL在企业数字化转型的过程中,究竟发挥着怎样的作用?其重要性体现在哪?未来NoSQL数据库又将迎来怎样的开展?

2022年5月14-15日,第五届 Techo TVP 开发者峰会 “数「聚」未来,岂止于快——NoSQL引爆数据功率与价值”正式落下帷幕,12位来自NoSQL范畴的知名技能首领和专家,从功用、功率与数据价值三大方向,与数据库从业者一起共同探讨了面向未来的NoSQL之路。

一、Day1:NoSQL前沿技能趋势

(一)掌管人开场

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

峰会第一天聚集在NoSQL的未来趋势剖析与新技能解读,由天翼云首席专家、腾讯云TVP 侯圣文教师担任掌管人。会议伊始,侯教师提出,大数据年代,数据量继续性爆炸式的增加,数据存储结构的灵敏多样,新式事务的日益改造,这些需求催生出数据库及运用体系的存在形式益发丰厚,也对数据库的各类才能供给了十分多的一些场景和需求,也给技能人带来了极大的应战和要求。

(二)嘉宾致辞

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

腾讯云副总裁林晓斌的致辞,正式拉开了本届 Techo TVP 开发者峰会的帷幕。他指出,数字化浪潮中,数据已成为企业最重要的资产,数据库作为数据存储的重要根底设施,任务严重。曩昔十年间,根底设施晋级、数字化进程加速、云核算的普及,带来了数据库职业的二次高速开展期,云核算服务商在其间发挥了巨大的作用。

跟着云数据库服务进入云原生年代,数据库+云的立异形式将进一步推进云数据库技能的改造。NoSQL是数据库中十分重要的一大分支,其在海量并发访问及大规模数据场景下优势明显,在软件架构层面上具有高并发、易扩展、灵敏易用等特色。简而言之,NoSQL数据库现已成为现代企业不可或缺的数据库服务类型。

腾讯云在NoSQL范畴一直继续着战略级的投入,从产品规划、技能立异、客户服务、再到生态建设,都有着经年累月的探索和实践。腾讯云公有云现已供给了包括缓存、文档、时序、KV等在内的数据库服务,并仍在继续丰厚服务种类。与此一起,腾讯云也在积极推进外部协作,比如与MongoDB签署战略协作协议。

他最终总结道,腾讯云NoSQL数据库现已覆盖了包括金融、电力、电商、游戏、视频等数十个典型职业运用场景,未来,腾讯云将在NoSQL数据库范畴继续投入,坚持技能立异,以服务企业为根本,助力企业降本增效,提高出产力。

(三)解放出产力:腾讯云NoSQL的顺势而为与改造立异

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

腾讯云数据库副总经理罗云带来了题为《解放出产力:腾讯云 NoSQL 的顺势而为与改造立异》的主题讲演。

他首要向与会者介绍了曩昔十年,NoSQL数据库的开展历程。他表明,跟着互联网事务的快速增加,海量用户、海量数据、实时体会、快速迭代的要求带来了NoSQL的飞速开展。腾讯云NoSQL的开展史也是顺势而为,一脉相承,在缓存、KV、文档、图、时序、宽列、表格这系列的场景中,腾讯云都有供给相应的产品服务。

众所周知,Redis在曩昔5年间一直是最受欢迎的NoSQL数据库产品,可是Redis的运用场景早已打破了缓存的范畴,特别是在存储场景中的运用越来越广泛,可是企业在存储场景中运用Redis会面临着规模、本钱、耐久化的难题,业界今年多有推出Redis的耐久化产品,可是大多数产品一般能够满意事务在功用、本钱、耐久化、规模4个诉求中的2~3个,很少有4个诉求能一起满意的。罗云教师表明,腾讯云经过立异性的软硬结合供给极致功用、三级存储处理功用、耐久化、本钱、规模难题的解法,KeeWiDB团队完成了极致的打破,做到了:

  • 功用(单节点):20万读取,18万写入,P99<2ms可水平堆叠,功用线性提高;
  • 本钱:三级存储,冷数据本钱下降97%;
  • 耐久化:指令级耐久化;毫秒级安稳写入延迟;SSD供给低本钱耐久化;
  • 大容量:单节点供给TB级容量空间;集群方法供给100TB容量空间。

共享最终,罗云教师表明,技能人的终极意图是让整个社会的出产功率变得更高,让整个社会的出产力能够变得更好,希望能够用技能的方法去完成这些美好的愿望。

(四)新硬件赋能立异:数据开展趋势及软硬件交融处理方案

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

跟着技能的开展,新硬件的出现带来了更多或许。英特尔数据库及大数据资深首席工程师、腾讯云TVP 程从超&英特尔数据渠道事业部傲腾产品事业部中国技能中心工程部经理吴国安联手带来了题为《新硬件赋能立异-数据开展趋势及软硬件交融处理方案》的主题讲演。

程从超教师向与会者介绍道,数据处理架构范畴现在有以下几个十分明显的趋势:从Scale up到Scale out;从物理机到云原生;从share-everything到share nothing再到share everything;内存数据库+对象存储;行存和列存并存。因而,数据处理端到端、体系优化端到端成了其间至关重要的部分。

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

吴国安教师接棒讲解了英特尔傲腾新硬件的抢先特性,其能够下降数据中心的本钱、能够整合作业负载,尝试对数据做更多的事情,在释放数据潜能方面具有强壮才能。英特尔傲腾在NoSQL数据库、引荐体系、KV存储等方面均有着出色的用例。

吴国安教师最终总结道:

  • 数据剖析的开展,需求更多的软硬件一体的交融处理方案;
  • 英特尔傲腾™带来新的内存和存储层,更容易的扩展内存和加速存储;
  • 愈加均衡的本钱和功用,为你的事务供给更多、更好的选择;
  • 新硬件带来了新的事务立异,让不或许成为或许;
  • 愈加敞开的生态,愈加敞开互连的体系,更多的客户拥抱新硬件。

(五)MongoDB运用数据渠道技能洞悉与实践共享

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

MongoDB北亚区技能总监林涛带来了题为《MongoDB运用数据渠道技能洞悉与实践共享》的主题讲演。

共享伊始,林涛教师抛出了一个令人触目惊心的数据:70%的企业数字化转型都以失利告终。究其原因,在于大部分数据根底设施依然环绕传统的联系数据库构建,无法满意当时企业运用和处理数据、构建程序的需求。环绕这些需求,选择添加专用的NoSQL数据存储,又带来了新的问题。

林涛教师介绍道,改动杂乱的数据存储结构、让开发功率变得更高、让架构变得更简单、一起具有安全性和易办理性等特性,正是MongoDB想要完成的。详细而言,MongoDB供给了以下产品才能助力企业腾飞:

  • 供给灵敏的文档模型;
  • 供给一致的接口;
  • 分布式的架构;
  • 冷热数据的主动搬迁;
  • 客户端字段级加密。

最终,林涛教师介绍了多个运用MongoDB构建数据渠道的最佳实践事例,经过数据渠道的方法,让开发人员和企业能够以更低的本钱加速立异。

(六)直面海量图数据应战,腾讯在图数据库的事务实践与运用

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

腾讯云图数据库技能负责人肖品带来了题为《直面海量图数据应战,腾讯在图数据库的事务实践与运用》的主题讲演。

肖品教师表明,跟着大数据爆发式的增加,数据之间的联系愈加杂乱多样,对联系数据的关联性核算和剖析成为常态需求,由此带来了图数据库技能的腾飞。在腾讯内部,图技能被广泛运用在图数据库、图核算、图可视化等范畴。

肖品教师要点介绍了腾讯图数据库KonisGraph的架构、功用及运用事例等关键内容。KonisGraph在架构层面采用的是接口层、核算层、分布式缓存、存储层的形式,规划准则是存算分离,确保布置的灵敏性。在优化战略上,也做了异步并行、向量化、批量预取以及核算下推等优化。此外,在缓存、索引等战略上也都有独到的规划理念。

除此之外,肖品教师还共享了GraphIdex图可视化的规划理念及功用作用、Angel Graph图核算及其结构功用,以及KonisGraph图数据库的相关用例。他最终表明,KonisGraph未来将在以下方向继续优化,完善本身。

  • 交融图核算引擎;
  • GQL语法的支持;
  • 自研存储层;
  • 缓存层完善;
  • 完善周边组件及渠道才能。

(七)云原生多模NoSQL在特征存储上的运用实践

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

腾讯PCG运用架构渠道部NoSQL开发负责人赵政,为咱们带来了题为《云原生多模NoSQL在特征存储上的运用实践》的主题讲演。

赵政教师介绍道,云原生多模数据库是当时许多公有云厂商供给云托管存储服务的方法。腾讯自研的云原生多模型NoSQL数据库,经过抽象高扩展的数据以及高复用的作业流结构,构建了具有容灾备份、数据分层、多种一致性等才能的通用渠道底座,依据事务需求灵敏定制可插件化的存储引擎结构和扩展API,供给数据模型的灵敏扩展和快速接入才能。

在特征存储的主题上,赵政教师详细共享了“特征”存储的特色、技能应战,企业需求和当时的处理方案等布景信息。根据这样的布景,腾讯云原生多模NoSQL在体系规划和实践上要考虑关键的两点:首要要支持多级存储才能,第二是存算分离。在存储引擎方面,要考虑到一起适用于内存、耐久化存储的需求。除此之外,其他需求则能够靠多模NoSQL的渠道来供给支撑。这其间涉及到的许多技能应战,赵政教师都十分详尽地向与会者做了剖析。

共享最终,赵政教师表明,腾讯云原生多模NoSQL渠道已接入五大事务,日均调用量超越千亿,TB级全量数据更新低于1H,分钟级GB增量数据更新,显著完成了降本增效的事务收益。谈到腾讯云原生多模NoSQL的未来展望,他向与会者描绘了一幅搜广推场景存储和索引云一体化处理方案的美好蓝图。

二、Day2:NoSQL技能实践与运用

峰会第二天聚集于NoSQL数据库在各行各业的最佳实践运用,由CCIA常务理事、腾讯云TVP 韩锋教师担任掌管人。

(一)掌管人开场

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

韩锋教师提出,跟着数字化转型的深入,数据越来越得到人们的重视,移动互联网的蓬勃开展产生了许多语音、图像、视频等非结构化的数据,这些数据蕴含了十分丰厚的信息,怎么把这些数据的价值挖掘出来,怎么使用NoSQL来助力立异事务的落地,赋能事务快速开展成为企业数字化转型中至关重要的一环。

(二)金融场景下的NoSQL实战:微众银行Redis运用实践

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

微众银行数据渠道数据库负责人、腾讯云TVP 胡盼盼带来了题为《金融场景下的NoSQL实践:微众银行Redis运用实践》的主题讲演。

共享伊始,胡盼盼教师为与会者介绍了社区版Redis的痛点。他表明,分片架构主节点反常对集群有影响,权限办理功用有限,资源核算和资源操控功用十分有限,缺少一致的运维与办理渠道是微众银行在运用社区版Redis遇到的痛点问题。

为此,微众银行自研了根据Redis的分布式缓存渠道WeRedis,除具有开源 Redis的特性外,还有如下特性:

  • 多租户与细粒度的鉴权;
  • 资源操控;
  • 子体系进行资源操控;
  • 高危操作阻隔;
  • 扩展性更高;
  • 可用性更高;
  • 智能剖析与管控。

胡盼盼教师表明,WeRedis现在现已运用在全行所有的事务场景,有300+ 体系接入、87套集群、4000+实例数。随后,他详细介绍了WeRedis的跨 IDC布置架构,以及运维过程中在功用、高可用、容量等问题上踩过的坑,并无私共享了从复盘中不断优化来的WeRedis运用开发标准。

随后,他还共享了包括WeRedis办理台功用、鉴权办理及高可用相关的规划与思考。他最终表明,未来WeRedis将在容器化、晋级到Redis Cluster 6.0以及耐久化架构等方面继续打磨精进。

(三)腾讯音乐NoSQL运用与实践:根据Redis和MongoDB构建交际类事务后台

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

全民K歌根底研发后台Leader李革委带来了题为《腾讯音乐NoSQL的运用与实践:根据Redis和MongoDB构建交际类事务渠道》的主题讲演。

共享伊始,李革委教师为与会者介绍了腾讯音乐NoSQL的运用概略,据他介绍,腾讯音乐旗下QQ音乐、酷狗音乐、酷我音乐、全民K歌四大App的特色是多媒体交际+多媒体内容,许多运用了NoSQL数据库。

李革委教师表明,从事务架构的层面看,数据库选型需求考虑的是匹配事务模型、扛住海量恳求、平衡本钱开销三大关键点。在这样的准则动身下,腾讯音乐在Redis和MongoDB两种开源数据库产品下都有深沉的运用实践。

详细到Redis下,实践维度包括:

  • KV读写;
  • CAS处理方案;
  • 分布式锁;
  • 轻重分离;
  • 列表排序;
  • Bitmap;
  • 分布式定时器。

在MongoDB下,实践维度包括:

  • Embed or Reference;
  • 列表存储规划;
  • Replication战略;
  • maxTimeMS注意事项。

李革委教师最终介绍道,这其间自研的许多相关技能方案现已在腾讯云的数据库产品中能够运用。他还特别提醒与会者,不要轻视出产环境下的数据库运用与操作,防止发生影响严重的事端。

(四)Infinity:微信新一代大规模在线存储体系

求索NoSQL的现在与未来,第五届 Techo TVP 开发者峰会圆满落幕!

微信技能架构部根底渠道的Leader郑建军带来了题为《Infinity:微信新一代大规模在线存储体系》的主题讲演。

在微信的大规模体量下,对存储的高可用性、高可靠性、功用、本钱、低延时都提出了十分苛刻的要求,郑建军教师首要介绍了微信存储的开展历程。微信存储的开展总体上能够分为四个阶段:第一阶段的QuorumKV;第二阶段是2015年的PaxosStore;第三阶段是2018年期间对PaxosStore的才能增强;第四阶段是新一代大规模在线存储体系Infinity。Infinity是微信新一代大规模在线存储体系,支持多种数据模型,经过一套一致架构应对不同的事务场景,供给线性一致和近实时访问形式。

郑建军教师解释道,Infinity的诞生布景源于事务对可用性/可靠性提高、愈加灵敏的调度才能、更快的扩展速度、引荐/直播等事务场景单key/单表高功用需求。详细而言,Infinity的中心特性包括以下几个方面:

  • 路由中心完全去依赖:保持非租约高可用水平提高扩展性;
  • 数据存储与复制日志解耦:灵敏支持存储异构/插件化和多种容灾形式;
  • 机器故障主动极速康复:完成可用性/可靠性的数量级提高;
  • 安稳可控的集群扩展:处理高负载集群的扩容悖论。

共享最终,郑建军教师也介绍了Infinity在微信事务中的运营成效,其间动态负载均衡、模块混合调度布置,使用率提高,3万+台的规模每年节省约数亿本钱。此外在除夕零点峰值的更快扩展,视频号奥运期间许多异构机型扩容的事例,也杰出展示了Infinity的特功才能。

三、圆桌对话:上下十年,数据库技能的开展与变迁

精彩的技能共享环节完毕后,接踵而至的是启示思考、碰撞价值的圆桌环节。本次圆桌对话以《上下十年,数据库技能的开展与变迁》为论题,由CCIA常务理事、腾讯云TVP 韩锋教师掌管,英特尔数据库及大数据资深首席工程师、腾讯云TVP 程从超教师,腾讯云数据库副总经理罗云教师,微众银行数据渠道数据库负责人、腾讯云TVP 胡盼盼教师,全民K歌根底研发后台负责人李革委教师各抒己见,侃侃而谈,展开了精彩的巅峰对话。

作为一个老牌的技能方向,数据库技能现已走过了数十年,在最近十年间又有了飞速的开展。最受人重视的论题莫过于——未来十年,数据库技能将有哪些新的开展趋势?

程从超教师的观念是,在底层算力没有发生革命性改变的前提下,未来的开展方向是Serverless、内存化、分布式、核算存储分离的形态。而这其间不可防止的是要考虑更多安全的问题,这又会对数据库技能的开展带来限制和新的契机。

罗云教师表明,腾讯内部关于数据库技能的开展趋势早已有过评论,内部技能委员会比较明确地在几个方向上达成了一致:第一是国产化,第二是多模型的交融化,第三是云原生化趋势下的软硬件结合打破。

胡盼盼教师则从微众银行的事务实践动身,提出了混合事务形式开展的趋势,他表明混合架构的需求一定存在,未来也将成为许多数据库具有的特性。另一个畅想的点是根据新式开源数据库的一体机产品的出现,满意中小金融机构无力运维的痛点。此外,国产化的趋势也是胡盼盼教师认同的一个方向。

李革委教师则从腾讯内部事务的开展动身,表明了对数据库技能交融的开展趋势的附和。交融一方面在事务侧能够减少消耗,另一方面也能够促进技能上的推陈出新融会贯通。作为开源文化的拥趸,李革委教师表明开源也极有或许是数据库技能的一大开展趋势,经过开源的协同、社区哺育,必将推进事务的开展。

最终,掌管人韩锋教师总结了技能、事务、开源三个方向的了解和认知,从技能侧,资源分离、数据分层、Serverless运用都是数据库开展未来可期的方向;在事务侧,许多差异化的场景会催生数据库走分解的路线,但一起也会有分而治之之后交融的趋势;一起,开源也是一种很好的商业形式,能够经过开源的形式去调动更多的资源来做底层的开发。韩锋教师表明无论是从哪个方向动身,数据库技能的开展都将协助企业和开发者们受益其间。

结语

数据库技能的开展史,简直能够视作技能人不断打破极限,寻求更高、更快、更强的奋斗史。数据库技能倏忽数十载,既有联系型数据库的名列前茅,又有NoSQL的异军突起,既有商业数据库产品的强悍安稳,又有开源数据库产品的继续立异,现在又迎来了云与数据库的美好结合。这一方百花齐放的舞台上,既不缺艺人,也不少观众,但关于技能的思考、趋势的判断却总不嫌多。

本次 Techo TVP 开发者峰会,一以贯之的理念正是经过最用心的共享、最前沿的洞悉、最实践的观念,为开发者朋友献上“最有料、风趣、且有用”的开发者峰会。在这个年代转型的浪潮下,坚守科技向善的初心和良心,助力企业与开发者一起通往技能开展的理想国。