作者：韩山杰

Databend Cloud 研制工程师

github.com/hantmac

根底架构在云核算年代也发生着翻天地覆的变化，对于事务的支撑变成了如何能利用好云资源完成降本增效，一起更好的支撑事务也成为新年代技能人员的挑战。本篇文章通过：凭借 Tapdata Cloud 完成从阿里云 RDS 到云原生数仓 Databend 的数据同步，给我们展现一下 Tapdata Cloud 和 Databend Cloud 在数仓范畴的实践。

Tapdata Cloud 是由 Tapdata 供给的集数据仿制、数据开发为一体的实时数据服务，能够在跨云、跨地域、多类型数据源的场景下，供给毫秒级的实时数据同步服务和数据融合服务。

Databend 是根据 Rust 开发的一个开源、弹性、负载感知的现代云数仓，赋能企业降本增效。在之前的文章中介绍了如何快速布置 Databend。Databend Cloud 是根据 Databend 完成的云上大数据解决方案。

1.体验 Tapdata 到 Databend Cloud 数据搬迁

布置架构如下

Tapdata 和 Databend 数仓数据同步实战

  • 数据源上布置 Tapdata Agent

  • Tapdata Agent 从 Tapdata Cloud 上获取使命执行

  • apdata Agent 获取的数据写入 Databend Cloud

具体操作如下：

1.1.布置 Tapdate Agent

Tapdata Agent 是数据同步、数据异构、数据开发场景中的关键程序。以上场景对数据的流通有着极高的实时性要求，因而，通过下载 Tapdata Agent 并将其布置在你的本地环境，根据低延迟的本地网络，Tapdata Agent 能够发挥最佳性能以保证数据流通的实时性。

能够参考 Agent 下载及安装[4]。

1.2 数据同步 （From MySQL to Databend ）

这里假定用户现已创立阿里云 MySQL RDS 并在 RDS 中存储了一定量的数据，预备把数据同步到 Databend。

1.2.1 创立 MySQL 衔接

在 Tapdata Cloud 中创立 MySQL 衔接

Tapdata 和 Databend 数仓数据同步实战

填写相应的衔接参数，衔接测试通过后保存。

Tapdata 和 Databend 数仓数据同步实战

1.2.2 创立 Databend 衔接

在 Beta 数据源中选择 Databend 衔接并填写相关衔接参数，测试通过后保存。

Tapdata 和 Databend 数仓数据同步实战

1.2.3 创立数据仿制使命

Tapdata 和 Databend 数仓数据同步实战

将 MySQL RDS 数据源和 Databend 数据源拖到画布中衔接起来，表示预备从 MySQL 同步数据到 Databend。同步形式选择为 `全量同步`（增量同步的形式正在开发中），发动使命。

Tapdata 和 Databend 数仓数据同步实战

开端从 MySQL 同步数据到 Databend，下面展现了同步进程中的信息和数据。

Tapdata 和 Databend 数仓数据同步实战

1.2.4 检查结果

首先看一下 MySQL 中的表：

Tapdata 和 Databend 数仓数据同步实战

一起咱们也能够在 Databend 中查询出现已同步过来的表和数据：

Tapdata 和 Databend 数仓数据同步实战

1.3 小结

上面的比如是通过 Tapdata Cloud 跑通一个 MySQL 表以及数据同步到 Databend 。Tapdata 非常强壮，能够支撑多种异构数据源之间的同步，我们能够到 Tapdata Cloud 上持续探索。

2. Databend 生态介绍

Databend: 是新一代根据目标存储的弹性云数仓产品。地址：github.com/datafuselab…

OpenDAL: 是 Databend 中负责和底层存储打交道的一个组件，现在被 Rust 多数据库产品及 Rust sccache 中很多运用，估量不远的将来会成为一个多云目标存储支撑最好的产品。地址：github.com/datafuselab…

Openraft: 是 Databend 中负责 Databend Meta 中的集群组件，现在被 SAP 及 许多交易所运用。地址：github.com/datafuselab…

Databend k8s operator： Databend 开源了 helm 根据 k8s 布置的 operator。地址：github.com/datafuselab…

文档网站： databend.rs/

Databend Cloud： Databend Cloud 是根据 Databend 完成的云 SAAS 的数仓项目，希望把底层的运维及生态悉数封状好，对用户供给一站式 SAAS 数仓服务。

现在 Databend Cloud 分为：海外和国内两个版别。

海外版别主要布置在 AWS上，地址：databend.com，

国内版别主要布置在阿里云和国内 AWS 上：databend.cn , 运用 Databend Cloud 的优势：

  • 根据 Databend 供给云上一站式数仓服务，有相应的安全和降本最佳实践

  • 根据 Databend 存储运用 Parquet 格局，一起支撑update, delete, alter table 操作，简化数据保护和 ETL 进程

  • 根据 Databend Cloud 能够打造内部的数据集市

3.运用 Databend 的场景及优势

现在适用场景：

  • 海量日志存储及分析

  • 部分 ES 场景

  • 订单及商品销售状况分析

  • 数据审计场景

运用 Databend 的优势：

  • 根据 Rust + 目标存储 及 k8s 架构，真实完成了存算别离

  • 根据目标存储本钱及 Databend 的紧缩技能，使存储有 10 倍左右的优化，一起也能够让存储完成按需付费

  • 核算节点无状况，能够让核算完成按需扩缩容

关于Databend

Databend 是一款开源、弹性、低本钱，根据目标存储也能够做实时分析的新式数仓。等待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

  • Databend 文档：databend.rs/

  • Twitter：twitter.com/Datafuse_La…

  • Slack：datafusecloud.slack.com/

  • Wechat：Databend

  • GitHub ：github.com/datafuselab…