Apache Doris 是一个根据 MPP 架构的高性能、实时的剖析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅能够支持高并发的点查询场景,也能支持高吞吐的杂乱剖析场景,这个简短的攻略将告诉你怎么下载 Doris 最新稳定版别,在单节点上装置并运转它,包含创立数据库、数据表、导入数据及查询等。

doris入门初体验

基本概念不再扯了,官网文档写的很全乎,附上官网:doris.apache.org/

下面直接上硬货,装置布置doris。

doris装置

软硬件需求

Doris 作为一款开源的 MPP 架构 OLAP 数据库,能够运转在绝大多数主流的商用服务器上。为了能够充分运用 MPP 架构的并发优势,以及 Doris 的高可用特性,咱们主张 Doris 的布置遵循以下需求:

Linux 操作体系版别需求

Linux 体系 版别
CentOS 7.1 及以上
Ubuntu 16.04 及以上

软件需求

软件 版别
Java 1.8
GCC 4.8.2 及以上

设置体系最大打开文件句柄数

体系默许是1024,假如不修正最大句柄数,发动be会失利。

vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536

doris入门初体验

doirs下载

直接下载最新版即可,doris.apache.org/zh-CN/downl…

doris入门初体验

下载

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.0-alpha1-bin-x86_64.tar.xz

解压

xz -d apache-doris-2.0.0-alpha1-bin-x86_64.tar.xz
tar -xvf apache-doris-2.0.0-alpha1-bin-x86_64.tar.xz

doris入门初体验

新建meta_data存放文件夹

mkdir /home/ops/doris/data/fe
mkdir /home/ops/doris/data/be

装备 FE

咱们进入到 apache-doris-2.0.0-alpha1-bin-x86_64/fe 目录

cd apache-doris-2.0.0-alpha1-bin-x86_64/fe

修正 FE 装备文件 conf/fe.conf ,这儿咱们首要修正两个参数:priority_networks 及 meta_dir。

  • 增加 priority_networks 参数
priority_networks=172.18.13.0/24

留意:

这个参数咱们在装置的时分是必需要装备的,特别是当一台机器具有多个IP地址的时分,咱们要为 FE 指定仅有的IP地址。

这儿假设你的节点 IP 是 172.23.16.32,那么咱们能够经过掩码的方法装备为 172.23.16.0/24。

meta_dir=/home/ops/doris/data/fe

留意:

这儿你能够不装备,默许是在你的Doris FE 装置目录下的 doris-meta,

独自装备元数据目录,需求你提早创立好你指定的目录。

doris入门初体验

发动 FE

在 FE 装置目录下履行下面的指令,来完结 FE 的发动。

./bin/start_fe.sh --daemon

doris入门初体验

查看 FE 运转状态

你能够经过下面的指令来查看 Doris 是否发动成功

curl http://127.0.0.1:8030/api/bootstrap

这儿 IP 和 端口分别是 FE 的 IP 和 http_port(默许8030),假如是你在 FE 节点履行,直接运转上面的指令即可。

假如返回结果中带有 “msg”:”success” 字样,则阐明发动成功。

你也能够经过 Doris FE 提供的Web UI 来查看,在浏览器里输入地址

http:// 127.0.0.1:8030

doris入门初体验

doris入门初体验

留意:

  1. 这儿咱们运用 Doris 内置的默许用户 root 进行登录,暗码是空
  2. 这是一个 Doris 的管理界面,只能具有管理权限的用户才干登录,普通用户不能登录。

装备 BE

咱们进入到 apache-doris-2.0.0-alpha1-bin-x86_64/be 目录

cd apache-doris-2.0.0-alpha1-bin-x86_64/be

修正 BE 装备文件 conf/be.conf ,这儿咱们首要修正两个参数:priority_networks 及 storage_root 。

  • 增加 priority_networks 参数
priority_networks=172.18.13.0/24

留意:

这个参数咱们在装置的时分是必需要装备的,特别是当一台机器具有多个IP地址的时分,咱们要为 BE 指定仅有的IP地址。

  • 装备 BE 数据存储目录
storage_root_path=/home/ops/doris/data/be

留意:

  1. 默许目录在 BE装置目录的 storage 目录下。
  2. BE 装备的存储目录必须先创立好
  3. 装备 JAVA_HOME 环境变量

由于从 1.2 版别开端支持 Java UDF 函数,BE 依赖于 Java 环境。所以要预先装备 JAVA_HOME 环境变量,也能够在 start_be.sh 发动脚本榜首行增加 export JAVA_HOME=your_java_home_path 来增加环境变量。

export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64"

附一个JDK装置途径的查找指令

which java
ls -lrt /usr/bin/java
ls -lrt /etc/alternatives/java

doris入门初体验

发动 BE

在 BE 装置目录下履行下面的指令,来完结 BE 的发动。

./bin/start_be.sh --daemon

留意:

假如忘掉修正最大句柄数,会发动失利哟!

doris入门初体验

修正最大句柄数后,重启发动

doris入门初体验

增加 BE 节点到集群

经过MySQL 客户端连接到 FE 之后履行下面的 SQL,将 BE 增加到集群中

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
  1. be_host_ip:这儿是你 BE 的 IP 地址,和你在 be.conf 里的 priority_networks 匹配
  2. heartbeat_service_port:这儿是你 BE 的心跳上报端口,和你在 be.conf 里的 heartbeat_service_port 匹配,默许是 9050。

doris入门初体验

将BE增加到集群后,会发现FE的没有过错日志输出了

doris入门初体验

doris入门初体验

到此,一个单机的doris便建立OK了,下面能够纵情捣鼓啦。

创立数据表

  • 创立一个数据库
create database demo;
  • 创立数据表
use demo;
CREATE TABLE IF NOT EXISTS demo.example_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年纪",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);

doris入门初体验

留意:

由于版别问题,需求修正官网的建表语句:将 date 修正为 datev2。

doris入门初体验

导入数据

  • 示例数据
10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6

将上面的数据保存在test.csv文件中。

  • 导入数据

这儿咱们经过Stream load 方法将上面保存到文件中的数据导入到咱们刚才创立的表里。

curl  --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load
  • -T test.csv : 这儿使咱们刚才保存的数据文件,假如途径不一样,请指定完好途径
  • -u root : 这儿是用户名暗码,咱们运用默许用户root,暗码是空
  • 127.0.0.1:8030 : 分别是 fe 的 ip 和 http_port

履行成功之后咱们能够看到下面的返回信息

{
    "TxnId": 30303,
    "Label": "8690a5c7-a493-48fc-b274-1bb7cd656f25",
    "TwoPhaseCommit": "false",
    "Status": "Success",
    "Message": "OK",
    "NumberTotalRows": 7,
    "NumberLoadedRows": 7,
    "NumberFilteredRows": 0,
    "NumberUnselectedRows": 0,
    "LoadBytes": 399,
    "LoadTimeMs": 381,
    "BeginTxnTimeMs": 3,
    "StreamLoadPutTimeMs": 5,
    "ReadDataTimeMs": 0,
    "WriteDataTimeMs": 191,
    "CommitAndPublishTimeMs": 175
}
  1. NumberLoadedRows: 表明已经导入的数据记载数
  2. NumberTotalRows: 表明要导入的总数据量
  3. Status :Success 表明导入成功

到这儿咱们已经完结的数据导入,下面就能够根据咱们自己的需求对数据进行查询剖析了。

doris入门初体验

留意:

假如导入报错,能够增加: -H “column_separator:,”

查询数据

select * from example_tbl;

doris入门初体验

到这儿咱们整个快速开端就结束了,咱们从 Doris 装置布置、启停、创立库表、数据导入及查询,完好的体会了Doris的操作流程,下面开端咱们 Doris 运用之旅吧。