Doris 内网安装部署，基于 CentOS 7

实测 CentOS 7.6 和 7.9都可用，CentOS安装包为：标准安装盘DVD版，如果系统安装的是精简版，需要挂载DVD版或者自行下载依赖。

参考文档

快速开始 - Apache Doris

Doris 下载地址：2.1.1 ( Latest ) -> x64 ( avx2 ) -> Binary

Download - Apache Doris

下载免安装的 MySQL 客户端：8.0.36 -> Red Hat Enterprise Linux -> Red Hat Enterprise Linux 7 / Oracle Linux 7 (x86, 64-bit) -> RPM Bundle

使用软件包：

  • mysql-package：
    • mysql-8.0.36-1.el7.x86_64.rpm-bundle.tar
  • ntp-package：
    • ntp-4.2.6p5-29.el7.centos.2.x86_64.rpm
    • autogen-libopts-5.18-5.el7.x86_64.rpm
    • ntpdate-4.2.6p5-29.el7.centos.2.x86_64.rpm
  • jdk-8u121-linux-x64.tar.gz
  • apache-doris-2.1.1-bin-x64.tar.gz

1.硬件设置

创建目录：

mkdir -p /home/soft/package

mkdir -p /home/soft/package

1.1 设置系统最大打开文件句柄数

vi /etc/security/limits.conf 
# 按键盘 shift+g， 加入
* soft nofile 65536
* hard nofile 65536

1.2 时钟同步

详细见http://t.csdnimg.cn/4J4ao

Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。

1.2.1 安装NTP软件

查询主机Linux系统版本

cat /etc/redhat-release

直接下载地址：

http://mirror.centos.org/centos/7/os/x86_64/Packages/ntp-4.2.6p5-29.el7.centos.2.x86_64.rpm

http://mirror.centos.org/centos/7/os/x86_64/Packages/ntpdate-4.2.6p5-29.el7.centos.2.x86_64.rpm

http://mirror.centos.org/centos/7/os/x86_64/Packages/autogen-libopts-5.18-5.el7.x86_64.rpm

# 在只有这三个包的目录里面执行
rpm -ivh autogen-libopts-5.18-5.el7.x86_64.rpm
rpm -ivh ntp*

1.2.2 配置 NTP时间同步源

1.2.2.1 ntp时钟服务端配置

修改/etc/ntp.conf 文件配置

vi /etc/ntp.conf

注释掉

#restrict default nomodify notrap nopeer noquery

注释原有的，添加新的（按照自己的服务器地址修改）

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst# 默认的一个内部时钟数据，在没有外部NTP服务器时，它为局域网用户提供服务
server 127.127.1.0 stratum 3# 表示网关为192.168.5.0，子网掩码为255.255.255.0，网段为192.168.5.0-192.168.5.255的机器可通过该服务端时间校准
restrict 192.168.5.0 mask 255.255.255.0
# 允许修改本机时间
restrict 192.168.5.160 nomodify notrap noquery nopeer

其他的一些配置【可选】

# 不允许来自公网上ipv4和ipv6客户端的访问
restrict -4 default kod notrap nomodify nopeer noquery limited
restrict -6 default kod notrap nomodify nopeer noquery limited

重启

systemctl restart ntpd
systemctl start ntpd
systemctl enable ntpd

查看服务是否运行

ps -ef |grep ntpd
或者
systemctl status ntpd
或者
ntpq -p

查看同步状态

timedatectl status

1.2.2.2 ntp时钟客户端配置

修改/etc/ntp.conf 文件配置

vi /etc/ntp.conf

注释原有的时间服务器地址，添加新的ntp时间服务器地址

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
# ntp时间服务器地址
server 192.168.5.160 prefer

重启

systemctl restart ntpd
systemctl enable ntpd

查看服务是否运行

systemctl status ntpd
或者
ps -ef |grep ntpd

测试是否成功

ntpstat

出现失败,需要等待大约2-3分钟左右

unsynchronisedtime server re-startingpolling server every 8 s

再执行ntpstat出现成功

synchronised to NTP server (172.17.100.8) at stratum 7time correct to within 951 mspolling server every 64 s

查看同步状态

timedatectl status

1.2.2.3 关闭防火墙服务或者开启端口，关闭selinux

如果你的服务器有防火墙，确保UDP端口123（NTP默认端口）是开放的，以便其他设备可以与NTP服务器通信。

# 开端口123（CentOS）
firewall-cmd --permanent --add-port=123/udp
firewall-cmd --reload
# 查询端口
firewall-cmd --list-ports |grep 123# 开端口123（Ubuntu）
ufw allow 123/udp

或者直接关闭防火墙，禁用开机启动（不建议）

systemctl stop firewalld
systemctl disable firewalld

关闭selinux服务，设置selinux策略为“disabled”。

setenforce 0
sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config

1.2.2.4 设置本地时间

设置本地时间方便测试

date -s "2024-03-10 00:00:00"

1.2.2.5 手动同步与定时同步

在配置完成后，可以尝试手动同步时间以验证NTP服务的配置是否正确。

若ntp服务正在运行，则需要执行以下命令，先停止ntp服务（因为ntpdate工具和ntp守护进程冲突，因此执行ntpdate命令时需要保证ntpd进程未运行）。

systemctl stop ntpd

手动同步时间以验证NTP服务的配置

ntpdate 192.168.5.160

需要定时同步系统时间，可以使用crontab工具来设置。例如，下面的命令会每五分钟执行一次ntpdate命令进行时间同步：

crontab -e

然后在编辑窗口中加入如下内容：

*/5 * * * * /usr/sbin/ntpdate 192.168.5.160

1.2.2.6 监控和日志

你可以使用ntptime命令来查看当前系统时间与NTP服务器的时间偏差。

NTP服务的日志文件通常位于/var/log/syslog或/var/log/ntp.log，你可以查看这些日志来监控NTP服务的运行情况和解决潜在问题。

请注意，NTP服务器的配置可能因具体的网络环境和需求而有所不同。因此，在实际部署过程中，建议参考相关的官方文档和最佳实践，并根据实际情况进行调整和优化。此外，确保在配置过程中考虑到安全性和稳定性方面的因素。

常见问题及其解决方法在设置NTP时间同步服务器时，可能会遇到一些常见问题。

1.2.2.6 常见问题及其解决方法：

1. NTP服务未启动或未安装：
使用以下命令安装和启动 NTP 服务：
yum install ntp 或 apt-get install ntp
systemctl start ntpd 或 systemctl start chronyd
2. 防火墙设置不正确：
确保防火墙已经打开并允许NTP端口（UDP 123）通过：
firewall-cmd --add-service=ntp --permanent
firewall-cmd --reload
3. 与NTP服务器的连接失败：
确保您的Linux主机可以连接到NTP服务器，并且NTP服务器的DNS解析正确。您可以使用以下命令检查IP地址是否可用：
ping ntp.server.com
4. 时间同步失败：
如果时间同步失败，可能需要手动将系统时间设置为与NTP服务器时间相同：
ntpdate -u ntp.server.com

1.3 关闭交换分区（swap）

详细见http://t.csdnimg.cn/hX0zK

Linux交换分区会给Doris带来很严重的性能问题，需要在安装之前（永久）禁用交换分区

1.3.1 查看交换分区信息

首先，使用 swapon --show 或 cat /proc/swaps 命令来查看当前的交换分区状态。它会列出所有当前启用的 swap 分区。如果没有输出，则表示没有 swap 分区被启用。

swapon --show
NAME      TYPE      SIZE USED PRIO
/dev/dm-1 partition   3G   0B   -2

1.3.2 永久关闭交换区，防止交换分区在启动时自动挂载

要永久关闭交换分区，需要编辑 /etc/fstab 文件，并从中删除或注释掉与交换分区相关的行。使用文本编辑器（如 vi 或 nano）打开 /etc/fstab 文件。

vi /etc/fstab

找到类似以下内容的行（可能稍有不同）：

UUID=xxxx-xxxx none swap sw 0 0

或者

/dev/sdXN none swap sw 0 0

在该行前面添加 # 符号来注释掉它，然后保存并关闭文件。

1.3.3 更新 GRUB 配置（可选）

在某些情况下，你可能还需要更新 GRUB 配置以确保在下次启动时不会使用交换分区。这通常不是必需的，但如果你之前在系统引导时配置了交换分区，那么可能需要执行此步骤。

grub2-mkconfig -o /boot/grub2/grub.cfg

1.3.4 重启系统

重启的 CentOS 7 系统以确保更改生效。

reboot

1.3.5 重新查看交换分区信息

重新连接服务器，查看交换分区信息是否关闭。如果没有关闭，检查/etc/fstab文件是否还有未注释的swap内容。有可能1.3.2 里面的两个都要注释掉。

swapon --show

2.配置jdk

cd /home/soft/package/
tar -xzvf jdk-8u121-linux-x64.tar.gz
mkdir -p /usr/local/java/
mv jdk1.8.0_121/ /usr/local/java/
vi /etc/profile
# 按键盘 shift+g，按键盘 o 字母，回车，添加下面的目录，目录路径为自己的jdk路径
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export PATH=$JAVA_HOME/bin:$PATH
# ESC退出，:wq保存
source /etc/profile
# 查看是否安装成功
java -version
# 查看JAVA_HOME路径
echo $JAVA_HOME

3.安装mysql客户端

Download - Apache Doris

下载免安装的 MySQL 客户端：8.0.36 -> Red Hat Enterprise Linux -> Red Hat Enterprise Linux 7 / Oracle Linux 7 (x86, 64-bit) -> RPM Bundle

# 1.创建目录，解压包
mkdir mysql-package
mv mysql-8.0.36-1.el7.x86_64.rpm-bundle.tar mysql-package/
# 进入目录，解压出全部的rpm包
tar -xvf mysql-8.0.36-1.el7.x86_64.rpm-bundle.tar
# 2.删除原有的mariadb
# 先查看一下是否已经安装了，命令：
rpm -qa|grep mariadb
# 删除mariadb，命令：
rpm -e --nodeps mariadb-libs
# 检查是否已经删除
rpm -qa|grep mariadb
# 3.依次安装common、libs、client。出现安装依赖关系，报错后，先安装依赖，再重复执行就可以了
rpm -ivh mysql-community-common-8.0.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.36-1.el7.x86_64.rpm
# 验证
mysql -V

4.Frontend（FE）

主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。

cd /home/soft/package/
tar -xzvf apache-doris-2.1.1-bin-x64.tar.gz
mkdir /home/soft/Doris/
mv apache-doris-2.1.1-bin-x64 /home/soft/Doris/
cd /home/soft/Doris/

配置 FE​

修改 FE 配置文件 conf/fe.conf

cd apache-doris-2.1.1-bin-x64/fe
vi conf/fe.conf

添加 priority_networks 参数，ip的前三位加上 .0/24

priority_networks=192.168.5.0/24

开端口8030

firewall-cmd --zone=public --add-port=8030/tcp --permanent
firewall-cmd --reload

启动FE

cd /home/soft/Doris/apache-doris-2.1.1-bin-x64/fe
./bin/start_fe.sh --daemon

查看 FE 运行状态

curl http://127.0.0.1:8030/api/bootstrap

访问http://192.168.5.160:8030/，用户名root

连接 FE

执行mysql 命令行工具连接 Doris

mysql -uroot -P9030 -h127.0.0.1

这里使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户，具体的用户权限查看 权限管理

-P：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是 fe.conf 里的 query_port

-h：这里是我们连接的 FE IP 地址，如果你的客户端和 FE 安装在同一个节点可以使用 127.0.0.1。

执行下面的命令查看 FE 运行状态

mysql> show frontends\G;

如果结果里面 IsMaster、Join 和 Alive 三列均为 true，则表示节点正常。

停止 FE 节点

./bin/stop_fe.sh

5.Backend（BE）

主要负责数据存储、查询计划的执行。

配置 BE

进入到 apache-doris-2.1.1-bin-x64/be 目录

cd apache-doris-2.1.1-bin-x64/be vi conf/be.conf

5.1 修改 BE 配置文件 conf/be.conf

这里我们主要修改两个参数：priority_networks 及 storage_root ，如果你需要更多优化配置，请参考 BE 参数配置说明，进行调整。

添加 priority_networks 参数

priority_networks=192.168.5.0/24

配置 BE 数据存储目录（可选）

storage_root_path=/path/your/data_dir

注意：默认目录在 BE 安装目录的 storage 目录下。BE 配置的存储目录必须先创建好。

5.2 vm.max_map_count修改

启动如果报如下错误：

Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.

vm.max_map_count 是一个 Linux 内核参数，它定义了单个进程可以拥有的最大内存区域（memory mapping areas）的数量。这个参数对于某些使用内存映射的应用程序来说非常重要。

# 永久配置，在系统重启后仍然保持此设置
vi /etc/sysctl.conf
# 将以下行添加到 /etc/sysctl.conf 文件（或 /etc/sysctl.d/ 目录下的一个新文件中）：
vm.max_map_count=2000000
# 然后，运行以下命令以使更改生效：
sudo sysctl -p

5.3 开端口9050

firewall-cmd --zone=public --add-port=9050/tcp --permanent
firewall-cmd --reload

启动 BE

在 BE 安装目录下执行下面的命令，来完成 BE 的启动。

cd /home/soft/Doris/apache-doris-2.1.1-bin-x64/be
./bin/start_be.sh --daemon

添加 BE 节点到集群（扩容）

通过 MySQL 客户端连接到 FE

mysql -uroot -P9030 -h127.0.0.1

或者访问http://192.168.5.160:8030/，PlayGround里面，选择information_schema数据库

执行下面的 SQL，将 BE 添加到集群中

# ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
ALTER SYSTEM ADD BACKEND "192.168.5.160:9050";

be_host_ip：这里是你 BE 的 IP 地址，和你在 be.conf 里的 priority_networks 匹配，。

heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在 be.conf 里的 heartbeat_service_port 匹配，默认是 9050。

删除 BE 节点（缩容）

# 安全删除 BE 节点
ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";
# 直接删除 BE 节点
ALTER SYSTEM DROPP BACKEND "be_host:be_heartbeat_service_port";
-- ALTER SYSTEM DROPP BACKEND "192.168.5.160:9050";

查看 BE 运行状态

你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。

mysql> SHOW BACKENDS\G;

或者访问http://192.168.5.160:8030/，PlayGround里面，选择information_schema数据库，执行 SHOW BACKENDS

Alive : true 表示节点运行正常

停止 BE 节点

./bin/stop_be.sh

6. 创建数据表

创建一个数据库

create database demo;
use demo;

创建数据表

CREATE TABLE IF NOT EXISTS demo.example_tbl
(`user_id` LARGEINT NOT NULL COMMENT "用户id",`date` DATE NOT NULL COMMENT "数据灌入日期时间",`city` VARCHAR(20) COMMENT "用户所在城市",`age` SMALLINT COMMENT "用户年龄",`sex` TINYINT COMMENT "用户性别",`last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",`cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",`max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",`min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES ("replication_allocation" = "tag.location.default: 1"
);

示例数据

10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6

将上面的数据保存在test.csv文件中。

导入数据

这里我们通过 Stream load 方式将上面保存到文件中的数据导入到我们刚才创建的表里。

curl  --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load

-T test.csv : 这里使我们刚才保存的数据文件，如果路径不一样，请指定完整路径

-u root : 这里是用户名密码，我们使用默认用户 root，密码是空

127.0.0.1:8030 : 分别是 fe 的 ip 和 http_port

执行成功之后我们可以看到下面的返回信息

{"TxnId": 30303,"Label": "8690a5c7-a493-48fc-b274-1bb7cd656f25","TwoPhaseCommit": "false","Status": "Success","Message": "OK","NumberTotalRows": 7,"NumberLoadedRows": 7,"NumberFilteredRows": 0,"NumberUnselectedRows": 0,"LoadBytes": 399,"LoadTimeMs": 381,"BeginTxnTimeMs": 3,"StreamLoadPutTimeMs": 5,"ReadDataTimeMs": 0,"WriteDataTimeMs": 191,"CommitAndPublishTimeMs": 175
}

NumberLoadedRows: 表示已经导入的数据记录数

NumberTotalRows: 表示要导入的总数据量

Status :Success 表示导入成功

到这里我们已经完成的数据导入，下面就可以根据我们自己的需求对数据进行查询分析了。

查询数据

mysql> select * from example_tbl;
mysql> select * from example_tbl where city='上海';
mysql> select city, sum(cost) as total_cost from example_tbl group by city;

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/618230.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

transformer上手(4) —— 模型与分词器

transformer上手(4) —— 模型与分词器

1 模型 除了像之前使用 AutoModel 根据 checkpoint 自动加载模型以外，我们也可以直接使用模型对应的 Model 类，例如 BERT 对应的就是 BertModel： from transformers import BertModel model BertModel.from_pretrained("bert-base-ca…
阅读更多...
滚雪球学Java(75)：Java零基础，轻松学会文件读写技巧

滚雪球学Java(75)：Java零基础，轻松学会文件读写技巧

咦咦咦，各位小可爱，我是你们的好伙伴——bug菌，今天又来给大家普及Java SE相关知识点了，别躲起来啊，听我讲干货还不快点赞，赞多了我就有动力讲得更嗨啦！所以呀，养成先点赞后阅读的好…
阅读更多...
Unsupervised Learning ~ Anomaly detection

Unsupervised Learning ~ Anomaly detection

unusual events vibration: 振动 Density estimation: Gaussian(normal) Distribution. standard deviation: 标准差 variance deviation sigma Mu Parameter estimation Anomaly detection algorithm 少量异常样本点的处理经验 algorithm evaluation skewed datatsets:…
阅读更多...
2024年腾讯云最新优惠活动及领券入口整理分享

2024年腾讯云最新优惠活动及领券入口整理分享

随着云计算技术的快速发展，越来越多的企业和个人选择将业务部署在云端。腾讯云作为国内知名的云计算服务提供商，为用户提供了丰富的云产品和服务。为了帮助用户降低成本，腾讯云定期推出各种优惠活动。本文将为大家整理分享2024年腾讯云的最新…
阅读更多...
UE5 HLSL 详细学习笔记

UE5 HLSL 详细学习笔记

这里的POSITION是变量Position的语义，告诉寄存器，此变量的保存位置，通常语义用于着色器的输入和输出，以冒号“：”的方式进一步说明此变量，COLOR也类似 还有什么语义呢？ HLSL核心函数&#xff1a…
阅读更多...
1panel更新系统

1panel更新系统

准备两个软件包 名为dist的前端包 以.jar为后缀的后端jar包 更新后端 进去1Panel管理页面(浏览器收藏里有) http://127.0.0.1:42689/f2a8a874bd 点击容器，将名为app的容器直接删除掉 打开软件electerm 点击书签，连接2222 连接成功后长这样&#xff…
阅读更多...
优化Python开发环境的几个神技巧

优化Python开发环境的几个神技巧

用Python编代码体验极佳，并且随着新版本的发布越来越好！ 对于很多人而言，Python提供的大量免费函数库、高可读性的程序和新引入的类型注释让很多爱不释手。 然而，数据科学家特别容易使自己的Jupyter notebook变得庞大而杂乱&…
阅读更多...
【 信息技术教资面试备战】

【 信息技术教资面试备战】

信息技术教资面试 教育事业，是一项终身事业，是从胎教开始到临终教育的一个循序渐进的过程。为此，教育艺术应当是人类生存之光。 一、什么是信息技术教资面试 考什么： 信息技术教资面试主要考察的内容包括结构化面试、试讲和答辩。…
阅读更多...
【IC前端虚拟项目】验证环境方案思路和文档组织

【IC前端虚拟项目】验证环境方案思路和文档组织

【IC前端虚拟项目】数据搬运指令处理模块前端实现虚拟项目说明-CSDN博客 对于mvu的验证环境，从功能角度就可以分析出需要搭建哪些部分，再看一下mvu的周围环境哈： 很明显验证环境必然要包括几个部分： 1.模拟idu发送指令； 2.模拟ram/ddr读写数据； 3.rm模拟mvu的行为； …
阅读更多...
Mysql的事务隔离级别以及事务的四大特性。

Mysql的事务隔离级别以及事务的四大特性。

MySQL 的事务隔离级别是数据库管理系统中的一个重要概念，它决定了事务如何隔离和影响其他并发事务。MySQL 支持四种事务隔离级别，分别是：读未提交（READ UNCOMMITTED）、读已提交（READ COMMITTED）…
阅读更多...
Linux 网络排查命令

Linux 网络排查命令

端口相关服务检查 netstat -ntpl|grep [$Port]说明：[$Port]为相应的端口号。 0.0.0.0代表本机上可用的任意地址。比如，0.0.0.0:80表示本机上所有地址的80端口。 tcp 0.0.0.0:80表示在所有的可用接口上监听TCP的80端口 如果返回结果为空，说明…
阅读更多...
【Golang学习笔记】从零开始搭建一个Web框架（二）

【Golang学习笔记】从零开始搭建一个Web框架（二）

文章目录 模块化路由前缀树路由 前情提示： 【Golang学习笔记】从零开始搭建一个Web框架（一）-CSDN博客 模块化路由 路由在kilon.go文件中导致路由和引擎交织在一起，如果要实现路由功能的拓展增强，那将会非常麻烦&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023