Doris 内网安装部署,基于 CentOS 7

实测 CentOS 7.6 和 7.9都可用,CentOS安装包为:标准安装盘DVD版,如果系统安装的是精简版,需要挂载DVD版或者自行下载依赖。

参考文档

快速开始 - Apache Doris

Doris 下载地址:2.1.1 ( Latest ) -> x64 ( avx2 ) -> Binary

Download - Apache Doris

下载免安装的 MySQL 客户端:8.0.36 -> Red Hat Enterprise Linux -> Red Hat Enterprise Linux 7 / Oracle Linux 7 (x86, 64-bit) -> RPM Bundle

使用软件包:

  • mysql-package:
    • mysql-8.0.36-1.el7.x86_64.rpm-bundle.tar
  • ntp-package:
    • ntp-4.2.6p5-29.el7.centos.2.x86_64.rpm
    • autogen-libopts-5.18-5.el7.x86_64.rpm
    • ntpdate-4.2.6p5-29.el7.centos.2.x86_64.rpm
  • jdk-8u121-linux-x64.tar.gz
  • apache-doris-2.1.1-bin-x64.tar.gz

1.硬件设置

创建目录:

mkdir -p /home/soft/package

mkdir -p /home/soft/package

1.1 设置系统最大打开文件句柄数

vi /etc/security/limits.conf 
# 按键盘 shift+g, 加入
* soft nofile 65536
* hard nofile 65536

1.2 时钟同步

详细见http://t.csdnimg.cn/4J4ao

Doris 的元数据要求时间精度要小于5000ms,所以所有集群所有机器要进行时钟同步,避免因为时钟问题引发的元数据不一致导致服务出现异常。

1.2.1 安装NTP软件

查询主机Linux系统版本

cat /etc/redhat-release

直接下载地址:

http://mirror.centos.org/centos/7/os/x86_64/Packages/ntp-4.2.6p5-29.el7.centos.2.x86_64.rpm

http://mirror.centos.org/centos/7/os/x86_64/Packages/ntpdate-4.2.6p5-29.el7.centos.2.x86_64.rpm

http://mirror.centos.org/centos/7/os/x86_64/Packages/autogen-libopts-5.18-5.el7.x86_64.rpm

# 在只有这三个包的目录里面执行
rpm -ivh autogen-libopts-5.18-5.el7.x86_64.rpm
rpm -ivh ntp*

1.2.2 配置 NTP时间同步源

1.2.2.1 ntp时钟服务端配置

修改/etc/ntp.conf 文件配置

vi /etc/ntp.conf

注释掉

#restrict default nomodify notrap nopeer noquery

注释原有的,添加新的(按照自己的服务器地址修改)

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst# 默认的一个内部时钟数据,在没有外部NTP服务器时,它为局域网用户提供服务
server 127.127.1.0 stratum 3# 表示网关为192.168.5.0,子网掩码为255.255.255.0,网段为192.168.5.0-192.168.5.255的机器可通过该服务端时间校准
restrict 192.168.5.0 mask 255.255.255.0
# 允许修改本机时间
restrict 192.168.5.160 nomodify notrap noquery nopeer

其他的一些配置【可选】

# 不允许来自公网上ipv4和ipv6客户端的访问
restrict -4 default kod notrap nomodify nopeer noquery limited
restrict -6 default kod notrap nomodify nopeer noquery limited

重启

systemctl restart ntpd
systemctl start ntpd
systemctl enable ntpd

查看服务是否运行

ps -ef |grep ntpd
或者
systemctl status ntpd
或者
ntpq -p

查看同步状态

timedatectl status

1.2.2.2 ntp时钟客户端配置

修改/etc/ntp.conf 文件配置

vi /etc/ntp.conf

注释原有的时间服务器地址,添加新的ntp时间服务器地址

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
# ntp时间服务器地址
server 192.168.5.160 prefer

重启

systemctl restart ntpd
systemctl enable ntpd

查看服务是否运行

systemctl status ntpd
或者
ps -ef |grep ntpd

测试是否成功

ntpstat

出现失败,需要等待大约2-3分钟左右

unsynchronisedtime server re-startingpolling server every 8 s

再执行ntpstat出现成功

synchronised to NTP server (172.17.100.8) at stratum 7time correct to within 951 mspolling server every 64 s

查看同步状态

timedatectl status

1.2.2.3 关闭防火墙服务或者开启端口,关闭selinux

如果你的服务器有防火墙,确保UDP端口123(NTP默认端口)是开放的,以便其他设备可以与NTP服务器通信。

# 开端口123(CentOS)
firewall-cmd --permanent --add-port=123/udp
firewall-cmd --reload
# 查询端口
firewall-cmd --list-ports |grep 123# 开端口123(Ubuntu)
ufw allow 123/udp

或者直接关闭防火墙,禁用开机启动(不建议)

systemctl stop firewalld
systemctl disable firewalld

关闭selinux服务,设置selinux策略为“disabled”。

setenforce 0
sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config

1.2.2.4 设置本地时间

设置本地时间方便测试

date -s "2024-03-10 00:00:00"

1.2.2.5 手动同步与定时同步

在配置完成后,可以尝试手动同步时间以验证NTP服务的配置是否正确。

若ntp服务正在运行,则需要执行以下命令,先停止ntp服务(因为ntpdate工具和ntp守护进程冲突,因此执行ntpdate命令时需要保证ntpd进程未运行)。

systemctl stop ntpd

手动同步时间以验证NTP服务的配置

ntpdate 192.168.5.160

需要定时同步系统时间,可以使用crontab工具来设置。例如,下面的命令会每五分钟执行一次ntpdate命令进行时间同步:

crontab -e

然后在编辑窗口中加入如下内容:

*/5 * * * * /usr/sbin/ntpdate 192.168.5.160

1.2.2.6 监控和日志

你可以使用ntptime命令来查看当前系统时间与NTP服务器的时间偏差。

NTP服务的日志文件通常位于/var/log/syslog或/var/log/ntp.log,你可以查看这些日志来监控NTP服务的运行情况和解决潜在问题。

请注意,NTP服务器的配置可能因具体的网络环境和需求而有所不同。因此,在实际部署过程中,建议参考相关的官方文档和最佳实践,并根据实际情况进行调整和优化。此外,确保在配置过程中考虑到安全性和稳定性方面的因素。

常见问题及其解决方法在设置NTP时间同步服务器时,可能会遇到一些常见问题。

1.2.2.6 常见问题及其解决方法:

1. NTP服务未启动或未安装:
使用以下命令安装和启动 NTP 服务:
yum install ntp 或 apt-get install ntp
systemctl start ntpd 或 systemctl start chronyd
2. 防火墙设置不正确:
确保防火墙已经打开并允许NTP端口(UDP 123)通过:
firewall-cmd --add-service=ntp --permanent
firewall-cmd --reload
3. 与NTP服务器的连接失败:
确保您的Linux主机可以连接到NTP服务器,并且NTP服务器的DNS解析正确。您可以使用以下命令检查IP地址是否可用:
ping ntp.server.com
4. 时间同步失败:
如果时间同步失败,可能需要手动将系统时间设置为与NTP服务器时间相同:
ntpdate -u ntp.server.com

1.3 关闭交换分区(swap)

详细见http://t.csdnimg.cn/hX0zK

Linux交换分区会给Doris带来很严重的性能问题,需要在安装之前(永久)禁用交换分区

1.3.1 查看交换分区信息

首先,使用 swapon --show 或 cat /proc/swaps 命令来查看当前的交换分区状态。它会列出所有当前启用的 swap 分区。如果没有输出,则表示没有 swap 分区被启用。

swapon --show
NAME      TYPE      SIZE USED PRIO
/dev/dm-1 partition   3G   0B   -2

1.3.2 永久关闭交换区,防止交换分区在启动时自动挂载

要永久关闭交换分区,需要编辑 /etc/fstab 文件,并从中删除或注释掉与交换分区相关的行。使用文本编辑器(如 vi 或 nano)打开 /etc/fstab 文件。

vi /etc/fstab

找到类似以下内容的行(可能稍有不同):

UUID=xxxx-xxxx none swap sw 0 0

或者

/dev/sdXN none swap sw 0 0

在该行前面添加 # 符号来注释掉它,然后保存并关闭文件。

1.3.3 更新 GRUB 配置(可选)

在某些情况下,你可能还需要更新 GRUB 配置以确保在下次启动时不会使用交换分区。这通常不是必需的,但如果你之前在系统引导时配置了交换分区,那么可能需要执行此步骤。

grub2-mkconfig -o /boot/grub2/grub.cfg

1.3.4 重启系统

重启的 CentOS 7 系统以确保更改生效。

reboot

1.3.5 重新查看交换分区信息

重新连接服务器,查看交换分区信息是否关闭。如果没有关闭,检查/etc/fstab文件是否还有未注释的swap内容。有可能1.3.2 里面的两个都要注释掉。

swapon --show

2.配置jdk

cd /home/soft/package/
tar -xzvf jdk-8u121-linux-x64.tar.gz
mkdir -p /usr/local/java/
mv jdk1.8.0_121/ /usr/local/java/
vi /etc/profile
# 按键盘 shift+g,按键盘 o 字母,回车,添加下面的目录,目录路径为自己的jdk路径
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export PATH=$JAVA_HOME/bin:$PATH
# ESC退出,:wq保存
source /etc/profile
# 查看是否安装成功
java -version
# 查看JAVA_HOME路径
echo $JAVA_HOME

3.安装mysql客户端

Download - Apache Doris

下载免安装的 MySQL 客户端:8.0.36 -> Red Hat Enterprise Linux -> Red Hat Enterprise Linux 7 / Oracle Linux 7 (x86, 64-bit) -> RPM Bundle

# 1.创建目录,解压包
mkdir mysql-package
mv mysql-8.0.36-1.el7.x86_64.rpm-bundle.tar mysql-package/
# 进入目录,解压出全部的rpm包
tar -xvf mysql-8.0.36-1.el7.x86_64.rpm-bundle.tar
# 2.删除原有的mariadb
# 先查看一下是否已经安装了,命令:
rpm -qa|grep mariadb
# 删除mariadb,命令:
rpm -e --nodeps mariadb-libs
# 检查是否已经删除
rpm -qa|grep mariadb
# 3.依次安装common、libs、client。出现安装依赖关系,报错后,先安装依赖,再重复执行就可以了
rpm -ivh mysql-community-common-8.0.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.36-1.el7.x86_64.rpm
# 验证
mysql -V

4.Frontend(FE)

主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。

cd /home/soft/package/
tar -xzvf apache-doris-2.1.1-bin-x64.tar.gz
mkdir /home/soft/Doris/
mv apache-doris-2.1.1-bin-x64 /home/soft/Doris/
cd /home/soft/Doris/

配置 FE​

修改 FE 配置文件 conf/fe.conf

cd apache-doris-2.1.1-bin-x64/fe
vi conf/fe.conf

添加 priority_networks 参数,ip的前三位加上 .0/24

priority_networks=192.168.5.0/24

开端口8030

firewall-cmd --zone=public --add-port=8030/tcp --permanent
firewall-cmd --reload

启动FE

cd /home/soft/Doris/apache-doris-2.1.1-bin-x64/fe
./bin/start_fe.sh --daemon

查看 FE 运行状态

curl http://127.0.0.1:8030/api/bootstrap

访问http://192.168.5.160:8030/,用户名root

连接 FE

执行mysql 命令行工具连接 Doris

mysql -uroot -P9030 -h127.0.0.1

这里使用的 root 用户是 doris 内置的默认用户,也是超级管理员用户,具体的用户权限查看 权限管理

-P:这里是我们连接 Doris 的查询端口,默认端口是 9030,对应的是 fe.conf 里的 query_port

-h:这里是我们连接的 FE IP 地址,如果你的客户端和 FE 安装在同一个节点可以使用 127.0.0.1。

执行下面的命令查看 FE 运行状态

mysql> show frontends\G;

如果结果里面 IsMaster、Join 和 Alive 三列均为 true,则表示节点正常。

停止 FE 节点

./bin/stop_fe.sh

5.Backend(BE)

主要负责数据存储、查询计划的执行。

配置 BE

进入到 apache-doris-2.1.1-bin-x64/be 目录

cd apache-doris-2.1.1-bin-x64/be vi conf/be.conf

5.1 修改 BE 配置文件 conf/be.conf

这里我们主要修改两个参数:priority_networks 及 storage_root ,如果你需要更多优化配置,请参考 BE 参数配置说明,进行调整。

添加 priority_networks 参数

priority_networks=192.168.5.0/24

配置 BE 数据存储目录(可选)

storage_root_path=/path/your/data_dir

注意:默认目录在 BE 安装目录的 storage 目录下。BE 配置的存储目录必须先创建好。

5.2 vm.max_map_count修改

启动如果报如下错误:

Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.

vm.max_map_count 是一个 Linux 内核参数,它定义了单个进程可以拥有的最大内存区域(memory mapping areas)的数量。这个参数对于某些使用内存映射的应用程序来说非常重要。

# 永久配置,在系统重启后仍然保持此设置
vi /etc/sysctl.conf
# 将以下行添加到 /etc/sysctl.conf 文件(或 /etc/sysctl.d/ 目录下的一个新文件中):
vm.max_map_count=2000000
# 然后,运行以下命令以使更改生效:
sudo sysctl -p

5.3 开端口9050

firewall-cmd --zone=public --add-port=9050/tcp --permanent
firewall-cmd --reload

启动 BE

在 BE 安装目录下执行下面的命令,来完成 BE 的启动。

cd /home/soft/Doris/apache-doris-2.1.1-bin-x64/be
./bin/start_be.sh --daemon

添加 BE 节点到集群(扩容)

通过 MySQL 客户端连接到 FE

mysql -uroot -P9030 -h127.0.0.1

或者访问http://192.168.5.160:8030/,PlayGround里面,选择information_schema数据库

执行下面的 SQL,将 BE 添加到集群中

# ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
ALTER SYSTEM ADD BACKEND "192.168.5.160:9050";

be_host_ip:这里是你 BE 的 IP 地址,和你在 be.conf 里的 priority_networks 匹配,。

heartbeat_service_port:这里是你 BE 的心跳上报端口,和你在 be.conf 里的 heartbeat_service_port 匹配,默认是 9050。

删除 BE 节点(缩容)

# 安全删除 BE 节点
ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";
# 直接删除 BE 节点
ALTER SYSTEM DROPP BACKEND "be_host:be_heartbeat_service_port";
-- ALTER SYSTEM DROPP BACKEND "192.168.5.160:9050";

查看 BE 运行状态

你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。

mysql> SHOW BACKENDS\G;

或者访问http://192.168.5.160:8030/,PlayGround里面,选择information_schema数据库,执行 SHOW BACKENDS

Alive : true 表示节点运行正常

停止 BE 节点

./bin/stop_be.sh

6. 创建数据表

创建一个数据库

create database demo;
use demo;

创建数据表

CREATE TABLE IF NOT EXISTS demo.example_tbl
(`user_id` LARGEINT NOT NULL COMMENT "用户id",`date` DATE NOT NULL COMMENT "数据灌入日期时间",`city` VARCHAR(20) COMMENT "用户所在城市",`age` SMALLINT COMMENT "用户年龄",`sex` TINYINT COMMENT "用户性别",`last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",`cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",`max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",`min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES ("replication_allocation" = "tag.location.default: 1"
);

示例数据

10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6

将上面的数据保存在test.csv文件中。

导入数据

这里我们通过 Stream load 方式将上面保存到文件中的数据导入到我们刚才创建的表里。

curl  --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load

-T test.csv : 这里使我们刚才保存的数据文件,如果路径不一样,请指定完整路径

-u root : 这里是用户名密码,我们使用默认用户 root,密码是空

127.0.0.1:8030 : 分别是 fe 的 ip 和 http_port

执行成功之后我们可以看到下面的返回信息

{"TxnId": 30303,"Label": "8690a5c7-a493-48fc-b274-1bb7cd656f25","TwoPhaseCommit": "false","Status": "Success","Message": "OK","NumberTotalRows": 7,"NumberLoadedRows": 7,"NumberFilteredRows": 0,"NumberUnselectedRows": 0,"LoadBytes": 399,"LoadTimeMs": 381,"BeginTxnTimeMs": 3,"StreamLoadPutTimeMs": 5,"ReadDataTimeMs": 0,"WriteDataTimeMs": 191,"CommitAndPublishTimeMs": 175
}

NumberLoadedRows: 表示已经导入的数据记录数

NumberTotalRows: 表示要导入的总数据量

Status :Success 表示导入成功

到这里我们已经完成的数据导入,下面就可以根据我们自己的需求对数据进行查询分析了。

查询数据

mysql> select * from example_tbl;
mysql> select * from example_tbl where city='上海';
mysql> select city, sum(cost) as total_cost from example_tbl group by city;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/618230.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

transformer上手(4) —— 模型与分词器

1 模型 除了像之前使用 AutoModel 根据 checkpoint 自动加载模型以外,我们也可以直接使用模型对应的 Model 类,例如 BERT 对应的就是 BertModel: from transformers import BertModel model BertModel.from_pretrained("bert-base-ca…

滚雪球学Java(75):Java零基础,轻松学会文件读写技巧

咦咦咦,各位小可爱,我是你们的好伙伴——bug菌,今天又来给大家普及Java SE相关知识点了,别躲起来啊,听我讲干货还不快点赞,赞多了我就有动力讲得更嗨啦!所以呀,养成先点赞后阅读的好…

Unsupervised Learning ~ Anomaly detection

unusual events vibration: 振动 Density estimation: Gaussian(normal) Distribution. standard deviation: 标准差 variance deviation sigma Mu Parameter estimation Anomaly detection algorithm 少量异常样本点的处理经验 algorithm evaluation skewed datatsets:…

2024年腾讯云最新优惠活动及领券入口整理分享

随着云计算技术的快速发展,越来越多的企业和个人选择将业务部署在云端。腾讯云作为国内知名的云计算服务提供商,为用户提供了丰富的云产品和服务。为了帮助用户降低成本,腾讯云定期推出各种优惠活动。本文将为大家整理分享2024年腾讯云的最新…

UE5 HLSL 详细学习笔记

这里的POSITION是变量Position的语义,告诉寄存器,此变量的保存位置,通常语义用于着色器的输入和输出,以冒号“:”的方式进一步说明此变量,COLOR也类似 还有什么语义呢? HLSL核心函数&#xff1a…

1panel更新系统

准备两个软件包 名为dist的前端包 以.jar为后缀的后端jar包 更新后端 进去1Panel管理页面(浏览器收藏里有) http://127.0.0.1:42689/f2a8a874bd 点击容器,将名为app的容器直接删除掉 打开软件electerm 点击书签,连接2222 连接成功后长这样&#xff…

优化Python开发环境的几个神技巧

用Python编代码体验极佳,并且随着新版本的发布越来越好! 对于很多人而言,Python提供的大量免费函数库、高可读性的程序和新引入的类型注释让很多爱不释手。 然而,数据科学家特别容易使自己的Jupyter notebook变得庞大而杂乱&…

【 信息技术教资面试备战】

信息技术教资面试 教育事业,是一项终身事业,是从胎教开始到临终教育的一个循序渐进的过程。为此,教育艺术应当是人类生存之光。 一、什么是信息技术教资面试 考什么: 信息技术教资面试主要考察的内容包括结构化面试、试讲和答辩。…

【IC前端虚拟项目】验证环境方案思路和文档组织

【IC前端虚拟项目】数据搬运指令处理模块前端实现虚拟项目说明-CSDN博客 对于mvu的验证环境,从功能角度就可以分析出需要搭建哪些部分,再看一下mvu的周围环境哈: 很明显验证环境必然要包括几个部分: 1.模拟idu发送指令; 2.模拟ram/ddr读写数据; 3.rm模拟mvu的行为; …

Mysql的事务隔离级别以及事务的四大特性。

MySQL 的事务隔离级别是数据库管理系统中的一个重要概念,它决定了事务如何隔离和影响其他并发事务。MySQL 支持四种事务隔离级别,分别是:读未提交(READ UNCOMMITTED)、读已提交(READ COMMITTED)…

Linux 网络排查命令

端口相关服务检查 netstat -ntpl|grep [$Port]说明:[$Port]为相应的端口号。 0.0.0.0代表本机上可用的任意地址。比如,0.0.0.0:80表示本机上所有地址的80端口。 tcp 0.0.0.0:80表示在所有的可用接口上监听TCP的80端口 如果返回结果为空,说明…

【Golang学习笔记】从零开始搭建一个Web框架(二)

文章目录 模块化路由前缀树路由 前情提示: 【Golang学习笔记】从零开始搭建一个Web框架(一)-CSDN博客 模块化路由 路由在kilon.go文件中导致路由和引擎交织在一起,如果要实现路由功能的拓展增强,那将会非常麻烦&…