大数据基础设施搭建 - Doris

文章目录

  • 一、Linux系统要求
    • 1.1 设置系统最大打开文件句柄数
    • 1.2 设置最大虚拟块的大小
    • 1.3 集群中其他安装doris的机器同上调整
    • 1.4 重启服务器生效
  • 二、确认需要下载哪个Doris版本
  • 三、上传并解压压缩包
    • 3.1 创建目录
    • 3.2 解压fe
    • 3.3 解压be
    • 3.4 解压java udf函数
      • 3.4.1 解压
      • 3.4.2 复制udf包到be
  • 四、配置FE
    • 4.1 修改配置fe.conf
    • 4.2 启动/关闭FE
    • 4.3 WEB访问测试
  • 五、配置BE
    • 5.1 修改配置be.conf
    • 5.2 创建目录
    • 5.3 分发BE
    • 5.4 配置其他节点的BE
      • 5.4.1 配置be.conf的ip
      • 5.4.2 创建目录
  • 六、添加BE
    • 6.1 使用mysql客户端连接到FE
    • 6.2 设定密码
    • 6.3 添加BE
    • 6.4 启动/关闭BE
  • 七、测试
    • 7.1 创建库
    • 7.2 创建表
    • 7.3 插入数据

一、Linux系统要求

1.1 设置系统最大打开文件句柄数

注意这里的*不要去掉

[hadoop@hadoop102 ~]$ sudo vim /etc/security/limits.conf

内容:

* soft nofile 65536
* hard nofile 131072
* soft nproc 131072
* hard nproc 131072

1.2 设置最大虚拟块的大小

[hadoop@hadoop102 ~]$ sudo vim /etc/sysctl.conf

新增内容:

vm.max_map_count=2000000

1.3 集群中其他安装doris的机器同上调整

1.4 重启服务器生效

二、确认需要下载哪个Doris版本

下载地址:https://doris.apache.org/download/
执行下列命令,能查出记录的下载avx2版本,否则下载noavx2版本

cat /proc/cpuinfo | grep avx2

三、上传并解压压缩包

3.1 创建目录

[hadoop@hadoop102 ~]$ mkdir -p /opt/module/doris

3.2 解压fe

[hadoop@hadoop102 software]$ tar -xvf apache-doris-fe-1.2.4.1-bin-x86_64.tar.xz -C /opt/module/doris

3.3 解压be

[hadoop@hadoop102 software]$ tar -xvf apache-doris-be-1.2.4.1-bin-x86_64.tar.xz -C /opt/module/doris

3.4 解压java udf函数

3.4.1 解压

[hadoop@hadoop102 software]$ tar -xvf apache-doris-dependencies-1.2.4.1-bin-x86_64.tar.xz -C /opt/module/doris

3.4.2 复制udf包到be

[hadoop@hadoop102 ~]$ cp /opt/module/doris/apache-doris-dependencies-1.2.4.1-bin-x86_64/java-udf-jar-with-dependencies.jar /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/lib/

四、配置FE

4.1 修改配置fe.conf

vim /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/conf/fe.conf

修改内容:

# web 页面访问端口
http_port = 7030
# 配置文件中指定元数据路径:默认在 fe 的根目录下,可以不配
# meta_dir = /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/doris-meta
# 修改绑定 ip
priority_networks = 172.28.76.203/24

注意:priority_networks配置依据,执行命令 ip a查询子网网段

在这里插入图片描述

4.2 启动/关闭FE

# 启动
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/bin/start_fe.sh --daemon
# 关闭
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/bin/stop_fe.sh

4.3 WEB访问测试

http://hadoop102:7030
用户名:root
密码:无

五、配置BE

5.1 修改配置be.conf

vim /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/conf/be.conf

修改内容:

# 不配置存储目录, 则会使用默认的存储目录
webserver_port = 7040 
priority_networks = 172.28.76.203/24
storage_root_path = /opt/module/doris/doris-storage1;/opt/module/doris/doris-storage2.SSD,10

5.2 创建目录

注意:存储目录必须手动提前创建

[hadoop@hadoop102 ~]$ cd /opt/module/doris/
[hadoop@hadoop102 doris]$ mkdir doris-storage1
[hadoop@hadoop102 doris]$ mkdir doris-storage2.SSD

5.3 分发BE

分发到需要安装BE的节点

[hadoop@hadoop102 doris]$ mytools_rsync apache-doris-be-1.2.4.1-bin-x86_64/

5.4 配置其他节点的BE

5.4.1 配置be.conf的ip

[hadoop@hadoop103 ~]$ vim /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/conf/be.conf
# 修改内容:
priority_networks = 172.28.76.204/24
[hadoop@hadoop104 ~]$ vim /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/conf/be.conf
# 修改内容:
priority_networks = 172.28.76.205/24

5.4.2 创建目录

# hadoop103
[hadoop@hadoop103 ~]$ cd /opt/module/doris/
[hadoop@hadoop103 doris]$ mkdir doris-storage1
[hadoop@hadoop103 doris]$ mkdir doris-storage2.SSD# hadoop104
[hadoop@hadoop104 ~]$ cd /opt/module/doris/
[hadoop@hadoop104 doris]$ mkdir doris-storage1
[hadoop@hadoop104 doris]$ mkdir doris-storage2.SSD

六、添加BE

目的:将be和fe连接起来
需要使用mysql客户端连接doris

6.1 使用mysql客户端连接到FE

[mall@mall ~]$ mysql -hhadoop102 -P9030 -uroot

6.2 设定密码

mysql> SET PASSWORD FOR 'root' = PASSWORD('aaaaaa');

6.3 添加BE

mysql> 
ALTER SYSTEM ADD BACKEND "hadoop102:9050";
ALTER SYSTEM ADD BACKEND "hadoop103:9050";
ALTER SYSTEM ADD BACKEND "hadoop104:9050";

6.4 启动/关闭BE

# 启动
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/start_be.sh --daemon
[hadoop@hadoop103 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/start_be.sh --daemon
[hadoop@hadoop104 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/start_be.sh --daemon
# 关闭
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/stop_be.sh
[hadoop@hadoop103 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/stop_be.sh
[hadoop@hadoop104 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/stop_be.sh

七、测试

7.1 创建库

create database test_db;
use test_db;

7.2 创建表

7.3 插入数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/535687.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

力扣:数组篇

1、数组理论基础 数组是存放在连续内存空间上的相同类型数据的集合。 需要两点注意的是 数组下标都是从0开始的。数组内存空间的地址是连续的 因为数组的在内存空间的地址是连续的,所以我们在删除或者增添元素的时候,就难免要移动其他元素的地址。 …

风控系统指标计算/特征提取分析与实现01,Redis、Zset、模版方法

个人博客:无奈何杨(wnhyang) 个人语雀:wnhyang 共享语雀:在线知识共享 Github:wnhyang - Overview 引用AI对于风控系统的介绍 风控系统是一种用于在线业务的安全管理系统,它帮助企业和平台防…

3.2 Beautiful Soup 的使用

目录 一、Beautiful Soup 的简介 二、解析器 三、基本使用 四、节点选择器 1 选择元素 2 获取名称、属性、文本内容 五、方法选择器 1 find_all 传入 name 节点名 传入 attrs 属性 传入 text 2 find 六、CSS 选择器 1 实例 2 获取属性 3 获取文本 七、结语 一…

HSCCTF-2024-Crypto 复现

文章目录 EZ_MATHSTAR_CHASING_DIARYRSATESTYOUQU 复现参考来源: lazzzaro佬写的题解 EZ_MATH 题目描述: from Crypto.Util.number import *flag HSCCTF{*****************************************} x bytes_to_long(flag.encode()) y getPrime(2…

蓝桥杯第三期模拟赛(java版)

📑前言 本文主要是【蓝桥杯第三期练习题】的文章,如果有什么需要改进的地方还请大佬指出⛺️ 🎬作者简介:大家好,我是听风与他🥇 ☁️博客首页:CSDN主页听风与他 🌄每日一句&#x…

Java17 --- SpringCloud之Consul

目录 一、consul的使用 1.1、主要功能 1.2、安装及运行 1.3、添加微服务到consul 1.3.1、8001微服务添加相关pom、配置文件、注解 1.3.2、80微服务添加相关pom、配置文件、注解 1.4、三个注册中心异同 1.5、consul进行分布式配置 1.5.1、修改8001的yml配置文件 1.5.2…

map、set模拟(底层封装红黑树)

个人主页:Lei宝啊 愿所有美好如期而遇 前言 前面我们对红黑树进行了模拟实现: 现在我们将使用我们模拟的map和set对我们模拟的红黑树进行封装。 并且,本篇将增加红黑树的迭代器,模拟迭代器(这里理解原理即可&…

重建大师模型构建精细网格失败是什么原因导致的呢?(如下图)

出现图中的报错一般是显存溢出、瓦块过大造成的。 重建大师是一款专为超大规模实景三维数据生产而设计的集群并行处理软件,输入倾斜照片,激光点云,POS信息及像控点,输出高精度彩色网格模型,可一键完成空三、自动建模和…

flex弹性盒子实现左中右居中布局

1、效果展示 2、布局与样式 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>测试弹性盒子</title> </head> <body> <div class"out-parent"><div class"…

计算机网络 —— 运输层

运输层 5.1 运输层概述 运输层的主要任务是&#xff0c;如何为运行在不同主机上的应用进程提供直接的通信服务。运输层协议又称为端到端协议。 根据应用需求的不同&#xff0c;因特网的运输层为应用层提供了两种不同的运输协议&#xff0c;即面向连接的TCP和无连接的UDP 5.2…

Vant中<van-button>中icon的位置设置

一般在<van-button>按钮中加入icon&#xff0c;其位置都在左侧 我们可以用&#xff1a;van-position&#xff0c;改变图标展示位置 如&#xff1a;icon-position"right"

【30天】Python从入门到精通详解版—第一天—Python编程语言简介

Python编程语言简介 Python 简介Python 发展历史Python 特点Python 环境搭建Python下载Python安装环境变量配置在 Unix/Linux 设置环境变量在 Windows 设置环境变量 运行Python Python 简介 Python是一种高级编程语言&#xff0c;由Guido van Rossum于1989年底发明。Python在设…