Linux和Windows集群中部署HTCondor

目录

 1、集群架构

2、HTCondor版本

3、Linux系统安装

3.1、HTCondor安装

3.2、中央管理节点配置

3.3、其他节点配置

4、Windwos系统安装

5、安全配置

6、参考


 1、集群架构
 

操作系统IP地址
1*Ubuntu22.04192.168.1.74
2Ubuntu22.04192.168.1.60
3Ubuntu22.04192.168.1.67
4Ubuntu20.03192.168.1.136
5Windows10192.168.1.20

2、HTCondor版本

为了兼容Ubuntu22.04,采用了HTCondor10.0.9版本

官网地址:HTCondor DownloadHTCSS is a specialized workload management system for compute-intensive jobs. Built to be flexible, expressive, and compatible with Grid and Cloud computing environments HTCSS was made to increase your Computational Throughput.icon-default.png?t=N7T8https://htcondor.org/htcondor/download/

3、Linux系统安装

采用Ubuntun22.04作为中央管理节点,IP地址为192.168.1.74

其余电脑全部设置为执行点和提交点。

3.1、HTCondor安装

在所有Ubuntu电脑中设置:

wget -qO - https://research.cs.wisc.edu/htcondor/repo/keys/HTCondor-10.0-Key | sudo apt-key add -

如果更换版本,密钥也得更换,此处用的锁10.0版本。

echo "deb [arch=amd64] https://research.cs.wisc.edu/htcondor/repo/ubuntu/10.0 jammy main" | sudo tee /etc/apt/sources.list.d/htcondor.list

apt-get update
apt-get install htcondor

3.2、中央管理节点配置

打开防火墙9618端口

ufw allow 9618/tcp

如果ufw服务没开启:

ufw enable

编辑condor_config文件

vim  /etc/condor/condor_config

在condor_config文件中加上:

ALLOW_WRITE =*

ALLOW_READ=*

CONDOR_HOST=$(FULL_HOSTNAME)

DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD

ALLOW_ADVERTISE_MASTER=$(ALLOW_WRITE)
ALLOW_ADVERTISE_STARTD=$(ALLOW_WRITE)
ALLOW_ADVERTISE_SCHEDD=$(ALLOW_WRITE)

DAEMON_LIST设置机器的进程:
示例:
    中央管理主机(可提交可执行)
    DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD
    中央管理主机(只提交不执行)
    DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD
    作业提交主机
    DAEMON_LIST = MASTER, SCHEDD
    作业执行主机
    DAEMON_LIST = MASTER, STARTD

安全配置最后介绍,Linux、Windows类似

3.3、其他节点配置

在其余节点(执行点、提交点)下载完HTCondor后,编辑condor_config文件,将host指向中央管理节点,我这里是192.168.1.74,再配置相关节点进程。

vim  /etc/condor/condor_config

CONDOR_HOST=192.168.1.74

#下面三个三选一

DAEMON_LIST = MASTER, SCHEDD  #作业提交主机

DAEMON_LIST = MASTER, STARTD #作业执行主机

DAEMON_LIST = MASTER, SCHEDD,STARTD #作业提交+执行主机

安全配置最后介绍,Linux、Windows类似

4、Windwos系统安装

Windows系统直接到官网下载相应版本msi文件即可。我这里是10.0.9版本

https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/icon-default.png?t=N7T8https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/Windows详细安装教程参考:

https://www.cnblogs.com/charlee44/p/12207128.htmlicon-default.png?t=N7T8https://www.cnblogs.com/charlee44/p/12207128.html注意在第一步选择创建condor池还是加入condor池时,选择join an existing HTCondor Pool.

Hostname of Central  Manager选择中央管理节点ip,我这里填的是192.168.1.74.

后面根上面博客里教程一样即可。

如果后续需要修改节点进程,在安装目录下的condor_config中修改DAEMON_LIST即可。

5、安全配置

安全配置,Linux与Windows一样。

Linux到/etc/condor下修改condor_config文件

Windows到安装目录下修改condor_condif文件。

为了方便,我没有采用IDTOKENSPassword身份验证。所以注释掉在condor_config中所有关于安全的配置,例如:use SECURITY等。

如果需要更安全的验证,请自行去官网参照官方手册配置:
Security — HTCondor Manual 23.4.0 documentationicon-default.png?t=N7T8https://htcondor.readthedocs.io/en/latest/admin-manual/security.html#password-authenticationLinux可能会有个config.d文件夹,如何里面有配置文件,编辑这个配置文件看看是否有关于安全的配置,如果有注释掉。

在condor_config中加入:

use SECURITY:HOST_BASED

6、参考

Administrative Quick Start Guide — HTCondor Manual 23.4.0 documentationicon-default.png?t=N7T8https://htcondor.readthedocs.io/en/latest/getting-htcondor/admin-quick-start.html

https://www.cnblogs.com/charlee44/p/12207128.htmlicon-default.png?t=N7T8https://www.cnblogs.com/charlee44/p/12207128.html

https://www.twblogs.net/a/5b8389002b71776c51e37dacicon-default.png?t=N7T8https://www.twblogs.net/a/5b8389002b71776c51e37dac

本文合作作者:感情丶剪不断-CSDN博客感情丶剪不断关注react.js,前端框架,面试,css,node.js,es6,vue.js,https,javascript领域.https://blog.csdn.net/qq_46688918

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/496948.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

matlab 方向向量约束的PCA快速粗配准

目录 一、算法原理二、代码实现三、结果展示本文由CSDN点云侠原创,原文链接。如果你不是在点云侠的博客中看到该文章,那么此处便是不要脸的GPT爬虫。 一、算法原理 该方法由本人原创,目前尚未见有相关论文用到。具体原理看代码即可。 二、代码实现 clc;clear; %% ------…

数据结构:循环队列

一、队列的概念 操作受限的线性表,允许在队列的一端执行入队操作,另一端执行出队操作 先进先出(FIFO) 1.顺序队列 物理结构连续,依赖于数组实现 队列中有一个队头指针和队尾指针,队头指针保存每次要出队的元素,队…

图形判断类型

笔画数 笔画数这一考点。在国考、省考以及事业单位、三支一扶等各种公务员考试当中,都作为一个重要考点的存在。但很多同学仍然对于这部分知识点不清晰,比如不知道如何数奇点,数不清奇点,或无法快速识别这类题型,以致…

07 Qt自绘组件:图片预览小组件ImageViewer

系列文章目录 01 Qt自定义风格控件的基本原则-CSDN博客 02 从QLabel聊起:自定义控件扩展-图片控件-CSDN博客 03 从QLabel聊起:自定义控件扩展-文本控件-CSDN博客 04 自定义Button组件:令人抓狂的QToolButton文本图标居中问题-CSDN博客 0…

干货!Python字符串填充、去除、分割与合并

1.center() 将字符串按照指定内容填充到指定长度,默认填充的内容是空格 str1 "今天天气好晴朗"print(str1.center(50)) # 使用空间将原字符串填充到50个长度,原内容居中print(str1.center(50, "*")) # 使用 * 将原字符串填…

Python入门学习:if语句与条件控制--and、or、in、not in详解与实践

Python入门学习:if语句与条件控制–and、or、in、not in详解与实践 🌈 个人主页:高斯小哥 🔥 高质量专栏:Matplotlib之旅:零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程&#x1…

【Algorithms 4】算法(第4版)学习笔记 12 - 番外篇:二叉查找树的几何应用(上篇)

文章目录 前言参考目录学习笔记0:概述1:一维范围搜索(1d range search)1.1:一维范围搜索实现1.2:一维范围计数:BST 实现1.3:一维范围查找:BST 实现2:线段交点…

git之多人协作

一.多⼈协作⼀ 目标:在同一个分支上完成多人协作 任务:在linux和windows两个用户下分别在远程仓库(非master分支)中添加“linux submit”和“windows submit” 现在我们在远程仓库dev分支下filetxt文件情况: 我们先…

ky10-server docker 离线安装包、离线安装

离线安装脚本 # ---------------离线安装docker------------------- rpm -Uvh --force --nodeps *.rpm# 修改docker拉取源为国内 rm -rf /etc/docker mkdir -p /etc/docker touch /etc/docker/daemon.json cat >/etc/docker/daemon.json<<EOF{"registry-mirro…

Groovy(第九节) Groovy 之单元测试

JUnit 利用 Java 对 Song 类进行单元测试 默认情况下 Groovy 编译的类属性是私有的,所以不能直接在 Java 中访问它们,必须像下面这样使用 setter: 编写这个测试用例余下的代码就是小菜一碟了。测试用例很好地演示了这样一点:用 Groovy 所做的一切都可以轻易地在 Java 程序…

sql基本语法+实验实践

sql语法 注释&#xff1a; 单行 --注释内容# 注释内容多行 /* 注释内容 */数据定义语言DDL 查询所有数据库 show databases;注意是databases而不是database。 查询当前数据库 select database();创建数据库 create database [if not exists] 数据库名 [default charset 字符…

云里物里轻薄系列电子价签,如何革新零售?

云里物里的DS轻薄系列电子价签&#xff0c;凭借轻巧外观和强劲性能&#xff0c;为零售行业提供了更便捷的商品改价方案。这不仅是对纸质价标的替代&#xff0c;更以其安全性和可持续发展性&#xff0c;实现对零售行业的效率升级&#xff0c;让商家们轻松迎接数字化时代的挑战&a…