hpcpilot源码解读：10个核心脚本实现原理与架构设计揭秘

hpcpilot源码解读：10个核心脚本实现原理与架构设计揭秘

【免费下载链接】hpcpilotA collection of HPC delivery tools, including basic system configuration, node inspection, performance testing, third-party service installation, etc.项目地址: https://gitcode.com/openeuler/hpcpilot

前往项目官网免费下载：https://ar.openeuler.org/ar/

如何快速理解高性能计算集群自动化部署工具hpcpilot的完整架构？本文将深入剖析hpcpilot的核心脚本实现原理与架构设计，为HPC新手和普通用户提供终极指南。

hpcpilot是一款专为高性能计算集群设计的自动化部署工具，它集成了系统基础配置、节点巡检、性能测试、第三方服务安装等核心功能。通过模块化设计和智能脚本编排，hpcpilot能够大幅简化HPC环境的搭建流程，降低运维复杂度，提升部署效率。

🏗️ hpcpilot整体架构设计

hpcpilot采用分层架构设计，主要分为入口控制层、公共模块层、功能脚本层三个核心层次。这种设计确保了代码的可维护性和扩展性。

入口控制层：auto_install_tools.sh

作为整个工具的总控入口，auto_install_tools.sh脚本实现了菜单驱动的交互界面。它通过主菜单提供8个核心功能选项，用户只需输入数字即可执行相应的自动化任务。

# 主菜单功能示例 1) auto run initialization script # 一键初始化运维节点 2) auto run operating system configuration script # 批量OS配置 3) auto run mount storage device scripts # 挂载共享存储 4) auto run chrony ldap service installation script # 服务安装 5) auto run donaukit users and directory script # 用户目录创建 6) auto run benchmark tools and cuda toolkit installation scripts # 性能工具安装 7) auto run check scripts # 配置检查 8) system exit # 退出

该脚本还实现了并发执行控制机制，通过检查/var/log/hpcpilot.pid文件防止多个实例同时运行，确保操作的原子性。

公共模块层：common.sh

common.sh是hpcpilot的核心公共模块，提供了1300多行通用函数和配置管理功能。它实现了：

1. 配置管理：通过get_ini_value函数解析setting.ini配置文件
2. 日志系统：统一的日志记录函数，支持不同级别的日志输出
3. 错误处理：完善的异常捕获和清理机制
4. 工具函数：字符串处理、文件检查、网络连接测试等

# 配置文件读取示例 function get_ini_value() { ini_section=${1} ini_key=${2} # 从setting.ini读取配置值 int_value=$(awk -F " = " '/\['${ini_section}'\]/{a=1} a==1&&$1~/'${ini_key}'/ {print $2;exit}' ${ini_file}) echo ${int_value} }

🔧 核心功能模块详解

1. 系统基础配置模块

位于hpc_script/basic_script/目录下的脚本实现了HPC集群的基础配置：

• YUM源配置：cas_yum.sh - 自动化挂载本地YUM源
• 主机名配置：cac_hostname.sh - 批量修改节点hostname
• 免密登录：cac_pass_free.sh - 配置SSH免密登录
• 安全配置：cac_selinux.sh和cac_firewall.sh - 关闭SELinux和防火墙
• 网络驱动：cas_mellanox.sh - Mellanox网卡驱动安装

2. 服务安装模块

hpc_script/service_script/目录包含第三方服务的自动化安装脚本：

• 时间同步服务：install_chrony_server.sh和install_chrony_client.sh - Chrony服务端和客户端配置
• 目录服务：install_ldap_server.sh和install_ldap_client.sh - LDAP统一认证部署
• Ansible自动化：cas_ansible.sh - 批量运维工具安装配置

3. 性能测试模块

hpc_script/benchmark_script/目录提供了HPC性能测试工具：

• 编译器安装：compile_bisheng_hmpi_kml.sh - 毕昇编译器、HMPI和KML安装
• HPL测试：compile_hpl.sh和run_hpl.sh - 高性能Linpack基准测试
• 网络测试：compile_osu.sh和run_osu.sh - OSU微基准测试
• 内存测试：compile_stream.sh和run_stream.sh - STREAM内存带宽测试

4. 配置检查模块

auto_check_script.sh实现了一键检查功能，验证所有基础配置项的正确性，包括：

• 网络连通性检查
• 服务状态验证
• 配置文件完整性检查
• 依赖软件版本确认

🚀 hpcpilot工作流程解析

第一步：环境初始化

# 执行初始化脚本 ./auto_install_tools.sh # 选择菜单1：初始化运维节点

初始化过程包括：

1. 挂载YUM源镜像
2. 安装Ansible自动化工具
3. 配置SSH连接

第二步：系统配置

通过菜单2进入操作系统配置子菜单，支持12个配置选项：

第三步：服务部署

菜单4提供了Chrony和LDAP服务的安装选项：

• 一键安装模式：自动安装服务端和客户端
• 分步安装模式：支持单独安装服务端或客户端

第四步：性能工具安装

菜单6负责Benchmark工具和CUDA安装：

1. CUDA工具包安装
2. 毕昇编译器、HMPI、KML编译安装
3. HPL、OSU、STREAM测试工具编译

🔍 关键技术实现原理

1. 配置文件管理机制

hpcpilot使用三个核心配置文件：

1. setting.ini- 全局配置参数
2. hostname.csv- 节点信息表
3. users.json- 多瑙用户信息

setting.ini采用INI格式，通过get_ini_value函数动态读取配置：

[common_global_conf] common_sys_user_password = common_sys_root_password = basic_om_master_ip = 9.88.40.49 basic_shared_directory = /share

2. 批量执行引擎

batch_run_scripts函数实现了基于Ansible的批量执行引擎：

function batch_run_scripts() { # 检查sshpass服务 if [ "$(rpm -qa sshpass)" == "" ]; then log_error "SSHPASS service is not installed" return fi # 遍历hostname.csv中的所有节点 for line in $(cat ${hostname_file} | tail -n +2); do local host_ip=$(echo ${line} | awk -F "," '{print $1}') local host_name=$(echo ${line} | awk -F "," '{print $2}') # 判断是否为当前机器 if [ -n "$(echo "$(get_current_host_ip)" | grep "${host_ip}")" ]; then # 本地执行模式 bash ${base_directory}/${1} ${host_ip} else # 远程执行模式 ansible ${host_ip} -m shell -a "bash ${base_directory}/${1} ${host_ip}" fi done }

3. 错误处理与日志系统

hpcpilot实现了完善的错误处理机制：

• 信号捕获：通过trap命令捕获Ctrl+C等中断信号
• 密码清理：异常退出时自动清理配置文件中的密码
• 日志分级：支持INFO、WARN、ERROR不同级别的日志输出
• 操作审计：记录所有操作到日志文件

# 异常中断处理函数 function trap_exit_ctrlC() { local exit_status=$? log_warn "Abnormal interruption [CTRL+C] exit." false # 清理配置文件中的密码 clean_pw_all # 清理ANSIBLE运行日志 rm -rf ${ansible_log_path}/* log_warn "Password is cleared, config password when you run scripts again." true }

📊 支持的平台与架构

hpcpilot支持多种操作系统和架构：

🎯 最佳实践与使用建议

1. 部署前准备

1. 规划运维节点：选择一个节点作为hpcpilot执行节点
2. 准备依赖包：下载所需软件包到/opt/hpcpilot/sourcecode/目录
3. 配置网络：确保所有节点网络互通

2. 配置文件优化

编辑hostname.csv文件时注意：

host_ip,host_name,host_group,host_expansion,host_compute_ip,host_storage_ip 168.17.1.76,master01,ccsccp&ntp_server&ldap_client,0,,

• host_group支持多分组，使用&符号连接
• 扩容节点设置host_expansion=1
• 网络配置根据实际情况填写IP地址

3. 执行顺序建议

必须按顺序执行各功能模块：

1. 初始化运维节点（菜单1）
2. 操作系统基础配置（菜单2）
3. 共享存储挂载（菜单3）
4. 服务安装（菜单4）
5. 用户目录创建（菜单5）
6. 性能工具安装（菜单6）
7. 配置检查（菜单7）

🔮 架构扩展与定制

1. 添加新功能模块

要扩展hpcpilot功能，只需：

1. 在对应目录创建新的脚本文件
2. 在auto_install_tools.sh中添加菜单项
3. 更新配置文件模板

2. 支持新操作系统

扩展操作系统支持需要：

1. 测试现有脚本在新系统上的兼容性
2. 调整软件包依赖和安装命令
3. 更新文档说明

3. 集成新服务

集成新服务（如Slurm、PBS等）的步骤：

1. 创建服务安装脚本
2. 添加配置文件参数
3. 实现服务状态检查功能

💡 总结

hpcpilot通过模块化设计和自动化编排，将复杂的HPC集群部署简化为几个简单的菜单操作。其核心优势在于：

1. 开箱即用：提供完整的HPC环境部署解决方案
2. 批量操作：基于Ansible实现大规模节点并行配置
3. 错误恢复：完善的错误处理和日志系统
4. 易于扩展：清晰的架构支持功能模块扩展

对于HPC新手和普通用户，hpcpilot极大地降低了高性能计算集群的部署门槛，让复杂的系统配置变得简单高效。通过深入理解其源码实现原理，用户可以更好地定制和扩展工具功能，满足特定的HPC环境需求。

无论你是HPC初学者还是经验丰富的系统管理员，hpcpilot都能为你提供可靠的自动化部署支持，助力高性能计算环境的快速搭建与运维。

【免费下载链接】hpcpilotA collection of HPC delivery tools, including basic system configuration, node inspection, performance testing, third-party service installation, etc.项目地址: https://gitcode.com/openeuler/hpcpilot