跳到主要内容

物理机服务原理

功能介绍​

云平台支持 Baremetal(物理机) 管理，提供的功能如下:

  1. 自动化上架: 物理机上架加电启动后，自动注册到云管平台，自动分配BMC IP地址，初始化IPMI账号密码，自动上报物理机硬件配置（CPU、内存、序列号、网卡、磁盘等）

  2. 自动化装机: 根据配置要求自动配置 RAID，自动分区格式化磁盘，自动部署操作系统镜像，自动初始化操作系统账号密码，自动分配IP地址，可以植入配置文件

  3. 生命周期管理: 支持物理机自动化开机，关机，重装系统，远程带外管理，卸载操作系统等操作

  4. 与虚拟机共享镜像: 使用虚拟机镜像部署物理机，便于虚拟机和物理机统一操作系统运行环境

  5. API 支持: 以上操作均支持API操作，便于与其他系统的自动化流程集成

  6. 服务器型号支持: 支持Dell、HP、华为、浪潮、联想、超微等主流x86服务器厂商和机型

  7. RAID 控制器支持: LSI MegaRaid, HP Smart Array, LSI MPT2SAS, LSI MPT3SAS, Mrarvell RAID等

  8. 转换为宿主机: 直接将物理机转换为运行虚拟机的宿主机

  9. 托管已有服务器： 托管已有并装好系统的物理机

服务架构​

物理机管理服务架构如下:

物理机管理架构

  • Baremetal - DHCP Relay： 处理 PXE 网络启动

  • DHCP Relay - Baremetal Agent:

    • 转发 PXE Boot 请求，获取网络启动相关的信息
    • 通过 DHCP 和 TFTP 服务下发 PXE 配置
      • 云平台定制的PXE引导系统 kernel 和 initramfs: 运行 SSH 服务，制作 RAID，收集硬件信息等

  • Baremetal Agent - Region Server:

    • 通过 Region Server 注册物理机记录
    • 获取网络 IP 地址

  • Baremetal Agent - Baremetal:

    • Baremetal 通知 Agent SSH 相关的登录信息
    • Agent 通过 SSH 配置 Baremetal 的 IPMI
    • Agent 通过 IPMI 控制 Baremetal 开关机等操作
    • Agent 通过 SSH 执行做 RAID，装机，销毁等操作

  • Glance Server - Baremetal: Baremetal 从 Glance server 下载装机镜像

  • 在交换机上开启 DHCP Relay 功能(或者使用 DHCP Relay软件)，relay 指向 Baremetal Agent

    • 物理机上架通电后，设置 PXE 网络启动，DHCP Relay 会将 PXE Boot 请求转发到 Baremetal Agent，Baremetal Agent 收到 PXE Boot 请求，向 Region Server 注册物理机记录

技术细节​

注册物理机​

注册物理机有自动注册和手动注册两种方式，如果 Baremetal Agent 开启了自动注册功能，就会自动在云平台创建 baremetal 记录；如果为手动注册方式，就需要先调用物理机创建接口把对应的 PXE 网卡对应的 MAC 地址注册到平台。

注册的流程如下:

  1. 物理机 PXE 启动时会发送 DHCP PXE boot 的请求，通过 DHCP Relay 请求会到 Baremetal Agent;
  2. Baremetal Agent 从 DHCP 请求中取出网卡 MAC 地址，拿 MAC 地址向 Region Server 过滤物理机记录;
  3. Region Server 告诉 Baremetal Agent 改 MAC 地址没有物理机，Baremetal Agent 就会新建记录，并从 Region Server 获取分配对应网段的 IP 地址, 通过内置 DHCP 服务回包给物理机;
  4. 物理机 PXE DHCP 请求获得分配的 IP 地址后，会通过 TFTP 从 Baremetal Agent 下载启动引导文件(kernel 和 initramfs)，然后使用 ramdisk 机制进入我们定制的 initramfs 小系统;
  5. initramfs 小系统启动后，会启动 sshd 服务，然后修改 root 用户密码，将这些登录信息通知回 Baremetal Agent;
  6. Baremetal Agent 收到通知后，记录 ssh 登录的信息，开始进行准备工作;
  7. 准备工作包括配置 IPMI，收集硬件信息等，当这些操作完成后，将所有信息上报给 Region Server 完成注册

PXE引导系统​

PXE引导系统(https://github.com/yunionio/yunionos) 是我们使用 Buildroot 工具定制的用于 PXE 启动和管理物理机的小型 Linux 系统，作用如下:

  1. 运行 sshd 服务，提供 Baremetal Agent 远程执行命令
  2. 包含 LSI MegaRaid, HP Smart Array, LSI MPT2SAS, LSI MPT3SAS, Mrarvell RAID等驱动和工具，用于制作 RAID
  3. 包含 ipmitool 和相关 driver，用于配置和调用 IPMI BMC 管理物理机
  4. 包含 qemu-img, sgdisk, parted 等磁盘分区工具，用于创建操作系统

SSH 管理​

当物理机通过 PXE 进入 PXE引导系统后会启动 sshd 服务，并将 ssh login 信息通知给 Baremetal Agent，Baremetal Agent 会更新 ssh 相关的登录信息

RAID 配置​

RAID 配置由 Baremetal Agent 根据用户的配置，生成 raid 配置命令，通过 ssh 远程控制 PXE引导系统 在物理机上制作 RAID

安装操作系统​

RAID 做完后，Baremetal Agent 会通过 ssh 远程控制 PXE引导系统 安装操作系统和分区，流程如下:

  1. 调用 /lib/mos/rootcreate.sh 将系统创建到磁盘:
  • 通过 wget 从 Glance Server 下载用户指定的 image 镜像
  • 通过 qemu-img convert 命名将 image 写入到磁盘
  1. 创建好系统后，会根据用户的配置将系统盘 resize 分区
  2. 创建其它分区并格式化
  3. Baremetal Agent 进行一些网络，磁盘配置的设置：比如 bonding，ip 设置, /etc/fstab, 改变 hostname 等

开关机​

注册好的的物理机会配置好 IPMI, IPMI 相关的信息会记录在数据库，Baremetal Agent 通过 ipmitool 控制开关机

重装操作系统​

类似于安装操作系统，流程上会让安装了操作系统的物理机重新进入 PXE引导系统，然后重新安装操作系统

远程访问​

Baremetal Agent 通过 ipmitool sol 接口提供串口控制界面

删除操作系统​

对正在运行操作系统的物理机重启进入 PXE 网络启动，进入 PXE引导系统，调用 /lib/mos/partdestory.sh 销毁磁盘分区和相应的 raid 命令销毁 raid 配置