多可用区服务配置

介绍在多个可用区(zone)下部署物理机管理服务(baremetal-agent), VMware管理服务(esxi-agent)以及宿主机管理服务(host)

平台有个可用区(zone)的概念，可以理解为对应实际环境中的机房，刚部署完服务后会有一个默认的可用区 zone0 。

云平台的物理机管理服务(baremetal-agent), VMware管理服务(esxi-agent)以及虚拟机管理服务(host)是可用区级别的服务，如果实际环境中的服务器，物理机或者管理的 VMware 集群位于不同的机房，需要创建多个可用区，然后在不同的可用区部署这些服务。

接下来的文档介绍如何在多个可用区部署这些服务。

创建可用区

可用区的添加使用 onecloud-operator 这个服务来控制，直接修改 onecloud namespace 里面的 default onecloudcluster 资源就行，比如下面的命令添加 my-zone-1 这个可用区：

# 修改 default onecloudcluster 的 spec.customZones
# 添加需要增加的可用区
$ kubectl edit onecloudcluster -n onecloud default
...
  customZones:
  - my-zone-1
...

修改完后保存退出，然后使用 climc zone-list 看下是否有新建的可用区：

$ climc zone-list
+--------------------------------------+-----------+--------+----------------+
|                  ID                  |   Name    | Status | Cloudregion_ID |
+--------------------------------------+-----------+--------+----------------+
| d64ccd80-7643-454d-8d40-7f5a0d57107f | my-zone-1 | enable | default        |
| 04f414a7-ce55-470a-8d64-c6e4e64ccdfc | zone0     | enable | default        |
+--------------------------------------+-----------+--------+----------------+

物理机管理服务(baremetal-agent) 和VMware管理服务(esxi-agent)

发现已经有新建的可用区 my-zone-1 了，operator 服务也会自动创建对应可用区的物理机管理服务(baremetal-agent) 和VMware管理服务(esxi-agent) ，查看对应的 deployment，命令如下：

$ kubectl get deployments. -n onecloud | grep my-zone-1
default-baremetal-agent-my-zone-1   0/0     0            0           3m37s
default-esxi-agent-my-zone-1        1/1     1            1           3m42s

其中物理机服务(baremetal-agent)需要选择一个 k8s node 手动开启。

启用 baremetal-agent

# $listen_interface 指的是 baremetal-agent 监听的网卡名称
$ ocadm baremetal enable --node $node_name --listen-interface $listen_interface
# 观察 baremetal agent pod 状态查看是否启动成功
$ watch "kubectl get pods -n onecloud | grep baremetal"
default-baremetal-agent-7c84996c9b-hhllw   1/1     Running   0          3m10s
# 启动成功确认 baremetal-agent 注册到控制节点
$ climc agent-list
+--------------------------------------+--------------------------+----------------+-----------------------------+---------+------------+------------------------------------------+--------------------------------------+
|                  ID                  |           Name           |   Access_ip    |         Manager_URI         | Status  | agent_type |                 version                  |               zone_id                |
+--------------------------------------+--------------------------+----------------+-----------------------------+---------+------------+------------------------------------------+--------------------------------------+
| f3c2c671-c41d-4f30-8d04-e022b49bb9b5 | baremetal-10.168.222.150 | 10.168.222.150 | https://10.168.222.150:8879 | enabled | baremetal  | remotes/origin/master(5e415506120011509) | 6230b485-2e54-480e-8284-33360b8202a8 |
+--------------------------------------+--------------------------+----------------+-----------------------------+---------+------------+------------------------------------------+--------------------------------------+

宿主机服务

宿主机服务(host)管理一台宿主机上的虚拟机，默认情况下的宿主机属于可用区zone0，如果有其它机房的宿主机，需要新建可用区，然后创建一个属于这个可用区的二层网络(wire)，再基于这个二层网络(wire)创建包含注册宿主机IP的子网(network)，最后把宿主机添加进来就可以了。

创建二层网络

直接基于之前创建的可用区 my-zone-1 创建二层网络 my-wire-1，命令如下：

# 10000 表示的是带宽，假设是万兆的网络
$ climc wire-create my-zone-1 my-wire-1 10000

# 查看新建的二层网络
# 能看到二层网络在 my-zone-1 可用区下面
$ climc wire-list --details
+--------------------------------------+-----------+-----------+--------------------------------------+-----------+----------+---------+---------+--------------+-----------+
|                  ID                  |   Name    | Bandwidth |               Zone_ID                |   Zone    | Networks |   VPC   | VPC_ID  | public_scope | domain_id |
+--------------------------------------+-----------+-----------+--------------------------------------+-----------+----------+---------+---------+--------------+-----------+
| f0582003-8a11-4200-8ffd-025bbe7bfc5a | my-wire-1 | 10000     | d64ccd80-7643-454d-8d40-7f5a0d57107f | my-zone-1 | 0        | Default | default | system       | default   |
+--------------------------------------+-----------+-----------+--------------------------------------+-----------+----------+---------+---------+--------------+-----------+
***  Total: 1 Pages: 1 Limit: 20 Offset: 0 Page: 1  ***

创建 IP 子网

根据上一步，已经创建好了二层网络 my-wire-1，接下来我们创建包含注册宿主机 IP 的子网，假设待注册宿主机的网络信息如下：

  • IP: 192.168.121.61
  • 默认网关：192.168.121.1
  • 掩码：24

根据需要注册的宿主机信息，创建一个 my-hostnet-1，网段为 192.168.121.61-192.168.121.62，这里也可以根据自己的环境变更网络的范围，对应命令如下：

$ climc network-create \
    --server-type baremetal \
    --gateway 192.168.121.21 \
    my-wire-1 my-hostnet-1 192.168.121.61 192.168.121.62 24

添加计算节点

子网创建好后，就可以使用部署工具 ocboot 的 add-node 命令添加目标宿主机到平台了，详细添加方法可以参考添加计算节点，假设目标宿主机 IP 为 192.168.121.61 ，控制节点 IP 为 192.168.121.21，对应命令如下：

$ ./ocboot.py add-node 192.168.121.21 192.168.121.61

等待命令执行完成后，查看宿主机所属的可用区是否为 my-zone-1：

$ climc host-list --zone my-zone-1
+--------------------------------------+----------------------+-------------------+----------------+-----------------------------+---------+---------+-------------+----------+-----------+------------+---------------+--------------+------------+--------------------------------+--------------+-----------+--------------+
|                  ID                  |         Name         |    Access_mac     |   Access_ip    |         Manager_URI         | Status  | enabled | host_status | mem_size | cpu_count | node_count |      sn       | storage_type | host_type  |            version             | storage_size | domain_id | public_scope |
+--------------------------------------+----------------------+-------------------+----------------+-----------------------------+---------+---------+-------------+----------+-----------+------------+---------------+--------------+------------+--------------------------------+--------------+-----------+--------------+
| d80a4163-5466-43e3-8876-6bbcb042c911 | node2-192-168-121-61 | 52:54:00:e0:ed:9d | 192.168.121.61 | https://192.168.121.61:8885 | running | false   | online      | 3686     | 2         | 1          | Not Specified | rotate       | hypervisor | release/3.8(4064385d922011109) | 29405        | default   | system       |
+--------------------------------------+----------------------+-------------------+----------------+-----------------------------+---------+---------+-------------+----------+-----------+------------+---------------+--------------+------------+--------------------------------+--------------+-----------+--------------+
***  Total: 1 Pages: 1 Limit: 20 Offset: 0 Page: 1  ***

发现 192.168.121.61 的宿主机已经添加到新建的可用区 my-zone-1 了。