proxmox 6.1 配置集群与ceph存储注意事项。
先将hostname加入各个主机，
echo "192.168.0.181 pve1" > /etc/hosts
echo "192.168.0.182 pve2" > /etc/hosts
echo "192.168.0.183 pve3" > /etc/hosts
注意需要NTP，用来同步时间。
apt-get install ntp -y
一定要取消订阅
sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service
echo "deb http://download.proxmox.com/debian/pve buster pve-no-subscription" > /etc/apt/sources.list.d/pve-enterprise.list
添加ceph源信息
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
echo "deb http://mirrors.163.com/ceph/debian-nautilus/ stretch main" > /etc/apt/sources.list.d/ceph.list
一，到webui界面中创建集群，然后将三个主机都添加到集群中。
二，将存储网络使用单独网卡，三台主机配置好网卡信息 10.10.100.0/24 单独网段，
使得 pveceph install --version nautilus 在各个主机上安装好ceph nautilus版本软件。
三，在webui上面配置ceph信息，存储与集群网络使用对应网段。
四，添加好三台主机的监视器信息。
五，添加好 osd信息，需要未分区的硬盘。
六，创建cephfs文件系统，添加存储池pool。
然后会发现三台主机，分增加一个存储单元。
最后，新开通虚拟机，硬盘可以选对应的存储单了。
可以命令参考这里：https://pve.proxmox.com/pve-docs/chapter-pveceph.html#pve_ceph_install