基于 Proxmox + Ceph 的托管托管的迁移和稳定，具有客户端迁移和有限的停机时间

最初的情况是 3 个 Proxmox VE 7.x 节点（本地 ZFS 池）上的小型托管主机，大约 60 个虚拟机和 120 个带有客户端站点（NGINX/Apache、PHP-FPM、MariaDB/PostgreSQL）的容器，邮件单独取出。在高峰负载期间，I/O 下降和不可预测的虚拟机重启会定期发生；备份通过 vzdump 发送到 NFS，有时会被破坏。计划升级到Proxmox VE 8.x，切换到Ceph分布式存储并配置HA，这样一个节点故障不会导致宕机。

技术环境 - 4 台物理服务器（2x NVMe + 4x SATA SSD、2x10GbE）、独立的 10GbE 交换机、公共 /27 和内部 /24 网络、VPN 访问。有些客户使用 Cloudflare，其他客户则直接工作。在托管级别，需要客户端隔离和可预测的性能。

您需要做的是设计和实现目标配置并在不丢失数据的情况下执行迁移。
- 准备 PVE 7.x -> 8.x 的升级计划，检查兼容性、过程和回滚
- 部署 Ceph（NVMe 上至少 3 个 MON、MGR、OSD、单独的公共/集群网络），配置 CRUSH 和故障域并考虑拓扑
- 为关键虚拟机配置 Proxmox HA、正确的防护机制、重启和迁移策略
- 以最短的停机时间将现有 VM/CT 迁移到 Ceph，包括尽可能的热迁移以及剩余 VM/CT 的停机时间窗口
- 有序备份 - Proxmox 备份服务器或具有可验证增量备份、保留和定期测试恢复的替代选项
- 消除电流下降的原因 - 分析 I/O、延迟、设置缓存、磁盘队列、Ceph 参数、VM/CT 限制、识别 10GbE 网络瓶颈
- 设置监控和警报 - Prometheus/Grafana 或同等产品、Proxmox/Ceph/SMART/网络指标、电报/电子邮件警报
- 准备操作文档 - 网络图、节点角色、添加 OSD/节点的顺序、灾难恢复计划和清单

限制 - 大多数客户每晚窗口的总停机时间不超过 30 分钟，对于 VIP 3 项目不超过 5 分钟。您不能更改 20 个虚拟机的公共 IP（客户端严格绑定）。您无法立即关闭整个集群。仅通过 IPMI 和 VPN 远程访问硬件。

结果是一个可运行的 Proxmox VE 8.x 集群，具有 Ceph、HA 和可验证的备份，以及清晰的文档。

验收标准 - 1) 一个节点的故障不会导致 VIP VM 停止超过 2 分钟，通过 IPMI 的节点关闭测试确认 2) Ceph 在正常负载下处于 HEALTH_OK 状态，没有卡住 PG，配置了完整度和延迟警告 3) 对于 10 个选定的 VM，通过 RTO 时间记录和数据完整性检查执行从备份的测试恢复 4) 测试负载 fio 下 VM 的磁盘子系统的平均延迟不超过4k 上 3-5 毫秒随机读取目标配置文件，结果附后 5) 整个配置以分步文档和参数（版本、网络图、命令）的形式记录