Переезд и стабилизация managed-хостинга на базе Proxmox + Ceph с миграцией клиентов и ограниченным простоем

Исходная ситуация - небольшой managed-хостинг на 3 узлах Proxmox VE 7.x (локальные ZFS-пулы), около 60 VM и 120 контейнеров с сайтами клиентов (NGINX/Apache, PHP-FPM, MariaDB/PostgreSQL), почта вынесена отдельно. Регулярно возникают просадки I/O и непредсказуемые ребуты VM при пиковых нагрузках, бэкапы идут через vzdump на NFS и иногда оказываются битые. Планируется обновление до Proxmox VE 8.x, переход на распределённое хранилище Ceph и настройка HA так, чтобы авария одного узла не приводила к простоям.

Техническая среда - 4 физических сервера (2x NVMe + 4x SATA SSD, 2x10GbE), отдельный коммутатор 10GbE, публичная сеть /27 и внутренняя /24, доступ по VPN. Часть клиентов использует Cloudflare, часть работает напрямую. На уровне хостинга есть требования к изоляции клиентов и предсказуемой производительности.

Что нужно сделать - спроектировать и внедрить целевую конфигурацию и выполнить миграцию без потери данных.
- Подготовить план обновления PVE 7.x -> 8.x с проверкой совместимости, порядка действий и отката
- Развернуть Ceph (min 3 MON, MGR, OSD на NVMe, отдельные сети public/cluster), настроить CRUSH и failure domains с учётом топологии
- Настроить Proxmox HA для критичных VM, корректные fencing-механизмы, политики restart и миграции
- Перевести существующие VM/CT на Ceph с минимальным простоем, включая горячие миграции там, где возможно, и окно простоя для оставшихся
- Привести бэкапы в порядок - Proxmox Backup Server или альтернативный вариант с проверяемыми инкрементальными бэкапами, ретеншеном и регулярными тестовыми восстановлением
- Устранить причины текущих просадок - анализ I/O, latency, настройка кешей, очередей дисков, параметров Ceph, лимитов VM/CT, выявление узких мест сети 10GbE
- Настроить мониторинг и алерты - Prometheus/Grafana или эквивалент, метрики Proxmox/Ceph/SMART/сети, оповещения в Telegram/Email
- Подготовить документацию по эксплуатации - схема сети, роли узлов, порядок добавления OSD/узлов, план DR и чек-листы

Ограничения - суммарный простой для большинства клиентов не более 30 минут в ночное окно, для VIP 3 проектов не более 5 минут. Нельзя менять публичные IP у 20 VM (жёсткая привязка у клиентов). Нельзя отключать весь кластер одновременно. Доступ к железу только удалённо через IPMI и VPN.

Результат - работающий кластер Proxmox VE 8.x с Ceph, HA и проверяемыми бэкапами, плюс понятная документация.

Критерии приёмки - 1) отказ одного узла не приводит к остановке VIP VM более чем на 2 минуты, подтверждается тестом выключения узла через IPMI 2) Ceph в состоянии HEALTH_OK при штатной нагрузке, нет stuck PG, настроены предупреждения по заполнению и latency 3) для 10 выбранных VM выполнено тестовое восстановление из бэкапа с фиксацией времени RTO и проверкой целостности данных 4) средняя задержка дисковой подсистемы для VM под тестовой нагрузкой fio не превышает 3-5 мс на 4k random read при целевом профиле, результаты приложены 5) вся конфигурация зафиксирована в виде пошаговой документации и параметров (версии, сетевые схемы, команды)