Переїзд та стабілізація managed-хостингу на базі Proxmox + Ceph з міграцією клієнтів та обмеженим простоєм

Вихідна ситуація - невеликий managed-хостинг на 3 вузлах Proxmox VE 7.x (локальні ZFS-пули), близько 60 VM та 120 контейнерів із сайтами клієнтів (NGINX/Apache, PHP-FPM, MariaDB/PostgreSQL), пошта винесена окремо. Регулярно виникають просідання I/O і непередбачувані ребути VM при пікових навантаженнях, бекапи йдуть через vzdump на NFS і іноді виявляються биті. Планується оновлення до Proxmox VE 8.x, перехід на розподілене сховище Ceph та налаштування HA так, щоб аварія одного вузла не призводила до простоїв.

Технічне середовище - 4 фізичні сервери (2x NVMe + 4x SATA SSD, 2x10GbE), окремий комутатор 10GbE, публічна мережа /27 і внутрішня /24, доступ по VPN. Частина клієнтів використовує Cloudflare, частина працює безпосередньо. На рівні хостингу є вимоги до ізоляції клієнтів та передбачуваної продуктивності.

Що потрібно зробити - спроектувати та впровадити цільову конфігурацію та виконати міграцію без втрати даних.
- Підготувати план оновлення PVE 7.x -> 8.x з перевіркою сумісності, порядку дій та відкату
- Розгорнути Ceph (min 3 MON, MGR, OSD на NVMe, окремі мережі public/cluster), налаштувати CRUSH та failure domains з урахуванням топології
- Налаштувати Proxmox HA для критичних VM, коректні fencing-механізми, політики restart та міграції
- Перевести існуючі VM/CT на Ceph з мінімальним простоєм, включаючи гарячі міграції там, де можливо, і вікно простою для решти
- Упорядкувати бекапи - Proxmox Backup Server або альтернативний варіант з інкрементальними бекапами, що перевіряються, ретеншеном і регулярними тестовими відновленням
- Усунути причини поточних просадок - аналіз I/O, latency, налаштування кешів, черг дисків, параметрів Ceph, лімітів VM/CT, виявлення вузьких місць мережі 10GbE
- Налаштувати моніторинг та алерти - Prometheus/Grafana або еквівалент, метрики Proxmox/Ceph/SMART/мережі, оповіщення в Telegram/Email
- Підготувати документацію з експлуатації - схема мережі, ролі вузлів, порядок додавання OSD/вузлів, план DR та чек-листи.

Обмеження - сумарний простий для більшості клієнтів не більше ніж 30 хвилин у нічне вікно, для VIP 3 проектів не більше 5 хвилин. Не можна змінювати публічні IP у 20 VM (жорстка прив'язка у клієнтів). Не можна вимикати весь кластер одночасно. Доступ до заліза лише віддалено через IPMI та VPN.

Результат - працюючий кластер Proxmox VE 8.x з Ceph, HA і бекапами, що перевіряються, плюс зрозуміла документація.

Критерії приймання - 1) відмова одного вузла не призводить до зупинки VIP VM більш ніж на 2 хвилини, підтверджується тестом вимикання вузла через IPMI 2) Ceph в стані HEALTH_OK при штатному навантаженні, немає stuck PG, налаштовані попередження по заповненню та latency 3) для 10 обраних VM перевіркою цілісності даних 4) середня затримка дискової підсистеми для VM під тестовим навантаженням fio не перевищує 3-5 мс на 4k random read при цільовому профілі, результати прикладені 5) вся конфігурація зафіксована у вигляді покрокової документації та параметрів (версії, мережеві)