Nous avons finalisé hier soir avec Alexis le POP de DC2Scale à Vélizy.Ce POP est le premier de notre nouveau design d'infra Système. Les changements sont d'abord
Hardware :
- Passage des Hyperviseurs sur des G8 avec deux Xeon E5-2650v2, 256Go de RAM et du réseau en n*10G (pour l'instant on n'a installé qu'1x10G mais tout est prêt coté conf pour passer à 2)
- Passage du Filer d'une solution propriétaire (Thecus) à une solution libre (serveur Lenovo ex IBM avec TrueNAS, ex FreeNAS)
Coté
Système, on a fait quelques changements aussi :
- Proxmox reste, mais sur la nouvelle majeure v6
- Coté Stockage, on passe d'iSCSI sur un NAS Thecus à du NFS sur un NAS TrueNAS. Le NAS a 6 disques de 6To configurés en RAID1+ZFS
- On utilise maintenant le CloudInit intégré à Proxmox, ce qui nous fait provisionner une VM 10x plus vite qu'avant.
- Tous les CPU supportent AES, ce qui donne de très bonnes perfs sur OpenMPTCPRouter
Coté
Réseau, on a littéralement tout refait. L'archi précédente était basée sur du routage soft : Les HV étaient directement interco en BGP au coeur de réseau et géraient le routage aux VM, avec une couche de NAT pour les VM sans IPv4 Publique. Il y'avait aussi du VxLAN pour la com inter-HV
Autant le dire clairement : C'était une catastrophe. Coté perfs, tout s'est écroulé à force d'ajouter des VM, à chaque DDoS, le Conntrack des HV se remplissait et un bête Syn-Flood impactait tous les clients de l'hyperviseur. Bref, c'était pas une bonne idée, on aura au moins tenté des trucs.
Maintenant, on a tout cramé pour repartir sur des bases saines :
- Le routage est géré par un vrai routeur Hardware, un Brocade CES2024
- La partie Firewall est gérée en Stateless par Proxmox avec des simples ACL IPSET
- Le NAT est géré par une VM dédiée, uniquement pour les clients sans IPv4 publique
- Il n'y a plus de comm L2 inter-HV, tous les hôtes ont des IP en /128 ou /32 pour que tout passe par le routeur.
Et en termes de perfs, ça bombarde, on atteint la limite de routage des CCR2004 sans offload (environ 4Gbit/s)
Coté
Électricité, on a aussi fait quelques changements :
- Tout est double alimenté (mais pour le futur RB4011 il va falloir que je sois créatif, surement en utilisant le PoE passif comme d'une 2è alim)
- Nous avons investi dans des PDU Managés (APC AP7953) 32A, de quoi voir venir l'avenir
Coté
Automation/Sys :
- Tout est orchestré par Ansible+AWX et un frontend maison, on ne touche plus a la conf des HV/Routeurs, donc c'est archi fiable
Bref, c'est clairement le POP dont je suis le plus fier, on a du joli matos, un design KISS et robuste, une conso élec contenue (La baie consomme environ 700W) et une capa qui nous permettra de voir venir l'avenir sans trop d'inquiétude !
La prochaine étape est de migrer toutes les VM à Bourse sur ce POP (et dans le futur, les VM seront réparties entre D2S, CBO et HosTELyon, mais je n'ai pas encore eu le temps de m'occuper des autres POP
)
Je vous laisse sur quelques photos :
MilkyWan