Salut!
Ayant construit notre propre DC à Montréal, on nous pose de temps à autre des questions plus techniques, donc pourquoi pas rassembler tout ça dans un post et en faire profiter d'autres
Longue histoire courte, notre boîte s'est lancée il y a pratiquement 2 ans aujourd'hui. Au tout début on offrait des VPS pour du jeu (ce qu'on décommissionne peu à peu), avec un focus sur les serveurs dédiés aujourd'hui. Bref, le focus n'est pas sur ce qu'on a vendu dans le passé, ni sur ce qu'on vends aujourd'hui, mais sur le DC.
Intro sur Montréal:Montréal (Québec, Canada) est une des meilleurs villes au monde pour des DC. Alors que la connectivité coûte encore cher, et c'est récent qu'on voit des Tier 1 apporter du 100G (principalement grâce à AWS et GCP qui s'installent à MTL), la ville possède d'excellents critères pour un DC.
- 0.08$ CAD/Kwh pour les consommateurs
- 0.03$ CAD/Kwh pour les grands consommateurs (+5MW)
- Température moyenne faible (idéal pour le free cooling)
- Apport électrique propre à 99% (Hydro électricité)
- Faible latence vers les US
Il est donc possible de monter des centre de données avec des coûts d'opération très faibles.
Il était donc un débat à savoir si on voulais implèmenter notre DC en colocation (housing), ou construire le notre. Considérant qu'il est possible d'avoir de la colo à 250$ CAD/KW/mois @ 2N , la colocation est très intéressante. Cependant, des circonstances particulières ont fait en sorte qu'il a été possible de bâtir par nous même, une expérience qu'on voulais acquérir, et qui a fini par payer.
Le DC en stats clées:- Dans un quartier industriel à Montréal
- 50KW disponible sur l'entrée électrique
- 22KW @ N+1 déployés dans un premier temps
- Cooling 2N
- Réseau indépendant (AS31846)
- 3 providers présents dans la salle de telco commune (1 seule FO utilisée sur les 12 qui rentrent dans la bâtisse, avant notre arrivée)
- Coût total de la construction: +/- 100 000$ CAD
La construction a commencé vers Avril 2018, avec la salle terminée en Août.
La redondance électrique et de climatisation fut implèmentée en Décembre, avant le début de la production officielle.
Dans un premier lieu, nous nous sommes équipés de serveurs en "broke" (principalement du Dell Gen 11). Pour l'utilisation qu'on en faisait, le coût réduit des serveurs nous a permit de mettre la main sur du matériel minimalement fiable. Ces serveurs étant aujourd'hui rentabilisés, nous les remplaçons peu à peu pour du Gen 12.
Comme pour beaucoup de projets, le tout a prit plus de temps que prévu, mais a été un énorme apprentissage.
Le plus simple pour la suite des choses est probablement de mettre quelques photos clés et de les expliquer:Déménagements des premiers racks. Quelques semaines après nous les avons vendues pour acheter des racks APC
Achat des premiers racks APC
Premiers serveurs rackés (on décomissionne aujourd'hui justement ces serveurs)
Période de tests / beta avec les serveurs en question
Installation de la première FO (1 FO à la salle de telco, et une FO 12 de la salle de telco au DC)
[imghttps://i.imgur.com/srIJi1p.jpg[/img]http://Le premier routeur (Dell R310). PfSense a fait le travail pour débuter, mais les soucis se sont accumulés, et on a vite réalisé que ça ne serait pas viable pour le futur. Heureux d'avoir fait une longue période de beta pour justement découvrir ce genre de problèmes.
À ce moment, nous étions forcés d'utiliser un équipement actif du FAI (oui, les FAI ici n'aiment pas avoir la FO qui termine directement dans l'équipement client, mais vu la faible fiabilité du produit, on a éventuellement "reverse engineer" la config réseau de l'équipement, pour mettre la FO directement dans un SFP.
Datacenter