La Fibre
Datacenter et équipements réseaux => Datacenter => 
Datacenter => Discussion démarrée par: Karl le 12 avril 2019 à 22:55:18
-
Salut!
Ayant construit notre propre DC à Montréal, on nous pose de temps à autre des questions plus techniques, donc pourquoi pas rassembler tout ça dans un post et en faire profiter d'autres :)
Longue histoire courte, notre boîte s'est lancée il y a pratiquement 2 ans aujourd'hui. Au tout début on offrait des VPS pour du jeu (ce qu'on décommissionne peu à peu), avec un focus sur les serveurs dédiés aujourd'hui. Bref, le focus n'est pas sur ce qu'on a vendu dans le passé, ni sur ce qu'on vends aujourd'hui, mais sur le DC.
Intro sur Montréal:
Montréal (Québec, Canada) est une des meilleurs villes au monde pour des DC. Alors que la connectivité coûte encore cher, et c'est récent qu'on voit des Tier 1 apporter du 100G (principalement grâce à AWS et GCP qui s'installent à MTL), la ville possède d'excellents critères pour un DC.
- 0.08$ CAD/Kwh pour les consommateurs
- 0.03$ CAD/Kwh pour les grands consommateurs (+5MW)
- Température moyenne faible (idéal pour le free cooling)
- Apport électrique propre à 99% (Hydro électricité)
- Faible latence vers les US
Il est donc possible de monter des centre de données avec des coûts d'opération très faibles.
Il était donc un débat à savoir si on voulais implèmenter notre DC en colocation (housing), ou construire le notre. Considérant qu'il est possible d'avoir de la colo à 250$ CAD/KW/mois @ 2N , la colocation est très intéressante. Cependant, des circonstances particulières ont fait en sorte qu'il a été possible de bâtir par nous même, une expérience qu'on voulais acquérir, et qui a fini par payer.
Le DC en stats clées:
- Dans un quartier industriel à Montréal
- 50KW disponible sur l'entrée électrique
- 22KW @ N+1 déployés dans un premier temps
- Cooling 2N
- Réseau indépendant (AS31846)
- 3 providers présents dans la salle de telco commune (1 seule FO utilisée sur les 12 qui rentrent dans la bâtisse, avant notre arrivée)
- Coût total de la construction: +/- 100 000$ CAD
La construction a commencé vers Avril 2018, avec la salle terminée en Août.
La redondance électrique et de climatisation fut implèmentée en Décembre, avant le début de la production officielle.
Dans un premier lieu, nous nous sommes équipés de serveurs en "broke" (principalement du Dell Gen 11). Pour l'utilisation qu'on en faisait, le coût réduit des serveurs nous a permit de mettre la main sur du matériel minimalement fiable. Ces serveurs étant aujourd'hui rentabilisés, nous les remplaçons peu à peu pour du Gen 12.
Comme pour beaucoup de projets, le tout a prit plus de temps que prévu, mais a été un énorme apprentissage.
Le plus simple pour la suite des choses est probablement de mettre quelques photos clés et de les expliquer:
Déménagements des premiers racks. Quelques semaines après nous les avons vendues pour acheter des racks APC
(https://i.imgur.com/SLctWQm.jpg)
Achat des premiers racks APC
(https://i.imgur.com/1o1sWgB.jpg)
Premiers serveurs rackés (on décomissionne aujourd'hui justement ces serveurs)
(https://i.imgur.com/jrfnszw.jpg)
Période de tests / beta avec les serveurs en question
(https://i.imgur.com/esVz8KY.jpg)
Installation de la première FO (1 FO à la salle de telco, et une FO 12 de la salle de telco au DC)
(https://i.imgur.com/uyRS9J7.jpg)
[imghttps://i.imgur.com/srIJi1p.jpg[/img]http://Le premier routeur (Dell R310). PfSense a fait le travail pour débuter, mais les soucis se sont accumulés, et on a vite réalisé que ça ne serait pas viable pour le futur. Heureux d'avoir fait une longue période de beta pour justement découvrir ce genre de problèmes.
À ce moment, nous étions forcés d'utiliser un équipement actif du FAI (oui, les FAI ici n'aiment pas avoir la FO qui termine directement dans l'équipement client, mais vu la faible fiabilité du produit, on a éventuellement "reverse engineer" la config réseau de l'équipement, pour mettre la FO directement dans un SFP.
(https://i.imgur.com/f2if1Id.jpg)
-
Suite:
Arrivée de notre première switch potable, une Cisco 4948E. Rien d'étonnant, mais beaucoup mieux que les Catalyst 2960G. (2x PSU, moins de limitations sur les LACP, plus de mémoire etc.)
(https://i.imgur.com/lG5gzn5.jpg)
Cable management d'un des racks.
(https://i.imgur.com/ARt8pN8.jpg)
(https://i.imgur.com/k2VLwYV.jpg)
Quelques stocks de RAM pour les dédiés
(https://i.imgur.com/Zejc7FE.jpg)
Upgrade à des liens 10G entre les switchs
(https://i.imgur.com/WYcpnzU.jpg)
Photos plus sympas pour le nouveau site web / vidéo promo
(https://i.imgur.com/NpGSAUl.jpg)
(https://i.imgur.com/QlkDyPR.jpg)
Arrivée de l'UPS APC MGE
(https://i.imgur.com/UvP8TOG.jpg)
Arrivée de la génératrice (Honeywell, moteur Generac)
Étant au gaz naturel, le DC est autonome indéfiniment, dans qu'il y a un apport de gaz. Il était malheureusement impossible de stocker du gaz et / ou diesel facilement. D'autre part, le gaz naturel pollue moins.
(https://i.imgur.com/4wfBoVa.jpg)
Je n'ai malheureusement pas énormèment de photos de l'installation électrique finale, mais pour résumer:
- On reçoit le power sur une entrée commune 600v / 60A, 3 phases. Ensuite, simple setup Transfo->Panneau->ATS->Panneau->UPS->Panneau->PDU
Dans la photo ici, l'ATS:
(https://i.imgur.com/8p86kqV.jpg)
Quelques dédiés
(https://i.imgur.com/hytrB35.jpg)
C'est plus beau avec la façade :D
(https://i.imgur.com/X5uue20.jpg)
Installation d'un SAN
(https://i.imgur.com/NqPieo1.jpg)
Réception d'un R720, dans le but de remplacer le matos Gen 11
(https://i.imgur.com/jyyle6D.jpg)
Réception de + de blades pour le M1000e. Les blades sont très bien pour la majorité de la demande. Faible consommation, compact. Certes peu de stockage, mais une fois en 2x 6c/12t sa remplit la majorité des besoins.
(https://i.imgur.com/01JAqZb.jpg)
Installation d'un nouveau routeur
(https://i.imgur.com/G0CcDnk.jpg)
Je ne semble pas avoir de photos de la clim sous la main, mais essentiellement on est sur des groupe Carrier. L'hiver on chauffe une entrepôt voisin avec la chaleur du DC, question de récupérer l'énergie, autrement l'été la chaleur est évacuée normalement. Il aurait été intéressant de faire du Free cooling vu le climat du Québec, mais le coût excédentaire n'aurait pas été rentabilisé avant un bon moment considérant la faible consommation du DC. Au final, on arrive à un PUE de +/-1.5. On pense être capable de baisser le PUE à 1.35 lorsque le DC consommera plus. (des compresseurs qui font start/stop/start/stop, c'est peu efficace)
Voilà! Je pense que ça fait un bon résumé de l'infra. Alors qu'il est difficile de faire tout parfaitement, tant qu'à moi, je crois que nous avons réussi quelque chose de potable. Malgré de nombreuses pannes électriques cette hiver, dans les grands froids, (-20,-30C), on possède encore nos 100 quelques jours d'uptime depuis l'installation de la redondance électrique.
Il sera éventuellement possible de mettre à niveau le DC, mais c'est toujours une question de besoin. On ne sert pas des clients ayant besoin de Tier 4 et de SLA 100%. Malgré que ce n'est pas une raison pour ne pas bien faire les choses, il faut tout de même ajuster l'infra au besoin.
-
"câble optique".... On va perdre alain_p ;D ;D
Merci pour ce partage de votre belle contrée ;)
-
Photos plus sympas pour le nouveau site web / vidéo promo
La vidéo en question: https://www.youtube.com/watch?v=POpg6XDUGcQ (https://www.youtube.com/watch?v=POpg6XDUGcQ)
Elle montre quelques détails de plus
-
"câble optique".... On va perdre alain_p ;D ;D
Merci pour ce partage de votre belle contrée ;)
Oui ahha, techniquement c'est un cable car il transporte plusieurs fibres x)
-
merci pour ce partage d'expérience ! :)
-
"câble optique".... On va perdre alain_p ;D ;D
Merci pour ce partage de votre belle contrée ;)
Après un câble DAC coaxial, c'est très bien aussi et pas cher ;)
-
merci pour ce partage d'expérience ! :)
Merci aussi pour ce retour sympa. 100.000 $ CA, c'est combien, 60.000 € ? Je suis surpris d'un coût aussi bas.
-
Merci aussi pour ce retour sympa. 100.000 $ CA, c'est combien, 60.000 € ? Je suis surpris d'un coût aussi bas.
Enivron oui
Il ya 2 choses à considérer:
- On ne peut pas simplement convertir chiffre pour chiffre. Pour être allé en Belgique/France récemment, pour tout ce qui est équipement électrique/IT, les prix sont très différents
- Typiquement dans un projet, ce qui gonfle énormèment les coûts est la main d'oeuvre des fournisseurs. Tout au long du projet, on a personnellement collaboré aux travaux. C'étais spécial de voir des gens d'IT avec les outils à la main ^^
Après, ce 100 000$, on l'a bien dépassé depuis. Ça comporte: la construction de base (rénovation de l'espace), installation électrique, la climatisation et les racks. Tout les nouveaux serveurs depuis, n'y sont pas comptés, ni les frais d'opération.
-
Oui, il faut croire que les coûts sont différents entre la France et le Canada. J'aurais estimé que le coût du bâtiment (quelle surface ?), la clim, l'électricité, le réseau..., cela dépassait largement les 100.000 €, même sans main d'oeuvre.
Sinon, c'est dans quel cadre que vous avez monté cela ? Une association ?
-
Oui, il faut croire que les coûts sont différents entre la France et le Canada. J'aurais estimé que le coût du bâtiment (quelle surface ?), la clim, l'électricité, le réseau..., cela dépassait largement les 100.000 €, même sans main d'oeuvre.
Sinon, c'est dans quel cadre que vous avez monté cela ? Une association ?
On loue bien sur l'espace, à avoir acheté la même surface, les coûts auraient étés bien plus élevés
Les équipements électriques sont de loin les plus chers, surtout car on est allé vers du neuf à 100% pour ceux-cis
Pour les serveurs, clim et racks, on a pu économiser sur du broke/refurb/overstock
C'étais dans le cadre de notre entreprise, MicroSerum Inc. Une société, et non une association / OBNL.
On en avait marre de OVH, je pourrais passer des semaines à raconter des histoires d'horreur avec eux. On a pu migrer toute l'infra qu'on avait chez OVH BHS au DC.
-
Après un câble DAC coaxial, c'est très bien aussi et pas cher ;)
Un DAC est tout sauf coaxial :)
EDIT : En fait si
-
Un DAC est tout sauf coaxial :)
Ça y ressemble quand même. Il y a juste 2 fils au lieu d'un
-
Un DAC passif c'est une dizaine de fils il me semble...
-
Un DAC est tout sauf coaxial :)
Direct attach cable is a type of copper cable similar to coaxial cable, but it has SFP+, QSFP+ or QSFP28 plus at each end integrated.
http://www.fiber-optic-components.com/advantages-and-disadvantages-of-direct-attach-twinax-cable.html
Bon après, je ne suis pas allé voir comment c'était fait à l'intérieur.
-
J'en démonterais un pour voir, mais pour moi c'est une dizaine de fils.
-
Passive DACs
DACs are the most basic form of direct attach cabling. DACs are constructed using shielded twin-axial copper cable in varying gauges from 24 to 30AWG
https://blog.cablestogo.com/4-advantages-of-direct-attach-cabling-dac/
Bon maintenant si tu peux faire l'expérience...
-
Un DAC passif c'est une dizaine de fils il me semble...
On dirait bien qu'il n'y a que 2 fils : https://www.youtube.com/watch?v=ltZ53sG6VDA
(Même si on voit 2 paires, il me semble que les deux fils d'une paire sont soudés ensemble)
-
Roh merde, j'ai plein de coaxial sur mon réseau du coup...
Bon allez grand plan de migration, je ferais bruler les derniers DAC avec une photo de Patrick Drahi...
-
Oui, dans les SFP-Direct Attach, c'est du câble twinax qui est utilisé
https://fr.wikipedia.org/wiki/C%C3%A2ble_Twinax
Leon.
-
Roh merde, j'ai plein de coaxial sur mon réseau du coup...
Bon allez grand plan de migration, je ferais bruler les derniers DAC avec une photo de Patrick Drahi...
:D
Bon, il me semblait bien que les câble DAC étaient faits en coaxial car mieux protégés et avec une meilleure bande passante que des simples fils de cuivre.
-
Roh merde, j'ai plein de coaxial sur mon réseau du coup...
Bon allez grand plan de migration, je ferais bruler les derniers DAC avec une photo de Patrick Drahi...
C'est nécessaire, car plus le droit de parler de fibre !
-
Un post ultra instructif, merci beaucoup pour le partage! :D
-
Il semblerait que l'aventure ait été de courte durée...la société a été radiée hier.
Dommage ! J'aurais bien aimé avoir un DC indépendant à MTL.
-
La prochaine idée : la sous-location de matos de chez Hetzner.
Que de souvenirs :D