Auteur Sujet: Bâtir son propre data center  (Lu 11564 fois)

0 Membres et 1 Invité sur ce sujet

Karl

  • Abonné FAI autre
  • *
  • Messages: 6
  • Montréal
    • MicroSerum
Bâtir son propre data center
« le: 12 avril 2019 à 22:55:18 »
Salut!

Ayant construit notre propre DC à Montréal, on nous pose de temps à autre des questions plus techniques, donc pourquoi pas rassembler tout ça dans un post et en faire profiter d'autres :)

Longue histoire courte, notre boîte s'est lancée il y a pratiquement 2 ans aujourd'hui. Au tout début on offrait des VPS pour du jeu (ce qu'on décommissionne peu à peu), avec un focus sur les serveurs dédiés aujourd'hui. Bref, le focus n'est pas sur ce qu'on a vendu dans le passé, ni sur ce qu'on vends aujourd'hui, mais sur le DC.

Intro sur Montréal:

Montréal (Québec, Canada) est une des meilleurs villes au monde pour des DC. Alors que la connectivité coûte encore cher, et c'est récent qu'on voit des Tier 1 apporter du 100G (principalement grâce à AWS et GCP qui s'installent à MTL), la ville possède d'excellents critères pour un DC.

- 0.08$ CAD/Kwh pour les consommateurs
- 0.03$ CAD/Kwh pour les grands consommateurs (+5MW)
- Température moyenne faible (idéal pour le free cooling)
- Apport électrique propre à 99% (Hydro électricité)
- Faible latence vers les US

Il est donc possible de monter des centre de données avec des coûts d'opération très faibles.

Il était donc un débat à savoir si on voulais implèmenter notre DC en colocation (housing), ou construire le notre. Considérant qu'il est possible d'avoir de la colo à 250$ CAD/KW/mois @  2N , la colocation est très intéressante. Cependant, des circonstances particulières ont fait en sorte qu'il a été possible de bâtir par nous même, une expérience qu'on voulais acquérir, et qui a fini par payer.

Le DC en stats clées:

- Dans un quartier industriel à Montréal
- 50KW disponible sur l'entrée électrique
- 22KW @ N+1 déployés dans un premier temps
- Cooling 2N
- Réseau indépendant (AS31846)
- 3 providers présents dans la salle de telco commune (1 seule FO utilisée sur les 12 qui rentrent dans la bâtisse, avant notre arrivée)
- Coût total de la construction: +/- 100 000$ CAD

La construction a commencé vers Avril 2018, avec la salle terminée en Août.

La redondance électrique et de climatisation fut implèmentée en Décembre, avant le début de la production officielle.

Dans un premier lieu, nous nous sommes équipés de serveurs en "broke" (principalement du Dell Gen 11).  Pour l'utilisation qu'on en faisait, le coût réduit des serveurs nous a permit de mettre la main sur du matériel minimalement fiable. Ces serveurs étant aujourd'hui rentabilisés, nous les remplaçons peu à peu pour du Gen 12.


Comme pour beaucoup de projets, le tout a prit plus de temps que prévu, mais a été un énorme apprentissage.


Le plus simple pour la suite des choses est probablement de mettre quelques photos clés et de les expliquer:

Déménagements des premiers racks. Quelques semaines après nous les avons vendues pour acheter des racks APC







Achat des premiers racks APC



Premiers serveurs rackés (on décomissionne aujourd'hui justement ces serveurs)




Période de tests / beta avec les serveurs en question



Installation de la première FO (1 FO à la salle de telco, et une FO 12 de la salle de telco au DC)



[imghttps://i.imgur.com/srIJi1p.jpg[/img]http://Le premier routeur (Dell R310). PfSense a fait le travail pour débuter, mais les soucis se sont accumulés, et on a vite réalisé que ça ne serait pas viable pour le futur. Heureux d'avoir fait une longue période de beta pour justement découvrir ce genre de problèmes.

À ce moment, nous étions forcés d'utiliser un équipement actif du FAI (oui, les FAI ici n'aiment pas avoir la FO qui termine directement dans l'équipement client, mais vu la faible fiabilité du produit, on a éventuellement "reverse engineer" la config réseau de l'équipement, pour mettre la FO directement dans un SFP.





« Modifié: 14 avril 2019 à 05:10:08 par Karl »

Karl

  • Abonné FAI autre
  • *
  • Messages: 6
  • Montréal
    • MicroSerum
Bâtir son propre data center
« Réponse #1 le: 12 avril 2019 à 22:55:36 »
Suite:

Arrivée de notre première switch potable, une Cisco 4948E. Rien d'étonnant, mais beaucoup mieux que les Catalyst 2960G. (2x PSU, moins de limitations sur les LACP, plus de mémoire etc.)



Cable management d'un des racks.






Quelques stocks de RAM pour les dédiés



Upgrade à des liens 10G entre les switchs




Photos plus sympas pour le nouveau site web / vidéo promo





Arrivée de l'UPS APC MGE



Arrivée de la génératrice (Honeywell, moteur Generac)

Étant au gaz naturel, le DC est autonome indéfiniment, dans qu'il y a un apport de gaz. Il était malheureusement impossible de stocker du gaz et / ou diesel facilement.  D'autre part, le gaz naturel pollue moins.



Je n'ai malheureusement pas énormèment de photos de l'installation électrique finale, mais pour résumer:
- On reçoit le power sur une entrée commune 600v / 60A, 3 phases. Ensuite, simple setup Transfo->Panneau->ATS->Panneau->UPS->Panneau->PDU

Dans la photo ici, l'ATS:





Quelques dédiés




C'est plus beau avec la façade :D



Installation d'un SAN



Réception d'un R720, dans le but de remplacer le matos Gen 11



Réception de + de blades pour le M1000e. Les blades sont très bien pour la majorité de la demande. Faible consommation, compact. Certes peu de stockage, mais une fois en 2x 6c/12t sa remplit la majorité des besoins.



Installation d'un nouveau routeur



Je ne semble pas avoir de photos de la clim sous la main, mais essentiellement on est sur des groupe Carrier. L'hiver on chauffe une entrepôt voisin avec la chaleur du DC, question de récupérer l'énergie, autrement l'été la chaleur est évacuée normalement. Il aurait été intéressant de faire du Free cooling vu le climat du Québec, mais le coût excédentaire n'aurait pas été rentabilisé avant un bon moment considérant la faible consommation du DC.  Au final, on arrive à un PUE de +/-1.5. On pense être capable de baisser le PUE à 1.35 lorsque le DC consommera plus. (des compresseurs qui font start/stop/start/stop, c'est peu efficace)


Voilà! Je pense que ça fait un bon résumé de l'infra. Alors qu'il est difficile de faire tout parfaitement, tant qu'à moi, je crois que nous avons réussi quelque chose de potable. Malgré de nombreuses pannes électriques cette hiver, dans les grands froids, (-20,-30C), on possède encore nos 100 quelques jours d'uptime depuis l'installation de la redondance électrique.

Il sera éventuellement possible de mettre à niveau le DC, mais c'est toujours une question de besoin. On ne sert pas des clients ayant besoin de Tier 4 et de SLA 100%. Malgré que ce n'est pas une raison pour ne pas bien faire les choses, il faut tout de même ajuster l'infra au besoin.
« Modifié: 13 avril 2019 à 00:18:32 par Karl »

K-L

  • Abonné SFR THD (câble)
  • *
  • Messages: 4 651
  • HFC 100 Mbs / FTTH 1Gbs sur Oullins (69)
    • Cable Rhone
Bâtir son propre data center
« Réponse #2 le: 12 avril 2019 à 23:03:43 »
"câble optique".... On va perdre alain_p ;D ;D

Merci pour ce partage de votre belle contrée ;)

Karl

  • Abonné FAI autre
  • *
  • Messages: 6
  • Montréal
    • MicroSerum
Bâtir son propre data center
« Réponse #3 le: 13 avril 2019 à 00:22:50 »




Photos plus sympas pour le nouveau site web / vidéo promo



La vidéo en question:

Elle montre quelques détails de plus

Karl

  • Abonné FAI autre
  • *
  • Messages: 6
  • Montréal
    • MicroSerum
Bâtir son propre data center
« Réponse #4 le: 13 avril 2019 à 01:43:18 »
"câble optique".... On va perdre alain_p ;D ;D

Merci pour ce partage de votre belle contrée ;)

Oui ahha, techniquement c'est un cable car il transporte plusieurs fibres x)

e-TE

  • Abonné Free fibre
  • *
  • Messages: 1 145
  • Déville-les-Rouen (76)
Bâtir son propre data center
« Réponse #5 le: 15 avril 2019 à 16:57:46 »
merci pour ce partage d'expérience ! :)

alain_p

  • Abonné Free fibre
  • *
  • Messages: 16 170
  • Delta S 10G-EPON sur Les Ulis (91)
Bâtir son propre data center
« Réponse #6 le: 15 avril 2019 à 18:00:53 »
"câble optique".... On va perdre alain_p ;D ;D

Merci pour ce partage de votre belle contrée ;)

Après un câble DAC coaxial, c'est très bien aussi et pas cher ;)

alain_p

  • Abonné Free fibre
  • *
  • Messages: 16 170
  • Delta S 10G-EPON sur Les Ulis (91)
Bâtir son propre data center
« Réponse #7 le: 15 avril 2019 à 18:05:00 »
merci pour ce partage d'expérience ! :)

Merci aussi pour ce retour sympa. 100.000 $ CA, c'est combien, 60.000 € ? Je suis surpris d'un coût aussi bas.

Karl

  • Abonné FAI autre
  • *
  • Messages: 6
  • Montréal
    • MicroSerum
Bâtir son propre data center
« Réponse #8 le: 15 avril 2019 à 18:24:29 »
Merci aussi pour ce retour sympa. 100.000 $ CA, c'est combien, 60.000 € ? Je suis surpris d'un coût aussi bas.

Enivron oui

Il ya 2 choses à considérer:
- On ne peut pas simplement convertir chiffre pour chiffre. Pour être allé en Belgique/France récemment, pour tout ce qui est équipement électrique/IT, les prix sont très différents
- Typiquement dans un projet, ce qui gonfle énormèment les coûts est la main d'oeuvre des fournisseurs. Tout au long du projet, on a personnellement collaboré aux travaux. C'étais spécial de voir des gens d'IT avec les outils à la main ^^

Après, ce 100 000$, on l'a bien dépassé depuis. Ça comporte: la construction de base (rénovation de l'espace), installation électrique, la climatisation et les racks. Tout les nouveaux serveurs depuis, n'y sont pas comptés, ni les frais d'opération.

alain_p

  • Abonné Free fibre
  • *
  • Messages: 16 170
  • Delta S 10G-EPON sur Les Ulis (91)
Bâtir son propre data center
« Réponse #9 le: 15 avril 2019 à 18:29:34 »
Oui, il faut croire que les coûts sont différents entre la France et le Canada.  J'aurais estimé que le coût du bâtiment (quelle surface ?), la clim, l'électricité, le réseau..., cela dépassait largement les 100.000 €, même sans main d'oeuvre.

Sinon, c'est dans quel cadre que vous avez monté cela ? Une association ?

Karl

  • Abonné FAI autre
  • *
  • Messages: 6
  • Montréal
    • MicroSerum
Bâtir son propre data center
« Réponse #10 le: 15 avril 2019 à 19:03:01 »
Oui, il faut croire que les coûts sont différents entre la France et le Canada.  J'aurais estimé que le coût du bâtiment (quelle surface ?), la clim, l'électricité, le réseau..., cela dépassait largement les 100.000 €, même sans main d'oeuvre.

Sinon, c'est dans quel cadre que vous avez monté cela ? Une association ?
On loue bien sur l'espace, à avoir acheté la même surface, les coûts auraient étés bien plus élevés

Les équipements électriques sont de loin les plus chers, surtout car on est allé vers du neuf à 100% pour ceux-cis

Pour les serveurs, clim et racks, on a pu économiser sur du broke/refurb/overstock

C'étais dans le cadre de notre entreprise, MicroSerum Inc. Une société, et non une association / OBNL.
On en avait marre de OVH, je pourrais passer des semaines à raconter des histoires d'horreur avec eux. On a pu migrer toute l'infra qu'on avait chez OVH BHS au DC.

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 424
  • Lyon (69) / St-Bernard (01)
    • Twitter
Bâtir son propre data center
« Réponse #11 le: 15 avril 2019 à 19:45:08 »
Après un câble DAC coaxial, c'est très bien aussi et pas cher ;)
Un DAC est tout sauf coaxial :)

EDIT : En fait si
« Modifié: 11 novembre 2019 à 11:42:25 par Hugues »