Auteur Sujet: Nouveau serveur dopé aux hormones "UP-BM2-XL" (Lu 7346 fois)

Douks · « **Réponse #24 le:** 23 novembre 2020 à 21:54:19 »

Pour les logiciels concernés, Arnaud donne quelques détails dans son tweet : "Les environnements ERP comme SAP ou Microsoft dynamics, cluster VMware ultra densifié, les database in-memory comme oracle ou le big data comme Hadoop.[...]".

martel · « **Réponse #25 le:** 23 novembre 2020 à 23:06:11 »

J'avais compris au début 35k€ / heure et en lisant le topic je vois 36€ de l'heure

T'imagine si elle avait autant de CG, tu pourrais miner un BTC en une heure

e-TE · « **Réponse #26 le:** 24 novembre 2020 à 08:53:20 »

Citation de: underground78 le 23 novembre 2020 à 16:10:00

J'ai jamais testé cette machine mais je connais très bien le monde des supercalculateurs et il n'y a pas si longtemps les performances sur les machines de ce type n'était pas vraiment meilleur qu'avec un réseau d'interconnexion type Infiniband ou OmniPath.

y'a des trucs sympa mais super spécifique qui prouve que tu peux faire mieux en collant les cpu ensemble : https://www.extremetech.com/extreme/296906-cerebras-systems-unveils-1-2-trillion-transistor-wafer-scale-processor-for-ai mais la c'est un peu extrême

underground78 · « **Réponse #27 le:** 24 novembre 2020 à 09:26:45 »

Comme tu dis c'est pour un usage super spécifique. Je serais d'ailleurs curieux de voir la perf par rapport à une carte GPU récente destinée au calcul.

e-TE · « **Réponse #28 le:** 24 novembre 2020 à 09:41:06 »

ah mince je n'avais pas mis l'article que j'avais en tete, ils en ont fait une démo y'a une semaine lors d'une conférence sur le HPC, ca reste flou comme chiffre, mais ca permet de se donner une idée :

Citer

e système CS-1 utilise donc un puce de la taille d’un wafer WSE comprenant 1,2 trillion (1200 milliards) de transistors. Pour comparaison, la GPU la plus performante annoncée hier par Nvidia, A100 80 Go, en compte 54 milliards.

200 fois plus rapide qu’un supercalculateur
Le système CS-1 a été confronté au supercalculateur Joule, 82ème dans le Top500. Il affiche 84 000 cœurs de CPU répartis sur des dizaines de racks, a coûté des dizaines de millions de dollars et consomme 450 kilowatts d'énergie. Dans la démonstration, le supercalculateur Joule a utilisé 16 384 cœurs, et le module équipé de la puce Cerebras était 200 fois plus rapide, selon le directeur du NETL Brian Anderson. Les charges de travail concernaient la modélisation de la dynamique des fluides.

https://www.lemondeinformatique.fr/actualites/lire-cerebras-demontre-la-puissance-de-sa-puce-cs-1-81072.html

mais ils ne le comparent pas a un calculateur avec carte graphique... ni ne donnent d'infos sur la consommation du CS-1...

enfin voila, juste pour dire que pour certains cas particulier, le full cpu n'a pas dit son dernier mot

Leon · « **Réponse #29 le:** 24 novembre 2020 à 12:12:43 »

Pour en revenir au sujet :

Citation de: underground78 le 23 novembre 2020 à 16:10:00

J'ai jamais testé cette machine mais je connais très bien le monde des supercalculateurs et il n'y a pas si longtemps les performances sur les machines de ce type n'était pas vraiment meilleur qu'avec un réseau d'interconnexion type Infiniband ou OmniPath.

Une autre hypothèse: Et si tout simplement une machine à 8 gros processeurs était moins chère que 8 machines mono processeur (ou 4 machines bi processeur) et les cartes/switches Infiniband nécessaires pour raccorder tout ça ? Bien entendu pour des applications qui nécessitent énormément de collaboration entre processeurs...

Je n'ai aucune notion de prix d'une install type Infiniband pour des débits équivalents (100 ou 200Gb/s full duplex entre 2 processeurs).

Et pour les systèmes plus gros, type super-calculateur, on est déjà obligé de se payer une grosse fabric Infiniband ou équivalent, donc la question se pose peut-être moins que sur des systèmes à "seulement" 4 ou 8 processeurs.

Leon.

underground78 · « **Réponse #30 le:** 24 novembre 2020 à 12:18:37 »

Après je ne connais pas trop les applications visées mais il est possible que le fait d'avoir une grosse machine multi-processeurs comme celle là évite d'avoir à passer par la couche TCP/IP.

Lorsqu'on fait du calcul haute performance, les communications sont faites avec des protocoles plus efficaces mais je ne suis pas sûr du tout que ça soit le cas sur les applications dont on parle ici et qui font peut-être "juste" du TCP/IP over Infiniband.

kgersen · « **Réponse #31 le:** 24 novembre 2020 à 12:37:43 »

C'est principalement fait pour des applications 'existantes' qui ne scalent pas horizontalement donc qui ne peuvent justement être réparties sur plusieurs machines via un réseau local ou un cluster sur infiniband ou autre scaling horizontal (le point clé la c'est "existantes").

Et ce ne sont pas applications pour supercalculateur non plus.

Si on peut changer le code ou si on crée un nouveau logiciel sauf cas très particulier il vaut mieux effectivement faire un code qui scale horizontalement.

buddy · « **Réponse #32 le:** 29 novembre 2020 à 23:16:10 »

Citation de: Leon le 24 novembre 2020 à 12:12:43

Je n'ai aucune notion de prix d'une install type Infiniband pour des débits équivalents (100 ou 200Gb/s full duplex entre 2 processeurs).

Il y a eu récemment des devis demandés.
Pour un InfiniBand permettant de relier 32 ou 34 lames de 64 coeurs, on est sur du 100-125 k€. (c'est le prix qui ressort en moyenne sur les devis demandés cet été. C'est uniquement le prix de l'Infiniband Switch + Câbles + Carte sur les lames. ). Le prix des lames (hors carte réseau) est à ajouter.

Leon · « **Réponse #33 le:** 30 novembre 2020 à 07:05:14 »

Citation de: buddy le 29 novembre 2020 à 23:16:10

Il y a eu récemment des devis demandés.
Pour un InfiniBand permettant de relier 32 ou 34 lames de 64 coeurs, on est sur du 100-125 k€. (c'est le prix qui ressort en moyenne sur les devis demandés cet été. C'est uniquement le prix de l'Infiniband Switch + Câbles + Carte sur les lames. ). Le prix des lames (hors carte réseau) est à ajouter.

C'était pour quel débit infiniband c'était ce devis? 100Gb/s par lame? 200Gb/s?

Leon.

buddy · « **Réponse #34 le:** 30 novembre 2020 à 11:26:00 »

Ce n'est pas moi directement qui m'en occupe et la personne est actuellement au travail partiel.. Mais c'est de tête 200 gbit/s full duplex par lame + installation + garantie sur site J+1 pendant 5 ans.

(je sais que ça a été prévu pour être évolutif-ajout de lames dans 1 ou 2 an- mais je n'ai pas le détail de la taille du réseau infiniband)

vivien · « **Réponse #35 le:** 10 décembre 2020 à 17:25:00 »

Le nouveau serveur utilisé par Let's Encrypt pour sa base de donnée MariaDB est pas mal avec 2 To de RAM et 154 To de SSD NVMe :

Dell’s PowerEdge R7525 (au format rack 2U)
- CPU : 2x AMD EPYC 7542 (TDP de 225 Watts 32 cœurs / 64 threads chacun) Total pour le serveur de 64 cœurs / 128 threads et 450 Watts de TDP pour les deux CPU.
- RAM : 32 x 64 Go 3200 MT/s. Total de 2048 Go de RAM.
- SSD : 24x 6.4To Intel P4610 NVMe SSD 3200/3200 MB/s read/write

Source:
- https://letsencrypt.org/2021/01/21/next-gen-database-servers.html
- https://abetterinternet.org/documents/2020-ISRG-Annual-Report.pdf#page=20

C'est typiquement ces usages qui vise Scaleway.

Photo du serveur Dell PowerEdge R7525 de Let's Encrypt.
- Les deux rectangles argentés au milieu sont les processeurs AMD EPYC 7542.
- Les barrettes de RAM, chacune de 64 Go, sont au-dessus et en dessous des processeurs (total de 2 To).
- Les 24x SSD NVMe se trouvent à l'avant du serveur, à l'extrême gauche.

Cliquer sur la photo pour zoomer :