La Fibre

Hébergeurs et opérateurs pro / entreprises => Hébergeurs et opérateurs pro / entreprises => Scaleway Scaleway => Discussion démarrée par: Douks le 20 novembre 2020 à 08:56:58

Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: Douks le 20 novembre 2020 à 08:56:58
La nouveauté commençait à être teasé, entre autre, par le compte Twitter de Scaleway depuis quelques jours. La bête est sortie hier et, niveau perf, ça ne fait pas dans la dentelle

(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_scaleway.png)

Une deuxième "version" de ce monstre est disponible, ayant pour seule différence un débit de 25Gbps et un prix à l'heure de 44,999€HT

Le processeur à lui seul est indiqué à un prix conseillé sur le site d'Intel (https://ark.intel.com/content/www/fr/fr/ark/products/192478/intel-xeon-platinum-8280-processor-38-5m-cache-2-70-ghz.html) à 10009$

Selon Laurent Blin et Arnaud sur Twitter, ça répond à une demande pour "Les environnements ERP comme SAP ou Microsoft dynamics, cluster VMware ultra densifié, les database in-memory comme oracle ou le big data comme Hadoop. En bref, tous les usages consommateurs en ressources qui ne scalent pas horizontalement!"
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: vivien le 20 novembre 2020 à 09:45:50
Scaleway a sélectionné le Lenovo ThinkSystem SR950 modulaire, qui est entièrement conçu pour apporter une fiabilité sans faille sur une plateforme x86. Avec plusieurs niveaux de résilience pour protéger les données, ce serveur est synonyme de fonctionnement continu pour assurer la disponibilité exceptionnelle du système et les performances continues des applications, indispensables pour les principales applications stratégiques.
Les serveurs Lenovo x86 occupent d'ailleurs la première place en termes de fiabilité pour la 7ème année consécutive selon le rapport mondial ITIC.

Avec l’offre Bare Metal Ultimate Performance (UP-BM2-XL), les équipes de R&D hardware ont poussé la personnalisation du serveur Lenovo ThinkSystem SR950 pour parvenir à un châssis intégrant huit processeurs Intel® Xeon® Platinum de deuxième génération pour un total de 224 cœurs, 448 threads à 2,7GHz, soit 6 fois plus que la plus grosse configuration actuellement proposée chez Scaleway (détails techniques en annexe). De plus, selon les données constructeur, l’amélioration des performances est supérieure de +36 % par rapport aux mêmes processeurs de la première génération.

Cette nouvelle version du Lenovo ThinkSystem SR950 est également dotée des toutes dernières technologies de traitement de données avec :
- 6 To de mémoire révolutionnaire Intel® Optane™ Persistent Memory
- 1,5 To de TruDDR4
- une capacité de stockage de 19 To avec 6 disques NVMe de 3,2 To Enterprise Intel® SSD P4610 hot swap
- une carte RAID Hardware pour les disques de local boot.

Possibilité de se connecter au monde à la vitesse de 25 Gbps

L’offre Bare Metal Ultimate Performance UP-BM2-XL bénéficie d’une connectivité Internet au choix de 10 ou 25 Gbps, sans limite de bande passante et s’appuie sur le réseau haut de gamme de Scaleway interconnecté avec plus de 25 opérateurs de raccordement Telecom disponibles, dont la quasi-totalité des Tiers one. La connexion à 25 Gbps annonce de nouveaux standards pour les offres dédiées aux entreprises.

Efficacité énergétique by design des serveurs et du data center

Côté serveurs, l’UP-BM2-XL est conforme à la norme Energy Star 2.1. et intègre des composants et des technologies à haut rendement énergétique. Parmi celles-ci : les alimentations électriques, la capacité d'alimentation intelligente d'Intel® (qui permet d'allumer et d'éteindre des éléments individuels du processeur selon les besoins) ou encore la mémoire DDR4 basse tension de 1,2V.
Côté data center, PARIS-DC5 qui les héberge est sans nul doute un des data centers localisés en France, les plus performants et innovants en matière d’énergie. Conçu dès son origine pour le cloud computing et les infrastructures Big Data, son système de refroidissement adiabatique couplé à l’utilisation du free-cooling direct lui permet d’être 100% sans climatisation. Ainsi avec plus de 28 MW de puissance informatique, PARIS-DC5 affiche un PUE inférieur à 1,15.


Les photos du "serveur Bare Metal le plus puissant du marché " :

Le serveur peut être utilisé dans des environnements allant jusqu'à ASHRAE A4 avec des températures ambiantes jusqu'à 45 ° C.

(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_01.png)

(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_02.jpg)

L'avant du serveur SR950 :
(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_03.png)
Le panneau d'affichage des informations du système LCD inclus offre une fonction de diagnostic supérieure en répertoriant tous les messages d'erreur et les données VPD nécessaires pour un appel de service, accélérant ainsi la résolution des problèmes.

Les processeurs et autres composants se trouvent sur les plateaux de calcul, le plateau de calcul supérieur et le plateau de calcul inférieur. Chaque plateau de calcul contient 4 processeurs sur deux cartes système dans la configuration proposée par Scaleway.

Les plateaux de calcul sont accessibles depuis l'avant du serveur :
(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_04.png)

Chaque plateau de calcul dispose de 6 ventilateurs redondants N + 1 remplaçables à chaud (un total de 12 ventilateurs lorsque deux plateaux de calcul sont installés) afin de maximiser la disponibilité des applications stratégiques.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: vivien le 20 novembre 2020 à 09:47:35
Chaque plateau de calcul contient :
- deux cartes système de calcul, chacune comprenant deux processeurs et 24 modules DIMM
- Six ventilateurs remplaçables à chaud, accessibles même lorsque le plateau de calcul est installé
- 12 baies de disque remplaçables à chaud de 2,5 pouces
- Un emplacement PCIe réservé à une carte RAID pour les disques SAS / SATA internes

La figure suivante montre l'arrière du plateau de calcul avec ses deux cartes système de calcul, l'une d'entre elles étant retirée :
(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_05.png)

Chaque carte système contient deux processeurs et 24 sockets DIMM, 12 par processeur.
La carte mère dispose également de connexions pour les ports NVMe utilisés pour se connecter aux baies de lecteur PCIe NVMe à l'avant du serveur.
Les processeurs installés sur les cartes système de calcul sont numérotés comme indiqué dans la figure suivante :
(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_06.png)

Tous les emplacements et ports situés à l'arrière du serveur sont logés dans le plateau d'E / S, comme illustré dans la figure suivante :
(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_07.png)

Le serveur possède jusqu'à 17 emplacements PCIe dans la configuration proposée par Scaleway (8 CPU) :
(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_08.png)

Le serveur possède jusqu'à quatre blocs d'alimentation redondants N + N remplaçables à chaud pour aider à maintenir le serveur opérationnel en cas de panne de bloc d'alimentation ou de secteur.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: vivien le 20 novembre 2020 à 09:48:08
(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_09.png)

Il est possible, pour une configuration riches en stockage, mais limitée à quatre sockets, un plateau de stockage est utilisé dans la zone du plateau supérieur au lieu d'un plateau de calcul : (ce n'est pas le cas de la configuration Scaleway)
(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_10.png)

Les connexions spécifiques entre les cartes système, les processeurs et les emplacements PCIe dépendent de la configuration du serveur.
La figure suivante montre la carte système 1 sur laquelle les processeurs 1 et 2 sont installés. Les emplacements sur la carte d'E / S sont connectés directement à ces processeurs (ou indirectement via le Intel C624 Platform Controller Hub, PCH).
(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_11.png)

Les processeurs dans le châssis communiquent via les ports UltraPath Interconnect (UPI). Ces ports permettent une communication à haut débit entre les CPU. UPI remplace l'Intel QuickPath Interconnect (QPI).

La figure suivante montre les liens UPI utilisés pour connecter huit processeurs :
(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_12.png)
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: Douks le 20 novembre 2020 à 10:06:43
C'est possible pour les alim, les ventilos et les disques, mais est-ce que le hotswap existe pour les CPU/RAM ?
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: vivien le 20 novembre 2020 à 10:39:24
La RAM il est possible d'en mettre en spare dans le serveur (tu définit un ou des slots comme spare, c'est appelé "memory sparing") et ils est possible aussi de faire "memory mirroring" : tu divises par deux la quantité de mémoire utilisable, mais les données sont écrites en double, comme pour un RAID 1.

Pour le CPU, il me semble que ce n'est pas possible.

Données techniques détaillées de la configuration proposée par Scaleway : Le "memory sparing" et le "memory mirroring" est bien proposé :
    • CPU : 8x Intel® Xeon® Platinum 8280
    • CPU cores/threads : 224C/448T (28C/56T x8)
    • CPU frequency : 2.7GHz
    • CPU : Intelligent and adaptive system performance with Intel® Turbo Boost Technology 2.0
    • Memory1 : 1 536 GB (48x32GB)
    • Memory1 type : DDR4 TruDDR4
    • Memory1 Frequency : 2933MHz
    • Memory2 : 6 144 GB (48x128GB)
    • Memory2 type : Intel® Optane™ DC Persistent Memory
    • Memory2 Frequency : 2666MHz
    • Memory protection : ECC, SDDC, ADDDC, memory mirroring, and memory sparing.
    • Boot Disks : 2x 800 GB SDD ThinkSystem PM1645 Hot Swap
    • Storage controller for boot Disks : New high-speed RAID Hardware 530-8i PCIe 12Gb
    • Adapter (RAID0 or RAID1)
    • Local Disks : 6x 3.2 TB SDD NVMe Intel P4610 Hot Swap
    • RAID soft for NVMe disks local disks : RAID soft 10,5,6,1,0
    • Public Network : 1x 25Gbps Network
    • KVM access : IPMI iKVM
    • VMware Certified Compatibility
    • SAP-HANA configuration Certified

Vidéo du Lenovo ThinkSystem SR950 Server :

https://www.youtube.com/watch?v=B8tk3VkT4w0
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: Leon le 20 novembre 2020 à 12:37:14
Ils ne se sont pas trompés sur le prix chez Scaleway? 36 euros par heure, ça fait 26 000euros par mois, 310 000euros par an...

C'est possible pour les alim, les ventilos et les disques, mais est-ce que le hotswap existe pour les CPU/RAM ?
Je ne sais pas sur ce serveur Lenovo, mais c'est faisable sur certains serveurs gros et chers.
Côté Mainframe, c'est clairement faisable. On peut TOUT changer sur un mainframe en hotswap.
J'avais vu aussi des vieux serveurs SUN  où tu pouvais changer en hotswap la carte "CPU + RAM", en re-répartissant la charge sur les CPU restants. Il y avait 2 ou 4 cartes CPU par serveur.
Je parle bien de serveur unique, pas de plusieurs serveurs blade dans 1 seul chassis.

Leon.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: testing5555 le 20 novembre 2020 à 15:32:45
Ils ne se sont pas trompés sur le prix chez Scaleway? 36 euros par heure, ça fait 26 000euros par mois, 310 000euros par an...
On parle d'une machine avec 200 cœurs et plus d'un To de RAM (sans parler du stockage)... Celui qui a vraiment besoin de tout ça est sûrement prêt à y mettre ce prix. Combien coûte déjà le matériel à lui seul ? Après si c'est pour laisser l'instance allumée toute l'année je pense qu'il faut effectivement mieux partir sur un serveur dédié (sur ce type de service il y a forcément un surcout pour compenser les périodes d'inactivité)
D'ailleurs je trouve le principe du "à la demande à l'heure" étonnant (passer de rien à tout ça puis à rien) sur ce type de besoin. Sur des instances moyenne je comprends l'adaptation à un besoin fluctuant mais là ça fait une grosse différence entre le on et le off  ;D

Edit : on doit être vers les 100k pour le serveur (avec les proc apparemment ?), 30k de ram, 50k pour la mémoire intel optane, 12k pour les SSD...
Suivant combien coute le housing et la BP ça reste probablement plus rentable d'acheter si on s'en sert à l'année. Mais ça doit sûrement répondre à une demande d'avoir accès par période à ce type de monstre
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: tanuki le 20 novembre 2020 à 16:07:28
Clairement, je pense que l'idée sur un tel serveur c'est de le louer pour quelques heures / jours pour des processus d'apprentissage automatique ou des travaux en batch sur de grosses quantités de données, puis de le "couper".
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: Douks le 20 novembre 2020 à 16:19:40
Online proposait la Dedibox Extreme SP à l'époque (2013), 1To de RAM et 80 core sur 4 CPU, 8x900Go en 10K et 4x1Gbps. Ça en parlait ici : https://lafibre.info/scaleway/online-net-dedox-extreme-sp/
J'ai souvenir qu'Arnaud disait que cette machine n'avait pas trouvé son public
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: underground78 le 20 novembre 2020 à 20:04:09
Après ce genre de bête ça se programme pas très facilement, faut être honnête.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: boby01 le 21 novembre 2020 à 10:23:27
Il est clair que ce serveur n'est pas un produit grand public et qu'il s'adresse à un public bien précis, mais c'est une belle bête qui est présentée là!
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: underground78 le 21 novembre 2020 à 10:36:35
Ça me fait penser aux machines SGI UV 2000/3000 qui pouvaient avoir au moins 256 sockets. Je ne suis pas sûr qu'il y ait des équivalents maintenant, HPE qui a racheté SGI fait le Superdome Flex mais il s'arrête à 32 sockets.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: alain_p le 21 novembre 2020 à 11:25:32
Quel est le public pour cela ? 40k € de l'heure, je ne vois pas....
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: vivien le 21 novembre 2020 à 11:29:04
C'est 29,99 € HT de l'heure, Comme dit NextINpact, un clin d'œil à la maison mère et à Free ?

En TTC, c'est 35,99 € de l'heure.

NextINpact l'a testé : Grosse Bertha bare metal de Scaleway à 448 threads : 20 To de stockage et jusqu'à 25 Gb/s (https://www.inpact-hardware.com/article/2176/grosse-bertha-bare-metal-scaleway-a-448-threads-acces-a-heure-details-et-date-lancement)

(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_13.png)

(https://lafibre.info/images/materiel/202011_Lenovo_ThinkSystem_SR950_14.png)
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: alain_p le 21 novembre 2020 à 11:31:09
C'est un peu trompeur de mettre un prix avec quatre chiffres après la virgule. Quel intérêt, 35.99 € ne suffisait pas ?
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: xillibit le 21 novembre 2020 à 11:55:01
Le processeur à lui seul est indiqué à un prix conseillé sur le site d'Intel (https://ark.intel.com/content/www/fr/fr/ark/products/192478/intel-xeon-platinum-8280-processor-38-5m-cache-2-70-ghz.html) à 10009$

Selon Laurent Blin et Arnaud sur Twitter, ça répond à une demande pour "Les environnements ERP comme SAP ou Microsoft dynamics, cluster VMware ultra densifié, les database in-memory comme oracle ou le big data comme Hadoop. En bref, tous les usages consommateurs en ressources qui ne scalent pas horizontalement!"[/size]
Intel abuse largement sur les prix...

Juste pour le fun le modèle qui se rapprocherait chez AMD est l'EPYC 7532 (fréquence de base 2,4 Ghz, 32c/64t, 256 Mo de cache L3, 128 lignes PCI-e 4.0, contrôleur 8 canaux DDR4-3200Mz, TDP 200 W) pour 3550 € , de mémoire c'est maximum 2 sockets chez AMD
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: Leon le 21 novembre 2020 à 16:00:03
Intel abuse largement sur les prix...

Juste pour le fun le modèle qui se rapprocherait chez AMD est l'EPYC 7532 (fréquence de base 2,4 Ghz, 32c/64t, 256 Mo de cache L3, 128 lignes PCI-e 4.0, contrôleur 8 canaux DDR4-3200Mz, TDP 200 W) pour 3550 € , de mémoire c'est maximum 2 sockets chez AMD
Je ne m'y connais pas très bien, mais j'ai l'impression qu'on compare 2 produits non comparables.
L'AMD que tu cites, c'est pour du dual socket maxi, donc 2 processeurs maxi.
L'Intel Platinum dans la machine de Scaleway, ça supporte nativement du 8-socket, et plus avec quelques bidouilles.
Ca ne joue pas dans la même cour à priori.

Le même Intel Platinum dans un chassis Supermicro 8xCPU :
https://www.supermicro.com/en/products/system/7U/7089/SYS-7089P-TR4T.cfm

Leon.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: dj54 le 23 novembre 2020 à 11:52:33
35,99€ TTC soit x 720 = 25 912€/mois ça d'adresse vraiment a des pros qui ont les moyens ou de s'en servir sur quelques heures  :o
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: buddy le 23 novembre 2020 à 11:58:41
un pro qui a des moyens et qui en a besoin sur du long terme, je pense qu'il s'orientera sur un cluster Infiniband avec plusieurs lames de calculs. C'est nettement plus économique je pense.

Après pour quelques heures, c'est la meilleure solution c'est sur.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: vivien le 23 novembre 2020 à 12:36:59
Il y a des logiciels où la licence ne permet pas ou est extrêmement couteuse, si on est sur plusieurs machines distinct.

Avoir un serveur très puissant est donc une demande et permet pour des applicatif spécifique de faire de grosses économies.

Il y a aussi des logiciels que l'on paye au socket. AMD a réussi à avec un unique socket puissant à rafler comme ça des parts de marché à Intel sur des segments très précis où la tarification est au socket.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: e-TE le 23 novembre 2020 à 14:19:28
Il y a des logiciels où la licence ne permet pas ou est extrêmement couteuse, si on est sur plusieurs machines distinct.

Avoir un serveur très puissant est donc une demande et permet pour des applicatif spécifique de faire de grosses économies.

Il y a aussi des logiciels que l'on paye au socket. AMD a réussi à avec un unique socket puissant à rafler comme ça des parts de marché à Intel sur des segments très précis où la tarification est au socket.
mouais, en général les éditeurs sont rapides a changer la méthode de tarification quand ils voient les clients faire ca xD donc ca tient le temps d'une version, et la version majeure suivante, on te dit de revoir le calcul des licences xD :-/
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: Leon le 23 novembre 2020 à 16:02:26
Il y a des logiciels où la licence ne permet pas ou est extrêmement couteuse, si on est sur plusieurs machines distinct.

Avoir un serveur très puissant est donc une demande et permet pour des applicatif spécifique de faire de grosses économies.

Il y a aussi des logiciels que l'on paye au socket. AMD a réussi à avec un unique socket puissant à rafler comme ça des parts de marché à Intel sur des segments très précis où la tarification est au socket.
La grande majorité des logiciels payant qui tournent sur des très gros serveurs ont des licences en fonction du nombre de coeur, et non en fonction du nombre de machines.
Je ne pense vraiment pas que c'est l'objectif d'un tel serveur que de gruger sur les licences.

un pro qui a des moyens et qui en a besoin sur du long terme, je pense qu'il s'orientera sur un cluster Infiniband avec plusieurs lames de calculs. C'est nettement plus économique je pense.
C'est clair que ça m'intrigue. Les gros supercalculateurs utilisent désormais des techno d'interconnexion par fibre entre chaque "noeud", et ces techo d'interconnexion ont énormément progréssé en 20 ans;
Du coup, je ne sais pas vraiment quelle est l'avantage d'une vraie architecture multi-processeur...

Les bus interprocesseur UPI d'Intel (UPI = Ultra Path Interconnect) ont apparemment un débit et une latence monstrueusement performantes.
En débit, on parle de ~200Gb/s full duplex par Interconnect. Et c'est optimisé pour la latence.
Sur le serveur montré, on parle de 12 liens directs UPI 200Gb/s full duplex, non partagés, entre les 8 processeurs.

Leon.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: underground78 le 23 novembre 2020 à 16:10:00
J'ai jamais testé cette machine mais je connais très bien le monde des supercalculateurs et il n'y a pas si longtemps les performances sur les machines de ce type n'était pas vraiment meilleur qu'avec un réseau d'interconnexion type Infiniband ou OmniPath.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: Douks le 23 novembre 2020 à 21:54:19
Pour les logiciels concernés, Arnaud donne quelques détails dans son tweet : "Les environnements ERP comme SAP ou Microsoft dynamics, cluster VMware ultra densifié, les database in-memory comme oracle ou le big data comme Hadoop.[...]".
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: martel le 23 novembre 2020 à 23:06:11
J'avais compris au début 35k€ / heure et en lisant le topic je vois 36€ de l'heure  :o

T'imagine si elle avait autant de CG, tu pourrais miner un BTC en une heure  :P
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: e-TE le 24 novembre 2020 à 08:53:20
J'ai jamais testé cette machine mais je connais très bien le monde des supercalculateurs et il n'y a pas si longtemps les performances sur les machines de ce type n'était pas vraiment meilleur qu'avec un réseau d'interconnexion type Infiniband ou OmniPath.
y'a des trucs sympa mais super spécifique qui prouve que tu peux faire mieux en collant les cpu ensemble : https://www.extremetech.com/extreme/296906-cerebras-systems-unveils-1-2-trillion-transistor-wafer-scale-processor-for-ai mais la c'est un peu extrême :D
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: underground78 le 24 novembre 2020 à 09:26:45
Comme tu dis c'est pour un usage super spécifique. Je serais d'ailleurs curieux de voir la perf par rapport à une carte GPU récente destinée au calcul.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: e-TE le 24 novembre 2020 à 09:41:06
ah mince je n'avais pas mis l'article que j'avais en tete, ils en ont fait une démo y'a une semaine lors d'une conférence sur le HPC, ca reste flou comme chiffre, mais ca permet de se donner une idée :

Citer
e système CS-1 utilise donc un puce de la taille d’un wafer WSE comprenant 1,2 trillion (1200 milliards) de transistors. Pour comparaison, la GPU la plus performante annoncée hier par Nvidia, A100 80 Go, en compte 54 milliards.

200 fois plus rapide qu’un supercalculateur
Le système CS-1 a été confronté au supercalculateur Joule, 82ème dans le Top500. Il affiche 84 000 cœurs de CPU répartis sur des dizaines de racks, a coûté des dizaines de millions de dollars et consomme 450 kilowatts d'énergie. Dans la démonstration, le supercalculateur Joule a utilisé 16 384 cœurs, et le module équipé de la puce Cerebras était 200 fois plus rapide, selon le directeur du NETL Brian Anderson. Les charges de travail concernaient la modélisation de la dynamique des fluides.
https://www.lemondeinformatique.fr/actualites/lire-cerebras-demontre-la-puissance-de-sa-puce-cs-1-81072.html

mais ils ne le comparent pas a un calculateur avec carte graphique... ni ne donnent d'infos sur la consommation du CS-1...


enfin voila, juste pour dire que pour certains cas particulier, le full cpu n'a pas dit son dernier mot  :-X
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: Leon le 24 novembre 2020 à 12:12:43
Pour en revenir au sujet :
J'ai jamais testé cette machine mais je connais très bien le monde des supercalculateurs et il n'y a pas si longtemps les performances sur les machines de ce type n'était pas vraiment meilleur qu'avec un réseau d'interconnexion type Infiniband ou OmniPath.
Une autre hypothèse: Et si tout simplement une machine à 8 gros processeurs était moins chère que 8 machines mono processeur (ou 4 machines bi processeur) et les cartes/switches Infiniband nécessaires pour raccorder tout ça ? Bien entendu pour des applications qui nécessitent énormément de collaboration entre processeurs...

Je n'ai aucune notion de prix d'une install type Infiniband pour des débits équivalents (100 ou 200Gb/s full duplex entre 2 processeurs).

Et pour les systèmes plus gros, type super-calculateur, on est déjà obligé de se payer une grosse fabric Infiniband ou équivalent, donc la question se pose peut-être moins que sur des systèmes à "seulement" 4 ou 8 processeurs.

Leon.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: underground78 le 24 novembre 2020 à 12:18:37
Après je ne connais pas trop les applications visées mais il est possible que le fait d'avoir une grosse machine multi-processeurs comme celle là évite d'avoir à passer par la couche TCP/IP.

Lorsqu'on fait du calcul haute performance, les communications sont faites avec des protocoles plus efficaces mais je ne suis pas sûr du tout que ça soit le cas sur les applications dont on parle ici et qui font peut-être "juste" du TCP/IP over Infiniband.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: kgersen le 24 novembre 2020 à 12:37:43
C'est principalement fait pour des applications 'existantes' qui ne scalent pas horizontalement donc qui ne peuvent justement être réparties sur plusieurs machines via un réseau local ou un cluster sur infiniband ou autre scaling horizontal (le point clé la c'est "existantes").

Et ce ne sont pas applications pour supercalculateur non plus.

Si on peut changer le code ou si on crée un nouveau logiciel sauf cas très particulier il vaut mieux effectivement faire un code qui scale horizontalement.


Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: buddy le 29 novembre 2020 à 23:16:10
Je n'ai aucune notion de prix d'une install type Infiniband pour des débits équivalents (100 ou 200Gb/s full duplex entre 2 processeurs).
Il y a eu récemment des devis demandés.
Pour un InfiniBand permettant de relier 32 ou 34 lames de 64 coeurs, on est sur du 100-125 k€. (c'est le prix qui ressort en moyenne sur les devis demandés cet été. C'est uniquement le prix de l'Infiniband Switch + Câbles + Carte sur les lames. ). Le prix des lames (hors carte réseau) est à ajouter.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: Leon le 30 novembre 2020 à 07:05:14
Il y a eu récemment des devis demandés.
Pour un InfiniBand permettant de relier 32 ou 34 lames de 64 coeurs, on est sur du 100-125 k€. (c'est le prix qui ressort en moyenne sur les devis demandés cet été. C'est uniquement le prix de l'Infiniband Switch + Câbles + Carte sur les lames. ). Le prix des lames (hors carte réseau) est à ajouter.
C'était pour quel débit infiniband c'était ce devis? 100Gb/s par lame? 200Gb/s?

Leon.
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: buddy le 30 novembre 2020 à 11:26:00
Ce n'est pas moi directement qui m'en occupe et la personne est actuellement au travail partiel.. Mais c'est de tête 200 gbit/s full duplex par lame + installation + garantie sur site J+1 pendant 5 ans.

(je sais que ça a été prévu pour être évolutif-ajout de lames dans 1 ou 2 an- mais je n'ai pas le détail de la taille du réseau infiniband)
Titre: Nouveau serveur dopé aux hormones "UP-BM2-XL"
Posté par: vivien le 10 décembre 2020 à 17:25:00
Le nouveau serveur utilisé par Let's Encrypt pour sa base de donnée MariaDB est pas mal avec 2 To de RAM et 154 To de SSD NVMe :

Dell’s PowerEdge R7525 (au format rack 2U)
- CPU : 2x AMD EPYC 7542 (TDP de 225 Watts 32 cœurs / 64 threads chacun) Total pour le serveur de 64 cœurs / 128 threads et 450 Watts de TDP pour les deux CPU.
- RAM : 32 x 64 Go 3200 MT/s. Total de 2048 Go de RAM.
- SSD : 24x 6.4To Intel P4610 NVMe SSD 3200/3200 MB/s read/write

Source:
- https://letsencrypt.org/2021/01/21/next-gen-database-servers.html
- https://abetterinternet.org/documents/2020-ISRG-Annual-Report.pdf#page=20

C'est typiquement ces usages qui vise Scaleway.


Photo du serveur Dell PowerEdge R7525 de Let's Encrypt.
- Les deux rectangles argentés au milieu sont les processeurs AMD EPYC 7542.
- Les barrettes de RAM, chacune de 64 Go, sont au-dessus et en dessous des processeurs (total de 2 To).
- Les 24x SSD NVMe se trouvent à l'avant du serveur, à l'extrême gauche.

Cliquer sur la photo pour zoomer :
(https://lafibre.info/images/materiel/202101_dell_poweredge_r7525.jpg) (https://lafibre.info/images/materiel/202101_dell_poweredge_r7525.jpg)