Auteur Sujet: Supercalculateurs "prêts pour l’exascale"...  (Lu 6930 fois)

0 Membres et 1 Invité sur ce sujet

underground78

  • Expert
  • Client Free fibre
  • *
  • Messages: 7 446
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Supercalculateurs "prêts pour l’exascale"...
« Réponse #12 le: 16 avril 2016 à 22:39:33 »
Non, qu'on commence à virer les machines qui ont 10 ans dans les labos des facs et qu'on arrête de se branler sur un proto quasi inutilisable en l'ėtat payé sur nos impots
J'ai pas l'impression que la recherche française soit trop mal lotie en matière d'accès à des ressources de calcul haute performance. Les heures sont "gratuites" dans les grands centres de calcul et beaucoup de labos disposent de machines de calcul un peu puissantes.

jack

  • Professionnel des télécoms
  • *
  • Messages: 1 615
  • La Madeleine (59)
Supercalculateurs "prêts pour l’exascale"...
« Réponse #13 le: 16 avril 2016 à 23:55:07 »
Deux questions sur les HPC :
- est-ce que un programme peut utiliser l'ensemble des cores, ou est-ce qu'il est nécessaire d'avoir plusieurs programmes, chacun avec un nombre de core réduit ?
- dans le premier cas, est-ce l'utilisation que les gens en font ?

underground78

  • Expert
  • Client Free fibre
  • *
  • Messages: 7 446
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Supercalculateurs "prêts pour l’exascale"...
« Réponse #14 le: 17 avril 2016 à 00:05:06 »
Tu veux dire l'ensemble des cœurs d'un supercalculateur (typiquement au moins 10000 pour un supercalculateur national) ? Les programmes capables de le faire sont très peu nombreux (voir inexistant pour les plus gros supercalculateurs).

Ce n'est de toute façon pas de cette façon que les supercalculateurs sont utilisés au quotidien puisqu'il s'agit d'une ressource partagée. En général il y a un gestionnaire de travaux qui s'occupe d'orchestrer les différents programmes. Un utilisateur fait une demande d'exécution pour un certain programme sur un certain nombre de cœurs, le gestionnaire de travaux centralise tous les travaux, s'occupe de donner les ressources de calcul à chacun (avec une file d'attente) et lance les exécutions.

Là j'ai un petit doute mais il me semble que chez nous la quantité de cores la plus souvent demandée est 512 coeurs. Si c'est pas la plus demandée alors il doit s'agir de celle qui correspond à la plus grande quantité d'heures de calcul consommées.

jack

  • Professionnel des télécoms
  • *
  • Messages: 1 615
  • La Madeleine (59)
Supercalculateurs "prêts pour l’exascale"...
« Réponse #15 le: 17 avril 2016 à 00:19:02 »
C'est bien ce dont je me souvenais
La course au gros HPC n'est donc qu'une affaire de phallus, entendu que la majorité (l'ensemble ?) des tâches peuvent être résolu sur un cluster de machines plus simples, me tromperai-je ?

underground78

  • Expert
  • Client Free fibre
  • *
  • Messages: 7 446
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Supercalculateurs "prêts pour l’exascale"...
« Réponse #16 le: 17 avril 2016 à 00:36:46 »
Il y a évidemment une histoire de compétition entre pays mais il faut bien voir que les gros supercalculateurs ont quand même des raisons d'être qui sont objectives :
 - moins d'inégalités entre labos
 - possibilité de lisser l'utilisation de la machine sur un grand nombre d'utilisateurs avec des usages assez variés
 - possibilité d'aller au delà de ce que peuvent s'offrir les labo
 - possibilité d'affecter des ressources humaines dédiées qui ne seraient pas rentables si elles n'étaient pas partagées
 - etc.

En pratique, sauf gros ratage, les supercalculateurs sont remplis donc le besoin est là.

BadMax

  • Client Free adsl
  • Modérateur
  • *
  • Messages: 3 504
  • Malissard (26)
Supercalculateurs "prêts pour l’exascale"...
« Réponse #17 le: 17 avril 2016 à 17:38:40 »
Airbus a 2 supercalculateurs, l'un à Toulouse, l'autre à Hambourg, ils tournent à 100% toute l'année. Ils sont dans le top500.

kgersen

  • Modérateur
  • Client Free Pro
  • *
  • Messages: 7 919
  • Paris (75)
Supercalculateurs "prêts pour l’exascale"...
« Réponse #18 le: 17 avril 2016 à 18:25:37 »
Depuis l'arrivé des CPGPU certains besoins en HPC ont basculé complètement sur du matériel de type PC. Des équipes peuvent maintenant s'acheter eux-meme leur matériel plutôt que de dépendre des gros supercalculateurs partagés  (contrainte tranche horaire, quota mémoire, io, cpu, etc).
Cela a redistribuer pas mal les choses dans ce domaine et dans les labos, de nos jours, on voit maintenant souvent des gros PC avec plein de GPU dedans.

Le dernier DXG-1 de NVidia permet 170 TFlops pour $130k..autant qu'un supercalculateur des années 2005.

Ma petite box TV NVidia Shield a la maison peut faire 1TFlops pour moins de 200€ ...autant qu'un supercalculateur des années 1990.

Il est sur qu'un Flops d'un GPU et un Flops d'un CPU traditionnel ne sont pas comparables directement.
Ce n'est pas du toute la meme façon de programmer: il faut repenser ses algorithmes , changer son code existant, avoir des programmeurs compétents, etc.
Certaines grosses boites ou équipes ne font pas (encore) cet effort, simplement par qu'ils ont les moyens (finance, pétrole, etc) d'acheter toujours plus de puissance hardware plutôt que de changer ou optimiser leur code.

J'ai vécu le cas avec des géologues, dans le secteur pétrolier, qui faisait eux meme leur programmes de simulation en Fortran pour exécuter sur un supercalculateur (un Cray)... code pas optimisé, mal structuré, mal conçu niveau I/O mais pas grave on peut dépenser sans compter niveau hardware c'est de toute façon moins cher de simuler comme ca que d'aller faire un vrai forage par exemple... économiquement ca se tient meme si d'un point de vue technique c'est horrible de voir cela. Le meme code bien écrit tournant sur une pauvre workstation battait leur code pourri tournant sur un Cray...sigh.

Enfin c'était a une autre époque, j’espère que de nos jours, les scientifiques utilisateurs travaillent en tandem avec de bons informaticiens programmeurs pour utiliser au mieux le hardware des supercalculateurs ...(surtout les supercalculateurs payés par nos impôts ...)

Les Cloud providers se mettent aussi au HPC. Pour des besoins ponctuels, on peut louer 10000 cores de CPU ou plus chez Amazon ou Google par exemple. Avec les évolutions des algorithmes et des méthodes de programmation, ces 2 mondes vont se faire concurrence de plus en plus.

mattmatt73

  • Expert.
  • Client Bbox fibre
  • *
  • Messages: 7 150
  • vancia (69)
Supercalculateurs "prêts pour l’exascale"...
« Réponse #19 le: 17 avril 2016 à 18:37:42 »
+1 avec ton analyse.

Avoir le supercalculateur qui se la pète, c'est beau.

Mais si tu n'as que 2 fois par an des programmes optimisés, tirant vraiment possibilité du bouzin.

Autant acheter des palettes de GPU...

underground78

  • Expert
  • Client Free fibre
  • *
  • Messages: 7 446
  • Orsay (91)
    • FreePON : suivi géographique du déploiement fibre EPON chez Free
Supercalculateurs "prêts pour l’exascale"...
« Réponse #20 le: 17 avril 2016 à 22:31:10 »
Ben les GPU c'est pas facile à utiliser justement.

Enfin c'était a une autre époque, j’espère que de nos jours, les scientifiques utilisateurs travaillent en tandem avec de bons informaticiens programmeurs pour utiliser au mieux le hardware des supercalculateurs ...(surtout les supercalculateurs payés par nos impôts ...)
Au niveau des labos ça reste dur d'avoir des postes d'informaticien, m'enfin il y a des gros efforts de fait au niveau des supercalculateurs pour proposer du support.