Auteur Sujet: Online : 288 serveurs dans 1 chassis ATCA 21 pouces  (Lu 37880 fois)

0 Membres et 1 Invité sur ce sujet

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 644
  • WOOHOO !
    • OrneTHD
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #24 le: 29 octobre 2014 à 11:18:59 »
La parallélisation n'est pas si compliquée.

Par ex, j'ai des logiciels clients qui demandent les headers de 250.000 articles d'un newsgroup d'un coup. Bah au lieu de balancer de ce gros truc, je découpe en 50.000 et je fais une boucle qui exécute un new process avec le bon découpage. Du coup j'ai 5 CPU qui s'occupe de la demande en même temps + celui qui gère le socket avec le client qui reçoit les datas au fur et à mesure et ça envoie :)

C'est redoutable sur RunAbove avec le Power8 d'IBM ! (pour le portefeuille aussi ^^ )

Après c'est une question d'habitude dans le dev, c'est sûr.

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #25 le: 29 octobre 2014 à 11:24:43 »
Ton exemple est bon parce que ça tourne sur le meme environnement :)

Sur plusieurs machines, il faut donc prévoir un mécanisme pour lancer les exécutions à distance et récupérer les résultats. On peut éventuellement se débrouiller avec du NFS mais ça devient un peu plus compliqué.

Ou alors on fait tourner RunAbove sur les infras Online ? :D

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 644
  • WOOHOO !
    • OrneTHD
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #26 le: 29 octobre 2014 à 11:32:46 »
Python te permet de distribuer tes process au-delà de ta seule machine avec ses "Managers" par ex. Tout est fourni de base.

Par contre je n'ai pas encore réussi à obtenir des infos depuis le process enfant, il faut que le parent fasse la requête pour ensuite tout refiler à l'enfant pour qu'il puisse bosser.

Du coup je préfère déployer mon logiciel serveur sur X machines et faire un gros haproxy devant :)

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 078
  • Paris (75)
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #27 le: 29 octobre 2014 à 11:42:44 »
> comment ca ?

que si j'ai besoin de savoir 1+1, on me donnera 2 en réponse avec 1 gros CPU ou 200 mini-CPU ;) voila un peu la réponse noob que je fais...

Tout n'est pas parallélisable et tout n'as pas forcement besoin de la puissance maxi d'un seul CPU.

"1+1" une seul fois ca ne se parallélisme pas bien donc plus le cpu sera rapide puis vite ca se calcule.

Mais s'il faut faire "1+1" 200 fois.
Soit je prend un gros CPU a 4 coeurs et je fais '1+1' 50 fois de suite sur chaque coeur.
Soit je fais '1+1' une seul fois sur 200 mini-cpu en meme temps.

En temps, c'est pareil uniquement si un cœur du gros CPU est 50 fois plus rapide qu'un mini-cpu.
En coûts ramenés au temps ca n'est pas pareil non plus. Dans couts, on prend en compte le hardware, le software (licences, etc) , le volume occupé, le personnel nécessaire, la conso électrique, etc.

Apres il y aussi le probleme de 'générer' 200 fois le calcul de '1+1' sur 200 mini-cpu et de 'recuperer' les 200 resultats.
Pareil en mono CPU, si ce sont 200 programmes différents virtualisés sur 4 cœurs d'un seul CPU (donc 200 OS virtuels derrière) ou juste un seul programme (donc un seul OS). Car ca peut être 200 clients differents qui veulent faire '1+1' en meme temps par exemple ou le meme.

Et encore on ne fait qu’effleurer la complexité des 2 façons de faire et des cas possibles...

Certains traitements ou calculs n'ont pas besoin de puissance des gros CPU actuels car ils font surtout des transferts (réseau ou disque) et peu de calculs. D'autres font l'inverse, beaucoup de calcul CPU mais de transferts. D'autres les 2. etc

Il n'y a pas de hardware/plateforme idéale et universelle.

willemijns

  • Abonné FreeMobile
  • *
  • Messages: 2 680
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #28 le: 29 octobre 2014 à 12:17:26 »
Certains traitements ou calculs n'ont pas besoin de puissance des gros CPU actuels car ils font surtout des transferts (réseau ou disque) et peu de calculs. D'autres font l'inverse, beaucoup de calcul CPU mais de transferts. D'autres les 2. etc
Il n'y a pas de hardware/plateforme idéale et universelle.

on est d'accord... apres on peut dedier des plateformes en fonction des besoins et faire varier le prix... c'est ce qui est
prévu par une société de mini DC dans un radiateur/chauffe-eau...

jack

  • Professionnel des télécoms
  • *
  • Messages: 1 674
  • La Madeleine (59)
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #29 le: 29 octobre 2014 à 13:17:35 »
Tout les problèmes ne sont pas facilement parallélisable
Pour ce type de cas, la seule solution est de résoudre plusieurs problèmes en parallèle, chaque problème restant monolithique

Pour finir, je rajouterais que la parallélisation n'implique pas forcement un gain de performance: la synchronisation est drastiquement plus lente entre les machines

En fait, il faut s'assurer que le calcul qui est déporté est suffisamment long pour "valoir le coup" de le déporter

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #30 le: 29 octobre 2014 à 13:28:24 »
Une personne a une invitation, pour que je puisse tester le serveur d'Online ?

Par défaut on se connecte comment si il n'y a pas d'IP publique ?

Why do I have a private IP?
We chose to use NAT for IPv4 addresses.
The NAT is needed to get movable IP addresses and help us face the shortening of IPv4 addresses.
We implemented a custom solution to provide line-rate NAT.

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #31 le: 29 octobre 2014 à 13:30:47 »
Va sur http://labs.online.net

"Try It now"

T'as droit à seulement 15minutes :)

Nico

  • Modérateur
  • *
  • Messages: 44 449
  • FTTH 1000/500 sur Paris 15ème (75)
    • @_GaLaK_
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #32 le: 29 octobre 2014 à 13:35:59 »
Je t'envoie ça sur quel mail vivien ?

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #33 le: 29 octobre 2014 à 14:03:58 »
Noyeau Linux 3.17 ?
C'est du customisé, Ubuntu 14.10 est livré avec le noyau 3.16 (en tout cas sur base Intel)

c1-10-1-15-25 login: ubuntu
Password:
Welcome to Ubuntu 14.10 (GNU/Linux 3.17.0-90 armv7l)

 * Documentation:  https://help.ubuntu.com/

The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.

ubuntu@c1-10-1-15-25:~$ uname -a
Linux c1-10-1-15-25 3.17.0-90 #7 SMP Mon Oct 20 13:54:37 CEST 2014 armv7l armv7l armv7l GNU/Linux

ubuntu@c1-10-1-15-25:~$ free -m
             total       used       free     shared    buffers     cached
Mem:          2020        493       1527          0         38        389
-/+ buffers/cache:         65       1955
Swap:            0          0          0

ubuntu@c1-10-1-15-25:~$ cat /proc/cpuinfo
processor       : 0
model name      : ARMv7 Processor rev 2 (v7l)
Features        : half thumb fastmult vfp edsp thumbee vfpv3 tls idiva idivt vfpd32 lpae
CPU implementer : 0x56
CPU architecture: 7
CPU variant     : 0x2
CPU part        : 0x584
CPU revision    : 2

processor       : 1
model name      : ARMv7 Processor rev 2 (v7l)
Features        : half thumb fastmult vfp edsp thumbee vfpv3 tls idiva idivt vfpd32 lpae
CPU implementer : 0x56
CPU architecture: 7
CPU variant     : 0x2
CPU part        : 0x584
CPU revision    : 2

processor       : 2
model name      : ARMv7 Processor rev 2 (v7l)
Features        : half thumb fastmult vfp edsp thumbee vfpv3 tls idiva idivt vfpd32 lpae
CPU implementer : 0x56
CPU architecture: 7
CPU variant     : 0x2
CPU part        : 0x584
CPU revision    : 2

processor       : 3
model name      : ARMv7 Processor rev 2 (v7l)
Features        : half thumb fastmult vfp edsp thumbee vfpv3 tls idiva idivt vfpd32 lpae
CPU implementer : 0x56
CPU architecture: 7
CPU variant     : 0x2
CPU part        : 0x584
CPU revision    : 2

Hardware        : Marvell Armada 370/XP (Device Tree)
Revision        : 0000
Serial          : 0000000000000000

$ ifconfig
docker0   Link encap:Ethernet  HWaddr 56:84:7a:fe:97:99
          inet addr:172.17.42.1  Bcast:0.0.0.0  Mask:255.255.0.0
          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

eth0      Link encap:Ethernet  HWaddr 00:07:cb:03:3a:2d
          inet addr:10.1.15.25  Bcast:10.1.15.255  Mask:255.255.254.0
          inet6 addr: fe80::207:cbff:fe03:3a2d/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:9000  Metric:1
          RX packets:135680 errors:0 dropped:0 overruns:0 frame:0
          TX packets:34671 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:532
          RX bytes:125438138 (125.4 MB)  TX bytes:523213621 (523.2 MB)
          Interrupt:24

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)           

vivien

  • Administrateur
  • *
  • Messages: 47 085
    • Twitter LaFibre.info
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #34 le: 29 octobre 2014 à 15:24:15 »
Pas d'IPv6 proposé dans le test mais la machine assure avec IPERF :

$ iperf -c 3.testdebit.info -i 2 -r
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 3.testdebit.info, TCP port 5001
TCP window size: 43.8 KByte (default)
------------------------------------------------------------
[  5] local 10.1.18.40 port 57802 connected with 89.84.127.55 port 5001
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0- 2.0 sec   212 MBytes   890 Mbits/sec
[  5]  2.0- 4.0 sec   181 MBytes   760 Mbits/sec
[  5]  4.0- 6.0 sec   165 MBytes   691 Mbits/sec
[  5]  6.0- 8.0 sec   164 MBytes   688 Mbits/sec
[  5]  8.0-10.0 sec   164 MBytes   690 Mbits/sec
[  5]  0.0-10.0 sec   887 MBytes   744 Mbits/sec
[  4] local 10.1.18.40 port 5001 connected with 89.84.127.55 port 42827
[  4]  0.0- 2.0 sec   128 MBytes   537 Mbits/sec
[  4]  2.0- 4.0 sec   127 MBytes   531 Mbits/sec
[  4]  4.0- 6.0 sec  93.9 MBytes   394 Mbits/sec
[  4]  6.0- 8.0 sec  94.6 MBytes   397 Mbits/sec
[  4]  8.0-10.0 sec   100 MBytes   421 Mbits/sec
[  4]  0.0-10.0 sec   545 MBytes   456 Mbits/sec


$ iperf -c ipv4.intuxication.testdebit.info -i 2 -r
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to ipv4.intuxication.testdebit.info, TCP port 5001
TCP window size: 48.1 KByte (default)
------------------------------------------------------------
[  5] local 10.1.18.40 port 44321 connected with 62.210.156.12 port 5001
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0- 2.0 sec   222 MBytes   930 Mbits/sec
[  5]  2.0- 4.0 sec   175 MBytes   734 Mbits/sec
[  5]  4.0- 6.0 sec   166 MBytes   694 Mbits/sec
[  5]  6.0- 8.0 sec   166 MBytes   696 Mbits/sec
[  5]  8.0-10.0 sec   166 MBytes   698 Mbits/sec
[  5]  0.0-10.0 sec   895 MBytes   751 Mbits/sec
[  4] local 10.1.18.40 port 5001 connected with 62.210.156.12 port 52806
[  4]  0.0- 2.0 sec   143 MBytes   599 Mbits/sec
[  4]  2.0- 4.0 sec   124 MBytes   518 Mbits/sec
[  4]  4.0- 6.0 sec   179 MBytes   750 Mbits/sec
[  4]  6.0- 8.0 sec   175 MBytes   732 Mbits/sec
[  4]  8.0-10.0 sec   125 MBytes   523 Mbits/sec
[  4]  0.0-10.0 sec   746 MBytes   623 Mbits/sec

willemijns

  • Abonné FreeMobile
  • *
  • Messages: 2 680
Online : 288 serveurs dans 1 chassis ATCA
« Réponse #35 le: 29 octobre 2014 à 18:12:51 »
Va sur http://labs.online.net
T'as droit à seulement 15minutes :)

quel est le login ?