La Fibre

Fonctionnement du forum => A lire avant de commencer... => profile Évolution de LaFibre.info, bugs et critiques => Discussion démarrée par: vivien le 07 mai 2012 à 07:17:59

Titre: Changement du serveur LaFibre.info: Dell R210II / Xeon E31230 3,2GHz / 16Go RAM
Posté par: vivien le 07 mai 2012 à 07:17:59
Ce matin départ pour Saint-Trivier-sur-Moignans dans l'Ain.

Je vais visiter le Maxnod => http://www.maxnod.com/ (http://www.maxnod.com/) et changer le serveur lafibre.info (matériellement afin de rendre les tests de débit plus fiable, 1Go ram était devenu trop petit et on ne cachait plus systématiquement les fichiers de test en Ram). Le passage vers Ubuntu 12.04 avec le noyau 3.2 que je pensais faire le 1er mai se fera en même temps (donc correction du bug qui bloquait l'IPv6 sur des Vlan). L'IPv6 sera 2a01:6e00:10:410::2

Bref il y a aura une coupure de lafibre.info d'environ 1h cet après-midi.
Titre: Changement du serveur LaFibre.info
Posté par: telandgo le 07 mai 2012 à 08:57:01
Une journée de bricolage au datacenter c'est toujours amusant même si souvent ça ne se passe pas comme prévu ;-)
Titre: Changement du serveur LaFibre.info
Posté par: vivien le 07 mai 2012 à 23:16:43
En fait on fait ça en deux étapes : l'ancien et le nouveau sont en service, je vais faire tranquillement la migration mercredi soir. C'est donc toujours l'ancien actuellement.

Nouveau serveur également pour Tel&Go il me semble, non ?
Titre: Changement du serveur LaFibre.info
Posté par: telandgo le 08 mai 2012 à 00:48:39
En effet, nouveau serveur pour la partie backup et reprise d'activité.
Sur un ibm 1U 2CPU XEON quad core, 12Go de RAM DDR3 et RAID1 hardware sur 2 DD SATA 1To chacun.

Le but est de mettre ce serveur ailleurs sur le réseau liain et de rapatrier les dumps des machines virtuelles en production.
De cette façon, ce serveur pourra reprendre l'activité en cas de problème empêchant le serveur principal de services de fonctionner.

Ce serveur hébergera également les services non critiques et les machines virtuelles de tests.

Il sera probablement placé à Oyonnax dans une salle en propre en bout de fibre optique avec onduleur et tout ce qu'il faut.
Titre: Changement du serveur LaFibre.info
Posté par: Leon le 08 mai 2012 à 08:08:40
Vivien, tu passes toujours par Azylog pour la location du serveur, ou directement avec Maxnod en hébergeant ton propre serveur?

Si tu as le droit, ça serait sympa de partager des photos du petit datacenter, pour voir comment il a évolué.

Leon.
Titre: Changement du serveur LaFibre.info
Posté par: vivien le 08 mai 2012 à 09:10:22
Le nouveau serveur est directement chez Maxnod.

J'ai pris plein de photo du DataCenter. J'ai été très étonné, les photos que tu avais trouvé ne le mettent pas du tout en valeur. Les portes automatiques pour rentrer dans la partie froide existait mais aucune photo. Les groupes froid de 100 000 w existaient, mais aucune photo. Le système d'extinction d'incendie par CO2 existait mais aucune photo...

Tu và avoir du mal à le reconnaître. Un TGBT est en construction (j'ai également des photos). J'ai également des photos d'un onduleur en cours de pose. Il y a toujours des caméras IP low cost, mais il y a aussi des caméras costaud, avec enregistrement distant.

Des extensions pour d'autres groupes électrogènes sont en cours, d'autres groupes froid,...
Ca sera sur les photos.

L'efficacité du système de Free cooling est redoutable (l'air ne passe qu'une seule fois dans les serveurs, il y a une forte surpression et tout retour est impossible). Chaque emplacement (même 1u) non utilisé est bouché par pour éviter les pertes. Ce n'est pas de la théorie mais de la pratique.

A cette époque les groupes froids sont a l’arrêt et il fait bien frais dans le couloir froid. (en hiver la température ne descend pas plus car il ré-injecte une partie de l'air chaud récupéré dans la salle)
Titre: Changement du serveur LaFibre.info
Posté par: Leon le 08 mai 2012 à 14:18:34
OK, j'attends avec impatience les photos que tu as prises, avec les commentaires.

Tu as fait le déplacement exprès de Paris jusqu'à Lyon?

Tu as pris quoi comme serveur? Une marque? Un no-name? Une conf montée toi même?

Je sais, je suis curieux...

Leon.
Titre: Changement du serveur LaFibre.info
Posté par: vivien le 08 mai 2012 à 18:45:57
Déplacement exprès, mais on en a profité pour faire des visites aujourd'hui avec ma copine.

Le serveur c'est un serveur rack PowerEdge R210 II (petit serveur 1u faible profondeur)

J'ai fais des photos de la machine ouverte.
Titre: Changement du serveur LaFibre.info
Posté par: Leon le 09 mai 2012 à 20:29:58
OK, merci pour les infos. C'est le même boitier de serveur que pour les Dédibox.

Et surtout, merci pour tout ce que tu fais pour la communauté!
Ca devient vraiment un truc de pro, ce site, avec le test de débit, les smokeping, les statistiques, etc...
Entre le temps et l'argent que tu investis dans ce projet, ça doit être énorme.

Nous te devons une fière chandelle!  :)

Leon.
Titre: Changement du serveur LaFibre.info
Posté par: vivien le 11 mai 2012 à 06:47:41
Je ne suis pas le seul à investir, la partie hébergement et connectivité internet m'est fournie par Maxnod gratuitement.

La copie des fichiers entre les deux serveurs est en cours.

Je terminerais par les base de données (je couperais l’accès au site avant cette manipulation). LaFibre.info va donc être inaccessible quelques dizaines de minutes.
Titre: Changement du serveur LaFibre.info
Posté par: vivien le 11 mai 2012 à 08:59:03
Le site est migré.

Cela a mis un peu plus de temps que prévu : j'ai bien bataillé pour trouver ce qui bloquait : un simple module d'apache2 non activé.

N'hésitez pas a me dire si il y a des choses qui ne fonctionnent pas !
Titre: Changement du serveur LaFibre.info
Posté par: telandgo le 11 mai 2012 à 14:37:50
Pour moi c'est plutôt rapide à l'affichage je ne vois pas tellement de différence(ADSL 4Mbps/600Kbps - ping lafibre.info 58ms).
Mais je ne suis pas encore en FTTH à Bourg en Bresse quand je serai raccordable reso-liain on pourra se contacter via lyonix et là ça devrait envoyer.
Titre: Changement du serveur LaFibre.info
Posté par: vivien le 11 mai 2012 à 14:42:39
Coté perf il y a des petits réglages (là par exemple le DNS primaire est en time-out) mais sinon on devrait gagner en perf et stabilité.

Les connexions à très haut débit devraient avoir des SpeedTest plus stables au débit max et ceux qui ont des connexions > 100 Mb/s devraient voir un gain de débit.
Titre: Changement du serveur LaFibre.info
Posté par: Leon le 11 mai 2012 à 19:09:22
Je ne suis pas le seul à investir, la partie hébergement et connectivité internet m'est fourni par Maxnod gratuitement.
OK, donc nous avons un gentil mécène en la personne de Lionel Drevon.

Donc merci à lui aussi!

Leon.
Titre: Changement du serveur LaFibre.info
Posté par: vivien le 12 mai 2012 à 09:05:04
Petit bug corrigé ce matin : le dictionnaire orographique n'était pas en français. (le bouton "Vérification orthographique" quand on rédige un message, pas très utile avec des navigateurs modernes comme firefox)
J'utilise libraire php5 pspell mais j'avais oublié d'installer les dictionnaires français (aspell-fr)
Titre: Changement du serveur LaFibre.info
Posté par: Optrolight le 12 mai 2012 à 11:26:31
Je me disais bien aussi que je faisais plus de fautes que d'ordinaire !!!  ;D
Titre: Changement du serveur LaFibre.info
Posté par: netegalkaka le 12 mai 2012 à 22:59:08
Smokeping n'est plus disponible https://lafibre.info/dns/smokeping.cgi?target=SFR (https://lafibre.info/dns/smokeping.cgi?target=SFR)
Software error:

RRDs::info /home/vivien/www/smokeping/telandgo/Arbent.rrd: ERROR: This RRD was created on another architecture at /usr/share/perl5/Smokeping/RRDtools.pm l
Titre: Changement du serveur LaFibre.info
Posté par: le 13 mai 2012 à 05:01:42
Petit bug corrigé ce matin : le dictionnaire orographique n'étais pas en français.
Ceci explique cela?
Titre: Changement du serveur LaFibre.info
Posté par: vivien le 13 mai 2012 à 09:17:32
Les fichiers rrdtool de SmokePing dépendent de l'architecture et sont donc différents sur un système 32 bits (le cas du précédent serveur) d'un serveur 64bits (le nouveau serveur).

Il faut donc faire un script pour exporter au format xml les fichiers rrd sur l'ancin puis les importer sur le nouveau serveur.

Ma difficulté pour faire le script vient que les fichiers sont stockés dans des dizaines de sous-dossiers et qu'il faut donc re-créer l'architecture cible.

Le script que j'ai commencé à faire pour exporter en xml :
#!/bin/bash

PATHSOURCE='/home/vivien/www/smokeping'
PATHDEST='/home/vivien/tmp/smokeping'
i=1

for fich in `find $PATHSOURCE -name *.rrd`
do
        echo "Fichier Numero $i"

        echo "rrdtool dump $fich ${fich%rrd}xml"
        #rrdtool dump $fich ${fich%rrd}xml

        echo "mv ${fich%rrd}xml $PATHDEST:${fich%rrd}xml"
        #mv ${fich%rrd}xml $PATHDEST:${fich%rrd}xml

        i=$(( $i + 1 ))
done

Il ne fonctionne pas pour les sous-dossiers, si vous savez comment faire je suis preneur... (je suis en randonnée aujourd'hui, je ne pourrais m'en occuper que ce soir)
Titre: Changement du serveur LaFibre.info
Posté par: Nico_S le 13 mai 2012 à 09:20:56
je suis en randonnée aujourd'hui, je ne pourrais m'en occuper que ce soir

Et tu n'as pas un micro PC greffé dans un avant bras pour continuer de travailler même en marchant pendant ta randonnée ?

Je suis déçu  ;)

Bonne rando.

Cdt

Nico
Titre: Changement du serveur LaFibre.info
Posté par: le 13 mai 2012 à 09:31:56
Citer
find $PATHSOURCE -name *.rrd
;)

Pour ma part, je préfère nettement
for fich in **/*.rrd(.)
Titre: Changement du serveur LaFibre.info
Posté par: seb le 13 mai 2012 à 15:20:21
Je n'ai pas de bases RRD sous la main, donc voici un exemple inutile à base de quelques fichiers FLAC pour donner une idée.
#!/bin/bash

# Répertoires source et destination
SRC="/avant/media/musique/flac"
DST="/apres/Media/Musique/FLAC"

# Il est nécessaire de redéfinir l'IFS pour gérer correctement les espaces dans les noms de fichiers.
# N.B. : cette syntaxe fonctionne en BASH, mais pas en DASH (/bin/sh sous Debian)
IFS=$'\n'
for src in $( find "${SRC}" -type f -name '*.flac' )
do
        # Construction du chemin complet de destination
        dst=$( echo "$src" | sed -e "s%${SRC}%${DST}%" )

        # Extraction du répertoire de ce chemin
        rep=$( dirname "$dst" )

        # Création du répertoire de destination, si nécessaire.
        # C'est un peu léger, on ne récupère pas les éventuelles ACL posées sur les répertoires d'origine.
        test -d "${rep}" || mkdir -p "${rep}"

        # Export des tags du fichier source vers la destination, pour rendre l'exemple intéressant.
        tag="${dst%flac}tag"
        metaflac --export-tags-to="${tag}" "${src}"
done

Ce qui nous donne ceci :

Un album dans l'arborescence d'origine :
Citer
root@qnux:~# find /avant/
/avant/
/avant/media
/avant/media/musique
/avant/media/musique/flac
/avant/media/musique/flac/Air
/avant/media/musique/flac/Air/Love 2
/avant/media/musique/flac/Air/Love 2/06. Tropical Disease.flac
/avant/media/musique/flac/Air/Love 2/04. Be a Bee.flac
/avant/media/musique/flac/Air/Love 2/05. Missing The Light Of The Day.flac
/avant/media/musique/flac/Air/Love 2/11. You Can Tell It To Everybody.flac
/avant/media/musique/flac/Air/Love 2/07. Heaven's Light.flac
/avant/media/musique/flac/Air/Love 2/09. Sing Sang Sung.flac
/avant/media/musique/flac/Air/Love 2/02. Love.flac
/avant/media/musique/flac/Air/Love 2/10. Eat My Beat.flac
/avant/media/musique/flac/Air/Love 2/01. Do The Joy.flac
/avant/media/musique/flac/Air/Love 2/03. So Light Is Her Footfall.flac
/avant/media/musique/flac/Air/Love 2/12. African Velvet.flac
/avant/media/musique/flac/Air/Love 2/08. Night Hunter.flac
/avant/lost+found

Le contenu de l'arborescence cible après exécution du script :
Citer
root@qnux:~# find /apres/
/apres/
/apres/lost+found
/apres/Media
/apres/Media/Musique
/apres/Media/Musique/FLAC
/apres/Media/Musique/FLAC/Air
/apres/Media/Musique/FLAC/Air/Love 2
/apres/Media/Musique/FLAC/Air/Love 2/01. Do The Joy.tag
/apres/Media/Musique/FLAC/Air/Love 2/07. Heaven's Light.tag
/apres/Media/Musique/FLAC/Air/Love 2/11. You Can Tell It To Everybody.tag
/apres/Media/Musique/FLAC/Air/Love 2/02. Love.tag
/apres/Media/Musique/FLAC/Air/Love 2/03. So Light Is Her Footfall.tag
/apres/Media/Musique/FLAC/Air/Love 2/08. Night Hunter.tag
/apres/Media/Musique/FLAC/Air/Love 2/09. Sing Sang Sung.tag
/apres/Media/Musique/FLAC/Air/Love 2/04. Be a Bee.tag
/apres/Media/Musique/FLAC/Air/Love 2/12. African Velvet.tag
/apres/Media/Musique/FLAC/Air/Love 2/05. Missing The Light Of The Day.tag
/apres/Media/Musique/FLAC/Air/Love 2/10. Eat My Beat.tag
/apres/Media/Musique/FLAC/Air/Love 2/06. Tropical Disease.tag

Le renommage d'arborescence, c'est juste pour illustrer le propos.
Il ne me viendrait pas à l'idée d'en passer par un script shell juste pour renommer une arborescence : mmv est nettement plus efficace pour ça.
Titre: Changement du serveur LaFibre.info
Posté par: le 13 mai 2012 à 15:26:43
Citer
# Il est nécessaire de redéfinir l'IFS pour gérer correctement les espaces dans les noms de fichiers.
# N.B. : cette syntaxe fonctionne en BASH, mais pas en DASH (/bin/sh sous Debian)
IFS=$'\n'
Ah oui, et si il a un \n dans un nom?

Rien à faire de spécial avec **/*(.) quels que soient les caractères!  8)

Votez bien, votez Z!  :D

Tu traites tes fichiers audio en root?!!  :o
Titre: Changement du serveur LaFibre.info
Posté par: Gilum le 13 mai 2012 à 15:45:29
Tu n'a pas gardé le script que j'avais fait il y a quelque année déjà pour la migration smokeping 32 vers 64 ?? :)
Titre: Changement du serveur LaFibre.info
Posté par: seb le 13 mai 2012 à 16:05:03
Ah oui, et si il a un \n dans un nom?

Rien à faire de spécial avec **/*(.) quels que soient les caractères!  8)
Je ne connais pas cette syntaxe, et mon système non plus, apparemment :
Citer
root@qnux:/avant# for fich in **/*.flac(.); do echo $fich; done
-bash: Erreur de syntaxe près du symbole inattendu « ( »
Et des fichiers dont le nom contient un retour chariot, ça ne court pas les rues.

Tu traites tes fichiers audio en root?!!  :o
La réponse est non.
C'était juste un exemple, à partir de la copie d'un album dans des filesystems créés pour l'occasion et détruits juste après.
C'est dimanche, j'ai la flemme, et je mets en garde : "Cette cascade était réalisée par un malade, ne tentez pas de faire ça chez vous".  :o
Titre: Changement du serveur LaFibre.info
Posté par: le 13 mai 2012 à 16:06:25
Mauvais shell, changer de shell!

Votez Z!
Titre: Changement du serveur LaFibre.info
Posté par: seb le 13 mai 2012 à 16:47:05
Mauvais shell, changer de shell!

Votez Z!

La syntaxe est celle de zsh, pour ceux qui n'auraient pas encore saisi l'allusion.

La seule chose que j'ai envie de te répondre :
Mauvais esprit, changer esprit !