La Fibre
Fonctionnement du forum => A lire avant de commencer... => 
Évolution de LaFibre.info, bugs et critiques => Discussion démarrée par: vivien le 04 novembre 2016 à 12:34:25
-
Le disque dur du serveur LaFibre.info m'a compétemment lâché, après 4 ans et demi de bon services, je suis passé sur un serveur provisoire avec la sauvegarde de 9h45 de ce matin.
Je vais chez Maxnod le changer Lundi et je ferais la bascule dans l'autre sens mercredi matin.
Mon choix s'est porté sur un SSD Samsung 850 Pro 512 Go avec garantie de 10ans.
Comme j'ai repris une sauvegarde, ce qui a été fait entre 9h45 et midi est perdu par contre. C'est également le cas des messages privés envoyé pendant ce même laps de temps.
PS : pas de graphe SmokePing sur ce serveur provisoire. Retour des Smokeping mercredi matin quand je verais la migration du serveur provisoire vers le serveur Adeli / Maxnod.
Pour ceux que cela intéresse, voici le type de message qu'un disque dur HS génère dans les log dmesg (il suffit de taper dmesg dans un terminal pour y avoir accès)
=> 201611_dmesg_disque_dur_hs.txt (https://lafibre.info/images/stats/201611_dmesg_disque_dur_hs.txt)
Le temps à gauche est le temps qui s'est écoulé en secondes depuis le dernier démarrage du serveur.
-
C'est ce qui me semblait. j'ai perdu la connexion à un peu plus de midi. Bravo pour la rapidité de basculement. Je ne pensais pas que tu avais un serveur de secours pour récupérer le site. Le cache DNS m'a joué des tours (Free). je suis passé sur ceux de google (IPv4 et Ipv6).
-
Quand j'ai vu les soucis sur le disque, j'ai modifié le TTL DNS pour passer de 24h à 1minute, me disant que cela pourrait peut-être servir si la situation se dégrade.
Cela a été utile.
-
Je confirme, cela a été très utile.
-
Et bravo !
-
Bravo à Vivien.
Là, franchement c'est fort. Le downtime est très faible, tu as trouvé une solution de secours très rapidement, et tu as même anticipé la panne complète avec le DNS.
Comme quoi, même avec du matériel non redondé, on peut assurer une disponibilité très correcte!
Tu fais des backup incrèmentales à quelle fréquence?
Leon.
-
Toutes les nuits il y a une sauvegarde incrèmentale et je garde les 7 dernières sauvegardes.
Celle de 9h45, c'est par ce que je me suis aperçu que la base de donnée n'avait pas été sauvegardée la nuit car la partition /home où sont faite les sauvegardes de la base était en lecture seule. (sur le serveur j'exporte la base de donnée avant de démarrer la sauvegarde incrèmentale distante)
Aujourd'hui ma sauvegarde de la base de donnée se fait avec mysqldump -u user -ppass base_de_données > export_db.sql et la problématique c'est que pendant la sauvegarde, toutes les requêtes sur la base sont mises en attentes. Il faudrait que je regarde comment faire une sauvegarde qui n’impacte pas les perf, si je souhaite le faire en journée. (c'est une base MyISAM, il me semble qu'il faut changer de type pour une sauvegarde qui laisse faire des requêtes en //)
-
Un petit conseil pour le futur.
Pour sauvegarder ta base de données, tu l'isole sur une partition LVM dédiée, et ensuite tu sauvegarde avec mylvmbackup.
Tu verras, ça change la vie ;-)
-
Et la duplication?
-
Les MyISAM sont très bonnes pour de la lecture, mais pour de l'écriture/suppression etc les perfs sont moyennes, InnoDB est meilleur en write mais moins bon en read.
Sinon bravo vivien pour le taff' de migration ! J'avais même pas remarqué ce midi être sur un autre serveur, les perfs sont aussi bonnes!
-
+1 pour le downtime, même pas eu le temps de s'en rendre compte ;-)
-
Moi j'ai du travailler pendant 30 minutes au moins !
-
@Hugues
Ouah! Tu as réussi l'insurmontable !
-
Les MyISAM sont très bonnes pour de la lecture, mais pour de l'écriture/suppression etc les perfs sont moyennes, InnoDB est meilleur en write mais moins bon en read.
Donc il ne faut rien changer vu mes stats SQL ?
(https://lafibre.info/images/stats/201611_stats_mysql_commands.png)
-
Visiblement non ;-)
Après, les perfs dépendent parfois aussi du serveur SQL utilisé.
Perso en prod/dev j'utilise Percona MySQL en XtraDB pour certaines choses (fork Percona de InnoDB), j'ai constaté une légère amélioration dans la moyenne du temps de réponse des requêtes ; et MyISAM pour d'autres, et même en MEMORY (ram) pour certaines choses qui n'ont pas besoin d'être conservées.
PS: C'est quoi le soft pour les graphs comme tu as fait ?
EDIT: Trouvé, RRDTool, j'ai réussi à déchiffrer le truc écrit à droite.
-
C'est surtout Munin :)
-
C'est surtout Munin :)
Ah oui je me souviens l'avoir testé en local celui là.
J'aimais bien. Je ne me souvenais pas par contre qu'on pouvait faire du monitoring MySQL là-dessus. Probablement avec des plug-ins?
-
Par défaut (auto-détection) il fait du MySQL.
Il fait plutôt trop de graphe, il faut penser à supprimer ceux qui sont par trop utiles.
-
Salut. Mardi matin, je constate que la migration n'a pas été effectuée, nous sommes toujours sur le serveur temporaire.
J'espère qu'il n'y a rien de grave...
Bon courage à Vivien pour la suite, dans tous les cas.
Leon.
-
Pourtant, on me dit que vivien a bien été à Maxnod hier :)
-
Bonjour,
@vivien, pas de raid sur le serveur pour assurer la disponibilité même en cas de crash d'un disque ?
-
Pour le RAID, on en a parlé dans un autre sujet, j'ai préféré être en mesure de basculer sur un autre serveur rapidement :
C'est un serveur entrée de gamme, avec le disque dur dans le serveur.
Lors de l'installation, il y a 4 ans et demi, j'avais 3 choix possibles :
- Raid hardware en doublant le prix du serveur (les options sont hors de prix sur les serveurs Dell entrée de gamme : sur son successeur, le Poweredge R220 un disque Sata de base à 7200tr/min à 1 To est à 171€. Pour un 2 To, c'est 278€. La carte RAID : 189€. Reste la problématique de la supervision du RAID et j'ai déja vu un RAID 5 perdu à cause de deux disques tombés en panne en peu de temps.
- Raid software. J'ai toujours un peu de mal à comprendre comment l'ordinateur boot, si il perd le premier disque, celui qui as la partition /boot (à l'époque un seul disque avait cette partition dans le raid software, je ne sais pas si on a améliorer les choses depuis)
- Aucun Raid (mon choix) mais sauvegarde différentielle quotidienne. Il y a 4ans et demi, je m'étais posé la question du SSD, mais c'était encore un peu jeune à l'époque. Aujourd'hui je suis persuadé que pour des petits volume d'écriture, ils sont plus fiables, sans parler du gain en vitesse et consommation électrique.
Pour Maxnod, je vois que tout se sait rapidement ;D
Le serveur a maintenant son SSD mais je n'ai pas encore tout installé.
J'avais prévu la migration mercredi matin :
Je vais chez Maxnod le changer Lundi et je ferais la bascule dans l'autre sens mercredi matin.
Mon choix s'est porté sur un SSD Samsung 850 Pro 512 Go avec garantie de 10ans.
PS : pas de graphe SmokePing sur ce serveur provisoire. Retour des Smokeping mercredi matin
Maintenant j'ai eu quelques idées pour limiter les écritures sur le SSD (mettre les SmokePing en ramdisque et ne pas recopier systématiquement sur le SSD) et il est possible que le mercredi matin se transforme en jeudi matin si je manque de temps (je préfère faire des tests et reboot sans que cela soit en prod)
Jeud matin, c'est au plus tard, car outre le manque de Smokeping, le nouveau serveur semble avoir des problèmes pour l'envoi de mails:
Stats postfix avec le serveur Adeli :
(https://lafibre.info/images/stats/201610_postfix_mailqueue.png)
Avec le serveur temporaire :
(https://lafibre.info/images/stats/201611_postfix_mailqueue.png)
-
Déjà tu n'as pas de reverse, pour les mails c'est problématique.
Pour Maxnod, je vois que tout se sait rapidement ;D
Le monde est petit ! :)
-
Aha ! Je comprend pourquoi je ne reçois plus de notif :D
A priori cela concerne au moins gmx & caramail.
Pour le RAID soft, c'est vrai que je ne sais pas comment on peut booter dessus. Mon expérience se limite à juste assembler des RAID depuis un linux qui boot sur un disque dédié.
Mais bon, rien ne t'aurais empêché d'avoir un petit disque pour le boot et un raid soft pour le reste. Cela semble moins cher que le RAID hardware.
Bon, maintenant la solution actuelle fonctionne plutôt (très) bien, donc acte :D
Les SSD c'est bon, mangez en ;)
-
- Raid software. J'ai toujours un peu de mal à comprendre comment l'ordinateur boot, si il perd le premier disque, celui qui as la partition /boot (à l'époque un seul disque avait cette partition dans le raid software, je ne sais pas si on a améliorer les choses depuis)
Euh, depuis le début, mdadm va copier ton /boot sur l'ensemble de tes disques dans la grappe RAID1, c'est ce qui se fait généralement.
Par contre, effectivement, il faut repasser un coup de "grub-update" ou autre pour qu'il ne prenne plus "/dev/sda1", mais "/dev/md0", sinon t'es niqué ^^
-
Le serveur a maintenant son SSD mais je n'ai pas encore tout installé.
J'avais prévu la migration mercredi matin :
Je vais chez Maxnod le changer Lundi et je ferais la bascule dans l'autre sens mercredi matin.
Mon choix s'est porté sur un SSD Samsung 850 Pro 512 Go avec garantie de 10ans.
PS : pas de graphe SmokePing sur ce serveur provisoire. Retour des Smokeping mercredi matin
OK, ça confirme que je ne sais pas lire... ;)
(Ou alors que je lis en diagonale, ce qui revient au même).
Merci Vivien pour tout ce que tu fais pour notre communauté!
Leon.
-
caramail
:o :o :o
-
le serveur a été rebrancher vers 18h donc avec un peu de chance il sera en prod ce mercredi
@vivien est ce que ça sera la 16.04 d'ubuntu comme version ?
(http://zupimages.net/up/16/45/4b3m.jpg)
-
Le servuer est en place depuis Lundi.
Hier, j'ai mis Apache, ça dois être ça ton graphe, la réponse en TCP
Pas d'Ubuntu 16.04, car seul PHP 7 est proposé et SMF n'est pas compatible PHP 7.
C'est à grand regret que j'ai remis Ubuntu 14.04.5 (qui utilise le même Kernel que Ubuntu 16.04 : le 4.4)
-
Le servuer est en place depuis Lundi.
Hier, j'ai mis Apache, ça dois être ça ton graphe, la réponse en TCP
Pas d'Ubuntu 16.04, car seul PHP 7 est proposé et SMF n'est pas compatible PHP 7.
C'est à grand regret que j'ai remis Ubuntu 14.04.5 (qui utilise le même Kernel que Ubuntu 16.04 : le 4.4)
tu peux mettre Ubuntu 16.04 et faire tourner le site dans un conteneur (Docker ou Rkt) sous 14.04.5... tu y gagnera en souplesse de config, admin, maj, etc
-
+1 pour Docker (je voulais la faire avant ton post :)
-
Je démarre la migration du forum : A partir de 4h00 le forum sera en lecture seule le temps de l'opération et de la propagation des DNS...
-
Migration terminée...
-
Bravo Vivien et merci pour tous ce travail !!!
-
Tout pareil, un grand merci à Vivien, qui n'hésite pas à se lever à 4h du matin pour nous!
Du travail de pro, tout s'est visiblement déroulé comme prévu, bravo!
Leon.
-
Bravo Vivien. Ce n'était peut-être quand même pas la peine de te lever à 4h du matin pour faire la migration. On aurait compris, avec un message l'annonçant, une migration à une heure plus normale.
-
A cette heure là, Vivien va se coucher d'habitude... :)
La bière peut couler à flot !
-
Cela prend un peu de temps à faire.
Le soir, il y a beaucoup de personnes connectés, même tard.
Le matin à 8h00, j'ai eu peur que malgré la validité des info DNS à 1minute, de nombreux serveur DNS vont continuer a renvoyer vers l'ancienne IP.
Bref la nuit c'est l'idéal.
Je ferais un retour, via les log sur l'ancien serveur, des DNS qui conservent plusieurs heures des info obsolètes.
-
Le miens force les TTL uniquement pour les sites style Twitter qui ont en permanence un TTL bas, et ça m'a permis d'éviter le soucis de Dyn ;-)
-
Hé ! J'ai les mails de notifications qui refonctionnent ! Donc à priori le problème mails ça vient du serveur de secours.
-
Je l'ai dit oui, le serveur temporaire n'a pas de reverse.
-
Le reverse est faux depuis très longtemps!
-
Oui le serveur provisoire n'avait pas de reverse. Le serveur actuel à un reverse IPv4 correct depuis plus de 7ans et IPv6 depuis 4ans.
Voici le type d'erreur que je retrouve dans Mailq : (j'ai supprimé les doubles)
On note que les e-mails sont rarement gérés en IPv6 (gmail est le seul IPv6 de la liste)
(connect to smtp.pregonetwork.net[82.243.188.209]:25: Connection timed out)
(conversation with mx4.ovh.net[213.186.33.74] timed out while receiving the initial server greeting)
(delivery temporarily suspended: conversation with mx4.ovh.net[213.186.33.74] timed out while receiving the initial server greeting)
(delivery temporarily suspended: host mailin-04.mx.aol.com[152.163.0.100] refused to talk to me: 421 mtaig-aak02.mx.aol.com Service unavailable - try again later)
(delivery temporarily suspended: host mx00.caramail.com[212.227.15.30] refused to talk to me: 554-gmx.net (mxgmx009) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx00.caramail.com[212.227.15.30] refused to talk to me: 554-gmx.net (mxgmx013) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx00.gmx.net[212.227.15.10] refused to talk to me: 554-gmx.net (mxgmx003) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx00.gmx.net[212.227.15.10] refused to talk to me: 554-gmx.net (mxgmx005) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx00.gmx.net[212.227.15.10] refused to talk to me: 554-gmx.net (mxgmx006) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx00.gmx.net[212.227.15.10] refused to talk to me: 554-gmx.net (mxgmx008) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx00.gmx.net[212.227.15.10] refused to talk to me: 554-gmx.net (mxgmx010) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx01.1and1.fr[217.72.192.67] refused to talk to me: 554-kundenserver.de (mxeue106) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx01.caramail.com[217.72.192.76] refused to talk to me: 554-gmx.net (mxgmx101) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx01.caramail.com[217.72.192.76] refused to talk to me: 554-gmx.net (mxgmx109) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx01.caramail.com[217.72.192.76] refused to talk to me: 554-gmx.net (mxgmx111) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host mx01.gmx.net[212.227.17.4] refused to talk to me: 554-gmx.net (mxgmx101) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(delivery temporarily suspended: host smtp-in.sfr.fr[93.17.128.123] refused to talk to me: 554 05/07/01 Client host rejected: cannot find your reverse hostname, [194.158.119.186])
(delivery temporarily suspended: host smtp-in.sfr.fr[93.17.128.165] refused to talk to me: 554 05/07/01 Client host rejected: cannot find your reverse hostname, [194.158.119.186])
(host dbox.crifo.org[163.172.198.88] said: 450 04/07/01 Client host rejected: cannot find your reverse hostname, [194.158.119.186] (in reply to RCPT TO command))
(host gmail-smtp-in.l.google.com[2a00:1450:400c:c0b::1b] said: 452-4.2.2 The email account that you tried to reach is over quota. Please direct 452-4.2.2 the recipient to 452 04/02/02 https://support.google.com/mail/?p=OverQuotaTemp x7si4420488wjf.26 - gsmtp (in reply to RCPT TO command))
(host gmail-smtp-in.l.google.com[74.125.133.26] said: 452-4.2.2 The email account that you tried to reach is over quota. Please direct 452-4.2.2 the recipient to 452 04/02/02 https://support.google.com/mail/?p=OverQuotaTemp o76si5208234wmi.60 - gsmtp (in reply to RCPT TO command))
(host mail2-smtp-roc.national.inria.fr[192.134.164.81] refused to talk to me: 554-mail2-smtp-roc.national.inria.fr 554 Your access to this mail system has been rejected due to the sending MTA's poor reputation. If you believe that this failure is in error, please contact the intended recipient via alternate means.)
(host mailin-01.mx.aol.com[152.163.0.99] refused to talk to me: 421 mtaig-aao04.mx.aol.com Service unavailable - try again later)
(host mailin-02.mx.aol.com[152.163.0.68] refused to talk to me: 421 mtaig-aaa02.mx.aol.com Service unavailable - try again later)
(host mailin-02.mx.aol.com[152.163.0.68] refused to talk to me: 421 mtaig-aae01.mx.aol.com Service unavailable - try again later)
(host mailin-03.mx.aol.com[64.12.88.163] refused to talk to me: 421 mtaig-mcb01.mx.aol.com Service unavailable - try again later)
(host mailin-04.mx.aol.com[152.163.0.100] refused to talk to me: 421 mtaig-aak02.mx.aol.com Service unavailable - try again later)
(host mailin-04.mx.aol.com[152.163.0.67] refused to talk to me: 421 mtaig-aal02.mx.aol.com Service unavailable - try again later)
(host mx00.1and1.fr[212.227.15.41] refused to talk to me: 554-kundenserver.de (mxeue006) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx00.caramail.com[212.227.15.30] refused to talk to me: 554-gmx.net (mxgmx009) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx00.caramail.com[212.227.15.30] refused to talk to me: 554-gmx.net (mxgmx013) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx00.gmx.net[212.227.15.10] refused to talk to me: 554-gmx.net (mxgmx003) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx00.gmx.net[212.227.15.10] refused to talk to me: 554-gmx.net (mxgmx005) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx00.gmx.net[212.227.15.10] refused to talk to me: 554-gmx.net (mxgmx006) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx00.gmx.net[212.227.15.10] refused to talk to me: 554-gmx.net (mxgmx008) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx01.1and1.fr[217.72.192.67] refused to talk to me: 554-kundenserver.de (mxeue104) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx01.1and1.fr[217.72.192.67] refused to talk to me: 554-kundenserver.de (mxeue105) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx01.caramail.com[217.72.192.76] refused to talk to me: 554-gmx.net (mxgmx101) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx01.caramail.com[217.72.192.76] refused to talk to me: 554-gmx.net (mxgmx109) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx01.caramail.com[217.72.192.76] refused to talk to me: 554-gmx.net (mxgmx111) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx01.gmx.net[212.227.17.4] refused to talk to me: 554-gmx.net (mxgmx101) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record, IP=194.158.119.186)
(host mx1.mail.ovh.net[178.33.124.171] said: 450 04/07/01 Client host rejected: cannot find your reverse hostname, [194.158.119.186] (in reply to RCPT TO command))
(host smtp2.lerelaisinternet.com[194.206.126.203] said: 450 04/07/01 Client host rejected: cannot find your reverse hostname, [194.158.119.186] (in reply to RCPT TO command))
(host smtp-in.sfr.fr[93.17.128.123] refused to talk to me: 554 05/07/01 Client host rejected: cannot find your reverse hostname, [194.158.119.186])
(host smtp-in.sfr.fr[93.17.128.165] refused to talk to me: 554 05/07/01 Client host rejected: cannot find your reverse hostname, [194.158.119.186])
-
Migration terminée...
Bravo 8)
-
@vivien: t'as bien bossé :o
Repose toi maintenant (week-end de 3j en plus) ;-)
-
La migration n'a pas dû gêner grand-monde à cette heure, c'est très sympa, merci, mais le sommeil c'est important aussi. Heureusement le week-end arrive ;D
-
Le reverse est faux depuis très longtemps!
On s'en fout, tant qu'il y'en a un.
-
@vivien: t'as bien bossé :o
Repose toi maintenant (week-end de 3j en plus) ;-)
C'est pas au programme non :D
-
On s'en fout, tant qu'il y'en a un.
Non, TU t'en fiches, nous non.
-
nous ? Tu gères des serveurs Mail ?
Dis moi en quoi le reverse est faux, qu'on rigole un coup.
-
Le reverse semble correct, maintenant.
Merci à vivien d'avoir rectifié.