La Fibre
Fonctionnement du forum => A lire avant de commencer... => 
Évolution de LaFibre.info, bugs et critiques => Discussion démarrée par: vivien le 17 juin 2015 à 19:15:13
-
Quel logiciel pour remplacer SmokePing ?
URL du SmokePing de lafibre.info : https://lafibre.info/dns/smokeping.cgi
SmokePing est lent, car a chaque affichage de page, il faut de nombreuses requêtes et notamment des requêtes DNS vers l'ensemble des nom de domaine du SmokePing (il suffit qu'un seul prennent du temps pour finir en time-out pour que le délai de chargement de page soit de plusieurs dizaines de secondes). J'ai mis des IP en dur pour tout ce qui est possible, mais cela reste lent (ce n'est pas un problème de CPU coté serveur)
Je voudrais utiliser SmokePing dans le futur pour comparer les peering des différents opérateurs : Sur chaque courbe, on va voir le temsp de réponse depuis plusieurs FAI. SmokePing sait le faire mais je pense qu'il serait peut-être pertinent d'en profiter pour changer d'outil pour qq chose de plus moderne que SmokePing (qui est en CGI (https://fr.wikipedia.org/wiki/Common_Gateway_Interface)) avec une interface qui pourrait s'adapter à des petits écrans en bonus.
Si vous avez des idées, j'ouvre grand mes deux oreilles !
-
Si tu n'as rien contre zabbix, il doit être possible d'ajouter des sondes qui remplissent le même rôle que smokeping :
https://github.com/komeiy/Smokeping_Zabbix
par exemple
Il me semble que des softs proprios savent aussi faire cela mais j'ai oublié les noms.
-
http://www.splunk.com/ a la cote dans le monde Pro mais c'est peut-etre un peu overkill pour remplacer SmokePing...
-
Smokeping 2 n'est plus maintenu et SmokePing 3 ne semble plus avancer : les deniers comit datent de 2013.
Je pense qu'il faut sereinement envisager de le remplacer.
sinon le truc a la mode en ce moment c'est https://prometheus.io/ (largement plus moderne que smokeping :) )
y'a un exporter qui fait, entres autres, du http , ping et dns: https://github.com/prometheus/blackbox_exporter c'est peut-etre la solution pour remplacer Smokeping (du moins un début, y'a peut-etre des trucs a changer/modifier).
Zabbix, ne pourrait pas répondre au besoin pour remplacer SmokePing ?
Zabbix est plus utilisé pour superviser des réseaux, mais il sais faire des ping et des requêtes https.
-
Zabbix est surtout superpuissant pour du monitoring d'applications. Ça fait 7 mois que j'en ai un au boulot, j'ai pas encore réussi à faire le tour du soft :D
-
Zabbix, ne pourrait pas répondre au besoin pour remplacer SmokePing ?
Zabbix est plus utilisé pour superviser des réseaux, mais il sais faire des ping et des requêtes https.
Zabbix c'est de la "old tech" comme SmokePing (la v1.0 de Zabbix date de 2001).
Si tu veux un truc moderne c'est Prometheus qui fait parti de l'éco-systeme Cloud Native Foundation: https://www.cncf.io/ (cf les membres pour avoir une idée de qui est derrière: https://www.cncf.io/about/members/).
Apres c'est un choix et une philosophie: utiliser des vieux trucs peut-être plus éprouvés et plus stables (encore que) mais gonflants et souvent très lourds à mettre en oeuvre ou alors des trucs plus fun, light et tournés vers le futur .
C'est pas comme si t'avais une centrale nucléaire a monitorer en plus...
-
Pourquoi sous prétexte que c'est vieux, ça devrait être mauvais ? Raisonnement très étrange...
-
des trucs plus fun
Si tu arrives à vendre un outil de monitoring avec cet argument je dis chapeau :D
-
Zabbix c'est de la "old tech" comme SmokePing (la v1.0 de Zabbix date de 2001).
- Zabbix a commencé à être développé en 1998. La version 1.0 est sorite en mars 2004
- Cacti a commencé à être développé en 2001. La version 1.0 est sorite en janvier 2017
Cacti est donc plus récent que Zabbix.
Pourtant Bouygues Telecom commence une lourde migration de tous les Cacti vers Zabbix.
Je vois que la société de Hugues a migré récemment vers Zabbbix.
Il dois exister des raisons ?
-
Zabbix est très flexible, rapide et il scale bien, c'est compliqué de trouver un outil de monitoring quand tu as 500 serveurs avec une 20 aine d'apps dessus qui t'envoient 50 valeurs chacunes toutes les minutes :)
Le système d'alerting est parfait aussi, le seul bémol c'est que c'est un peu trop manuel à mon gout.
Pour MilkyWan j'ai choisi Observium (la version Pro) + Munin, le 1er gérant l'aspect réseau & alerting basique, le second gérant l'applicatif
-
Il dois exister des raisons ?
On sait tous que les décisions 'corporate' sont basées sur plein de critères autre que la qualité intrinsèque d'un produit. L'éco-systeme, la dépendance a et l'influence des prestataires/fournisseurs, le copinage, le mimétisme, etc (je dis pas que tout cela s'applique nécessairement a Zabbix ).
Et j'ai pas dit que Zabbix n’était pas bon mais la on n'est pas dans le même contexte. Vivien cherche juste un truc pour remplacer SmokePing pas un truc pour monitorer le SI d'une grosse entreprise ou 500 serveurs.
-
FirePing de Mickael Marchand ? C'est fait avec plein d'horreurs modernes genre grafana et InfluxDB, kgersen va a-do-rer :D
-
Toi qui utilises FirePing ( https://github.com/mmarchand/fireping ), est-il possible de faire un mode master / slave ?
J'aimerais développer ce que je fais pour les Tiers1 ( https://lafibre.info/smokeping-tier-1/ ) ou les jeux en ligne ( https://lafibre.info/peering-fai/ ), il faut donc un mode master /slave.
SmokePing devient exponentiellement plus lent quand on rajoute des graphes.
-
Pas que je sache, mais si tu lui demande, je suis sur que mikmak peut regarder pour l'implèmenter, c'est basé sur grafana donc ça devrait être largement possible
-
les créateurs de Grafana ont un WorldPing managé sinon: https://grafana.com/plugins/raintank-worldping-app mais ca risque d'être payant pour la partie qui t’intéresse (ca utilise leur réseau de 20+ probes alors que toi tu veux tes probes).
live demo: https://worldpingdemo.grafana.net/ (click sur un endpoint pour voir les graphes).
mais c'est peut-etre utilisable en non managé par eux, le source est la: https://github.com/raintank/worldping-app je n'ai pas creusé plus.
si on recap jusqu'a présent, on:
* solution fireping: node.js (pour faire les pings) + influxdb (db time series) + sqlite3 (targets) + grafana (visu)
* solution prometheus: "blackblox exporter" (pour faire les pings, les targets sont dans un fichier yaml) + prometheus (db time series, self monitoring, etc, ) + grafana (visu)
* solution zabbix ou autre vieux truc: meuh (je laisse le soin a quelqu'un d'autre de compléter)
autres : ?
-
Il y a aussi milkyping, qui utilise le daemon smokeping pour la récupération des données mais dispose d'une interface plus "moderne"
-
* solution zabbix
=> Complexe à mettre en œuvre, c'est utiliser un bulldozer pour tuer une mouche.
* solution fireping: node.js (pour faire les pings) + influxdb (db time series) + sqlite3 (targets) + grafana (visu)
=> Ne permet pas du maître / esclave pour avoir des sondes réparties. Possibilité de développement ?
* solution prometheus: "blackblox exporter" (pour faire les pings, les targets sont dans un fichier yaml) + prometheus (db time series, self monitoring, etc, ) + grafana (visu)
=> Semble la solution le plus prometteuse, il faut que je teste.
* solution MilkyPing, probablement développé par MilkyWan / Hugues, vu que je ne trouve rien sur le net.
=> Hugues, tu nous en dit plus ?
-
* solution MilkyPing, probablement développé par MilkyWan / Hugues, vu que je ne trouve rien sur le net.
=> Hugues, tu nous en dit plus ?
On ne peut décidèment rien vous cacher.. :)
MilkyPing est un fork de smokeping, doté d'une interface sombre, d'une intégration de mtr et d'un design global basé sur bootstrap.
C'est développé par Thibault pour MilkyWan, et c'est pour l'instant resté en interne à cause de quelques bugs bloquants, mais en ""exclu"", si vous êtes en IPv6, voici voilà : http://milkyping.milkywan.xyz
Le but n'est pas de succéder à Smokeping ou réinventer le logiciel, c'est juste qu'on le trouvait affreux et que l'intégration mtr réalisée chez OVH est super pratique :)
-
On ne peut décidèment rien vous cacher.. :)
On a connu plus caché :P
https://git.milkywan.xyz/MilkyWan/milkyping-patch
-
Oui enfin le git n'est pas spécialement public, enfin en tout cas on ne fait aucune pub dessus, je me demande bien comment tu l'as trouvé :p (Il doit être dans un post lafibre cela dit) ;)
-
je me demande bien comment tu l'as trouvé :p (Il doit être dans un post lafibre cela dit)
D'un post sur lafibre effectivement :D
-
Bref, du coup Milkyping est en plein developpement, et on est entrain d'étudier des pistes pour l'accélérer en générant les images et en les cachant coté nginx pour que le chargement de la page soit instantané pour les previews
-
Toi qui utilises FirePing ( https://github.com/mmarchand/fireping ), est-il possible de faire un mode master / slave ?
J'aimerais développer ce que je fais pour les Tiers1 ( https://lafibre.info/smokeping-tier-1/ ) ou les jeux en ligne ( https://lafibre.info/peering-fai/ ), il faut donc un mode master /slave.
SmokePing devient exponentiellement plus lent quand on rajoute des graphes.
qu'entends-tu par master/slave ?
fireping tu peux avoir une DB commune ( ou master/slave si tu veux) et x sites origines (sites de test) différents, ca doit marcher normalement
je l'utilise déjà sur 2 sites avec une seule interface par ex
bon après, y a bcp de choses à améliorer
l'idée des trucs "modernes", c'est que de nos jours , y en a un poil marre de tout réécrire à chaque nouveau projet,
faire des graphes, y a graphana (qui fait meme alerting maintenant),
collecter de la data, y a influxdb, le rrd a vécu, il est temps de passer à autre chose ;)
du coup fireping le vrai code ca fait genre 10 lignes et ca fait bien le boulot ;)
Mik
-
C'est effectivement la bonne approche.
L'avantage que je vois pour Prometheus: il n'y a aucun code a écrire et il embarque lui-même sa propre TSDB (l’équivalent d'InfluxDB) donc moins d'install/admin à faire . En bonus Prometheus se 'monitor' lui même et on peut aussi ajouter un agent de monitoring système des machines utilisées.
Pour les agents de ping, il suffit de mettre une ou plusieurs "blackbox exporter" que le prometheus central ira interroger (ça peut être la meme machine).
tu peux meme t'en servir pour recevoir une alerte si un certificat est proche d'expirer: https://www.robustperception.io/get-alerted-before-your-ssl-certificates-expire/, pour monitorer le site de lafibre.info, sa base SQL, etc
Bref c'est bien plus qu'un outil de remplacement de SmokePing.
-
Un avantage de SmokePing, c'est que si un slave n'arrive pas a remonter les données (réseau indisponible, trop lent, ...) il garde les données pour transmettre tout plus tard.
J'ai testé une sonde derrière Free Mobile en itinérance Orange, les graphes se remplissent bien alors que SmokePing n'arrive pas toujours à joindre lafibre.info pour remonter les données.
sept. 25 19:18:18 freemobile smokeping[1467]: WARNING Master said 500 Can't connect to lafibre.info:443
sept. 25 19:18:18 freemobile smokeping[1467]: Curl: NOTE: smokeping took 498 seconds to complete 1 round of polling. This is over 80%% of the max time available for a polling cycle (600 seconds).
sept. 25 19:28:10 freemobile smokeping[1467]: Curl: NOTE: smokeping took 490 seconds to complete 1 round of polling. This is over 80%% of the max time available for a polling cycle (600 seconds).
sept. 25 19:39:43 freemobile smokeping[1467]: Curl: NOTE: smokeping took 583 seconds to complete 1 round of polling. This is over 80%% of the max time available for a polling cycle (600 seconds).
sept. 25 19:46:47 freemobile smokeping[1467]: WARNING Master said 500 Can't connect to lafibre.info:443
sept. 25 20:48:32 freemobile smokeping[1467]: WARNING Master said 500 Can't connect to lafibre.info:443
sept. 25 20:48:32 freemobile smokeping[1467]: Curl: NOTE: smokeping took 512 seconds to complete 1 round of polling. This is over 80%% of the max time available for a polling cycle (600 seconds).
sept. 25 20:58:16 freemobile smokeping[1467]: WARNING Master said 500 Can't connect to lafibre.info:443
sept. 25 20:58:16 freemobile smokeping[1467]: Curl: NOTE: smokeping took 496 seconds to complete 1 round of polling. This is over 80%% of the max time available for a polling cycle (600 seconds).
sept. 25 21:25:12 freemobile smokeping[1467]: WARNING Master said 500 Can't connect to lafibre.info:443
Par contre SmokePing consomme vraiment beaucoup de CPU sur mon serveur centralisant les données. J'ai un Xeon E3-1230 V2 @ 3.30GHz et Smokeping en moyenne un cœur 100% du temps.
Je viens de passer a un intervalle de 10 minutes pour les tests curl, je vais pouvoir rajouter d'autres hébergeur (aujourd'hui je ne compare que les peering d'Online et Adeli en hébergeur)
-
Bonjour je n’accède plus aux liens smokeping est ce normal ?
-
Idem pour moi, j'ai le message (Erreur 504 Gateway Time Out) :
"Gateway Timeout
The gateway did not receive a timely response from the upstream server or application."
Testé pour Orange, SFR, Bouygues Telecom et Free, avec Firefox et Chrome.
-
Testé pour Orange, SFR, Bouygues Telecom et Free, avec Firefox et Chrome.
C'est inutile, les erreurs 5xx viennent du serveur et non du client :)
-
Oui, il était assez clair que le serveur, ou les pages, ne répondait pas. A noter que le numéro d'erreur ne figure pas dans le contenu de la page, mais dans son titre.
-
Vivien, le problème semble toujours présent, l'as-tu vu ? :'(
-
Résolut !
Ce sont des hôtes DNS qui ne répondaient pas qui ont bloqué Smeokping.
Bon, je ne vous cache pas que je ne suis pas satisfait de Smokeping et que je cherche à le remplacer.
-
Ben, grafana avec de l'influxDB (et FirePing si tu veux, même si son code est trivial), ça reste pour moi l'alternative la plus simple et crédible.
Perso je préfère exploiter le mieux possible Smokeping. On a mis un MTR sur le nôtre : https://smokeping.as57199.net/?target=InternetV4.FAIProWebSite.FAIV4-6
-
Salut,
Résolut !
Ce sont des hôtes DNS qui ne répondaient pas qui ont bloqué Smeokping.
Bon, je ne vous cache pas que je ne suis pas satisfait de Smokeping et que je cherche à le remplacer.
Vu que cela date depuis début août, je suppose que la fermeture de dtdns y soit au moins pour quelque chose.
j'ai dépriorisé SmokePing et toutes les demandes.
Je vois toujours la moitié des smokeping de clients Orange sans ping.
Les changements sont toujours "dépriorisés" (en fait ce n'était pas traité quand j'avais posé la question^^)?
Depuis quelques instants, je teste un système de débrouille gratuite avec un vieux domaine gratuit que j'avais gardé (et que j'avais complètement oublié :P ).
Quelques limites, au cas où:
- uniquement changement manuel d'IP dans la gestion DNS du domaine de mon côté.
- TTL de 60 minutes (et je teste voir si le domaine est débridé sinon faut rajouter 1 à 3 semaines à chaque changement, ce qui serait vraiment pas top)*.
- et vu comment smokeping résout lui-même les dns: c'est un .nf (proche de l'Australie sans serveur d’autorité ailleurs).
- uniquement IPv4 via ce système de débrouille (mais je ne change presque pas de préfixe IPv6 contrairement à l'IPv4, ligne fibre Orange).
Edit: *c'est ok, mon domaine gratuit est débridé. Donc "juste" les 60 minutes.
Ajout aussi que c'est seulement en IPv4 via ce système de débrouille.
En attente de voir si les demandes SmokePing sont à nouveau traitées. :)
-
Au sujet du smokeping, je ne comprends pas pourquoi le miens est vide en IPv4 alors que le FQDN que j'ai donné à l'époque (home.zoc.me) pointe bien sur mon adresse IPv4 actuelle. Sachant qu'entre le moment où ma ligne a été ajoutée au smokeping et maintenant mon adresse IPv4 n'a changée qu'une fois.
Pas de problèmes en revanche pour IPv6 (home6.zoc.me), même après mon changement de préfixe...
Accessoirement j'utilise également ces FQDN depuis un slave smokeping (sur un VPS chez OVH) sans problèmes.
-
Résolut !
Ce sont des hôtes DNS qui ne répondaient pas qui ont bloqué Smeokping.
Bon, je ne vous cache pas que je ne suis pas satisfait de Smokeping et que je cherche à le remplacer.
Merci !
Personnellement, je cherche un script à héberger (php par exemple) qui permettrait de lancer des pings pour faire quelques vérifs à la demande.
Ma contrainte c'est de ne pas faire appel au système. J'ai bien essayé avec curl (http://php.net/manual/fr/book.curl.php) mais sans succès :(
EDIT :
Je n'avais a priori pas suffisamment cherché :)
J'ai réussi mon coup avec les sockets.
-
Au final (EDIT de l'EDIT), je n'ai pas trouvé de bonnes solutions facilement portable sur plusieurs systèmes (win/unix, avec droits restreints/root, etc.)
Socket RAW (http://php.net/manual/en/function.socket-create.php#68709), impossible du fait d'une restriction :
Please be aware that RAW sockets (as used for the ping example) are restricted to root accounts on *nix systems. Since web servers hardly ever run as root, they won't work on webpages.
Fonctions PHP exec / shell_exec / system qui appellent /bin/ping, impossible également du fait de la même restriction :
ping: icmp open socket: Operation not permitted
-
J'utilise régulièrement Vaping avec l'export dans prometheus, l'utilisation en mode docker:kubernetes et un grafana me permet d'avoir assez de flexibilité.
Cela apporte aussi une assez bonne automatisation lors de l'ajout de nouveau client.
https://grafana.kube.cmer.fr/d/c_ebswpmz/latency-stats-vaping-exporter?orgId=1&from=1535305889426&to=1535310467337&var-host=128.78.44.121 (https://grafana.kube.cmer.fr/d/c_ebswpmz/latency-stats-vaping-exporter?orgId=1&from=1535305889426&to=1535310467337&var-host=128.78.44.121)
Vous pouvez voir ici un exemple de déploiement:
https://raw.githubusercontent.com/bojanrajkovic/vaping-exporter/master/kubernetes-example.yaml (https://raw.githubusercontent.com/bojanrajkovic/vaping-exporter/master/kubernetes-example.yaml)
Des motivés pour migrer le smokeping lafibre.info ? ::)
-
on l'avait évoqué déjà mais Vivien n'est pas tres preneur de Docker et autres conteneurs.
Il prefere 'apt install' les applications depuis Ubuntu mais vu le retard d'Ubuntu sur les repos et vu que Grafana ou Prom n'ont pas meme pas de repo Ubuntu...
Je vais pas me lancer dans un tel projet si a l'arrivé il ne l'installera pas , j'ai déja eu le cas avec npseed.
-
si tu as grafana tu peux y ajouter le résultat de petits scripts comme: https://hveem.no/visualizing-latency-variance-with-grafana
-
* solution prometheus: "blackblox exporter" (pour faire les pings, les targets sont dans un fichier yaml) + prometheus (db time series, self monitoring, etc, ) + grafana (visu)
=> Semble la solution le plus prometteuse, il faut que je teste.
As-tu eu la possibilité de tester cette solution ?
Si oui, quelles impressions et commentaires ?
-
Pas encore testé, je fais en premier l'upgarde vers Ubuntu 18.04 (et devinez quoi SMF n'est pas comptable PHP 7.2, il y a pleins de warning - je vais devoir désactiver les warning)
-
Je vais essayer "Vaping". https://vaping.readthedocs.io/en/latest/
Ca graphe fping mais aussi MTR apparament