Auteur Sujet: Je cherche à comprendre le fonctionnement d'OpenTSDB  (Lu 3116 fois)

0 Membres et 1 Invité sur ce sujet

DamienC

  • Abonné Sosh fibre
  • *
  • Messages: 2 217
  • FTTH ↓ 300Mbps ↑ 300 Mbps sur Brest (29)
Je cherche à comprendre le fonctionnement d'OpenTSDB
« le: 05 juin 2015 à 10:58:03 »
Bonjour à tous,

Je suis en stage à Télécom Bretagne à Brest et j'ai pour mission de représenter des données sous forme de graphiques.
J'ai essayé InfluxDB et Grafana, mais il y avait un problème :

Explication du problème :
Sur le graphique "loudness" par exemple, j'ai une valeur A et une valeur B, qui se suivent. Grafana couplé à InfluxDB relié les points par un simple trait, mais c'est une représentation incorrecte, car notre système est basé sur un bus UDP multicast (xAAL) et les capteurs envoient les valeurs uniquement quand cette dernière change. Donc ce graphique est complètement faux..

Je me suis alors intéressé à une autre base de données, cette fois OpenTSDB.
Pour une raison que j'ignore, Grafana couplé à OpenTSDB ne réagi pas du tout de la même manière, et le résultat observé est "parfait", son comportement est celui attendu par notre équipe :

On a une valeur à un temps X, et tant que la base n'a pas d'autres données, Grafana trace un trait droit jusqu'à la prochaine valeur observée et enregistrée.

Je cherche donc à comprendre pourquoi OpenTSDB réagit comme cela, c'est parfait pour nous mais on veut être certain qu'il s'agit d'un comportement normal et d'en connaître le fonctionnement.

Je vous remercie par avance ! :)
N'hésitez pas à visiter la page du projet de Télécom Bretagne : http://recherche.telecom-bretagne.eu/xaal/

Cdt,
DamienC
 

mattmatt73

  • Expert.
  • Abonné Bbox fibre
  • *
  • Messages: 7 340
  • vancia (69)
Je cherche à comprendre le fonctionnement d'OpenTSDB
« Réponse #1 le: 05 juin 2015 à 13:30:07 »
pourquoi les capteurs sont en multicast ? il y a plusieurs récepteurs qui font l'acquisition ?

DamienC

  • Abonné Sosh fibre
  • *
  • Messages: 2 217
  • FTTH ↓ 300Mbps ↑ 300 Mbps sur Brest (29)
Je cherche à comprendre le fonctionnement d'OpenTSDB
« Réponse #2 le: 05 juin 2015 à 13:35:25 »
Citer
pourquoi les capteurs sont en multicast ? il y a plusieurs récepteurs qui font l'acquisition ?
Je ne m'occupe pas de cette partie, mais je crois avoir compris que chaque capteur était considéré comme un Device avec sa propre adresse, et ainsi tous les Devices connectés au bus udp multicast peuvent s'échanger les données. Dans mon cas, il y en a un qui réceptionnent les données des capteurs et qui les envois sur une base de données temporelle. SI tu es intrigué et/ou intéressé par ce projet, il y a une documentation (en Anglais) sur le site de recherche de Bretagne Telecom : http://recherche.telecom-bretagne.eu/xaal/


Cdt,
DamienC

mattmatt73

  • Expert.
  • Abonné Bbox fibre
  • *
  • Messages: 7 340
  • vancia (69)
Je cherche à comprendre le fonctionnement d'OpenTSDB
« Réponse #3 le: 05 juin 2015 à 14:23:00 »
pour en revenir à ta question initiale, n'est-ce pas le comportement normal d'un soft de graph que de vouloir relier des points entre différentes valeurs?

le passage par le soft de base de donnée, dirait au soft de graph : la valeur est celle là, jusqu'à ce temps là ?

DamienC

  • Abonné Sosh fibre
  • *
  • Messages: 2 217
  • FTTH ↓ 300Mbps ↑ 300 Mbps sur Brest (29)
Je cherche à comprendre le fonctionnement d'OpenTSDB
« Réponse #4 le: 05 juin 2015 à 14:43:48 »
Je suis d'accord avec toi, Grafana doit relier les points si on lui demande, c'est ce que je lui demande en effet.

Je cherche juste à comprendre pourquoi il ne les relis par de la même manière avec InfluxDB et OpenTSDB.
Dans le cas d'InfluxDB, les points sont reliés entre eux directement, de manière ascendantes ou descendantes :

Dans le cas d'OpenTSDB, les points sont reliés en "escalier", et c'est ce qu'on recherche justement :


Mais je cherche à comprendre une telle différence de comportement entre les deux base de données.

Cdt,
DamienC

mattmatt73

  • Expert.
  • Abonné Bbox fibre
  • *
  • Messages: 7 340
  • vancia (69)
Je cherche à comprendre le fonctionnement d'OpenTSDB
« Réponse #5 le: 05 juin 2015 à 14:53:53 »


Mais je cherche à comprendre une telle différence de comportement entre les deux base de données.

et au fait, le plus grand éditeur au monde de graph (Excel), comment se comporte-t-il ?

il fait la moyenne ou les marches d'escaliers ?

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 092
  • Paris (75)
Je cherche à comprendre le fonctionnement d'OpenTSDB
« Réponse #6 le: 05 juin 2015 à 15:06:45 »
Je suis d'accord avec toi, Grafana doit relier les points si on lui demande, c'est ce que je lui demande en effet.

Je cherche juste à comprendre pourquoi il ne les relis par de la même manière avec InfluxDB et OpenTSDB.
Dans le cas d'InfluxDB, les points sont reliés entre eux directement, de manière ascendantes ou descendantes :

Dans le cas d'OpenTSDB, les points sont reliés en "escalier", et c'est ce qu'on recherche justement :


Mais je cherche à comprendre une telle différence de comportement entre les deux base de données.

Cdt,
DamienC

il faudrait voir comment les données sont configuées et stockées dans les bases pour en être sur mais on dirait que dans un cas c'est les donnés brutes sous forme "d’events" et dans l'autre c'est un cumul (la raison d'être même d'une "time series database"...) d'ou la rampe.

Apres j'imagine que le paramétrage dans Grafana des 2 graphes est le meme ?

DamienC

  • Abonné Sosh fibre
  • *
  • Messages: 2 217
  • FTTH ↓ 300Mbps ↑ 300 Mbps sur Brest (29)
Je cherche à comprendre le fonctionnement d'OpenTSDB
« Réponse #7 le: 05 juin 2015 à 15:19:40 »
Citer
Apres j'imagine que le paramétrage dans Grafana des 2 graphes est le meme ?
Oui, les paramétrages sont identiques. En revanche, les données ne sont pas à la même période.

Citer
(la raison d'être même d'une "time series database"...) d'ou la rampe.
D'accord merci, je ne suis pas spécialiste en base de données, je ne suis qu'un simple étudiant désireux d'apprendre, c'est pour ça que je pose des questions qui sont sûrement très bêtes, et je m'en excuse.

Citer
et au fait, le plus grand éditeur au monde de graph (Excel), comment se comporte-t-il ?

il fait la moyenne ou les marches d'escaliers ?
Je vais être honnête avec toi, je n'en sais rien.


Cochonou

  • Abonné Bbox fibre
  • *
  • Messages: 1 359
  • FTTH 2 Gb/s sur Saint-Maur-des-Fossés (94)
Je cherche à comprendre le fonctionnement d'OpenTSDB
« Réponse #8 le: 07 juin 2015 à 10:15:29 »
Un graphe comme tu le demandes, c'est un graphe très particulier: on appelle ça un step plot, ou un stairstep plot. Tous les logiciels de visualisation ne le supportent pas.

Comme l'a dit kgersen, est-ce vraiment Grafana (que je ne connais pas) qui réagit différemment, ou est-ce que ce sont plutôt les données en question qui ne sont pas enregistrées de la même manière dans les deux bases de données ?

Si l'on prend un dataset assez simple comme sin(x):
   0.00000   0.00000
   0.20000   0.19867
   0.40000   0.38942
   0.60000   0.56464
   0.80000   0.71736
   1.00000   0.84147
   1.20000   0.93204
   1.40000   0.98545
   1.60000   0.99957
   1.80000   0.97385
   2.00000   0.90930
   2.20000   0.80850
   2.40000   0.67546
   2.60000   0.51550
   2.80000   0.33499
   3.00000   0.14112
   3.20000  -0.05837
   3.40000  -0.25554
   3.60000  -0.44252
   3.80000  -0.61186
   4.00000  -0.75680
   4.20000  -0.87158
   4.40000  -0.95160
   4.60000  -0.99369
   4.80000  -0.99616
   5.00000  -0.95892
   5.20000  -0.88345
   5.40000  -0.77276
   5.60000  -0.63127
   5.80000  -0.46460
   6.00000  -0.27942
   6.20000  -0.08309
Il sera représenté de la manière suivante (graph1) par la plupart des logiciels de visualisation.

Maintenant, pour avoir un stair plot (graph3), il suffit de modifier un peu le dataset, même si le logiciel de visualisation ne le supporte pas:
   0.00000   0.00000
   0.20000   0.00000
   0.20000   0.19867
   0.40000   0.19867
   0.40000   0.38942
   0.60000   0.38942
   0.60000   0.56464
   0.80000   0.56464
   0.80000   0.71736
   1.00000   0.71736
   1.00000   0.84147
   1.20000   0.84147
   1.20000   0.93204
   1.40000   0.93204
   1.40000   0.98545
   1.60000   0.98545
   1.60000   0.99957
   1.80000   0.99957
   1.80000   0.97385
   2.00000   0.97385
   2.00000   0.90930
   2.20000   0.90930
   2.20000   0.80850
   2.40000   0.80850
   2.40000   0.67546
   2.60000   0.67546
   2.60000   0.51550
   2.80000   0.51550
   2.80000   0.33499
   3.00000   0.33499
   3.00000   0.14112
   3.20000   0.14112
   3.20000  -0.05837
   3.40000  -0.05837
   3.40000  -0.25554
   3.60000  -0.25554
   3.60000  -0.44252
   3.80000  -0.44252
   3.80000  -0.61186
   4.00000  -0.61186
   4.00000  -0.75680
   4.20000  -0.75680
   4.20000  -0.87158
   4.40000  -0.87158
   4.40000  -0.95160
   4.60000  -0.95160
   4.60000  -0.99369
   4.80000  -0.99369
   4.80000  -0.99616
   5.00000  -0.99616
   5.00000  -0.95892
   5.20000  -0.95892
   5.20000  -0.88345
   5.40000  -0.88345
   5.40000  -0.77276
   5.60000  -0.77276
   5.60000  -0.63127
   5.80000  -0.63127
   5.80000  -0.46460
   6.00000  -0.46460
   6.00000  -0.27942
   6.20000  -0.27942
   6.20000  -0.08309

Ou sinon, dans un cas, les valeurs enregistées ne sont-elles pas des delta par rapport à la valeur précédente, et dans l'autre cas des valeurs absolues ?

DamienC

  • Abonné Sosh fibre
  • *
  • Messages: 2 217
  • FTTH ↓ 300Mbps ↑ 300 Mbps sur Brest (29)
Je cherche à comprendre le fonctionnement d'OpenTSDB
« Réponse #9 le: 08 juin 2015 à 09:07:25 »
Je vous remercie pour toutes vos réponses, et particulièrement à Cochonou pour son explication en images.
J'ai compris, je vais pouvoir faire mon rapport de stage !

Cdt,
DamienC