La Fibre
Télécom => Réseau => 
TCP/IP / Fonctionnement des réseaux => Discussion démarrée par: underground78 le 30 décembre 2015 à 17:37:45
-
Bonjour à tous,
Je serais intéressé par vos témoignages si vous avez déjà été utilisateurs (voir fournisseurs) d'un ou plusieurs réseaux de diffusion de contenu (CDN) (ce qui existe, quel coût pour quelle qualité, etc).
Pour contextualiser un peu, le besoin est de pouvoir distribuer des binaires (dont la taille tourne autour d'une dizaine de Mo) à des utilisateurs situés un peu partout dans le monde. Les volumes ne sont pas forcèment gigantesques (disons 2 millions de téléchargement par mois environ) mais il faut pouvoir absorber des pics ponctuels dans la demande et garantir un débit de téléchargement correct pour tout le monde.
Deux remarques pour finir :
- il n'est pas nécessaire de vous casser la tête à trouver les infos si vous ne les avez pas facilement sous la main.
- j'ai posté dans la section "Datacenter" faute de trouver mieux mais si un modo a une meilleure idée, je le laisse déplacer le sujet.
Merci d'avance pour vos réponses et bon réveillon ! :)
U78
-
Salut,
À quoi ressemblent les pics ? La qualité d'interconnexion globale de votre hébergeur actuel (ou d'un gros fournisseur de dédiés lambda, par exemple en France) ne suffit pas ? Si c'est un problème de mises à jour automatiques sous Windows par exemple, vous avez pensé à les différer un peu (comme le font les distributeurs de navigateurs) ?
-
Merci pour ta réponse ! :)
À quoi ressemblent les pics ?
Disons au maximum un facteur 3 pendant un jour puis un facteur 2 pendant une semaine.
La qualité d'interconnexion globale de votre hébergeur actuel (ou d'un gros fournisseur de dédiés lambda, par exemple en France) ne suffit pas ?
La question est assez exploratoire. D'après ce que je sais la distribution n'a jamais été centralisée chez un seul hébergeur jusqu'à présent. Est-ce que le faire semblerait réaliste ? Si oui chez qui (en sachant que nos utilisateurs sont vraiment très dispersés dans le monde) ?
Si c'est un problème de mise à jour automatique sous par exemple Windows, vous avez pensé à différer un peu les mises à jour (comme le font les distributeurs de navigateurs) ?
Pour l'instant il n'y a pas de mise à jour vraiment automatique, seulement une notification qui nécessite ensuite des actions manuelles de la part de l'utilisateur. La fréquence par défaut des vérifications est de 7 jours donc on étale quand même un peu les notifications.
-
salut,
tu as regardé cette offre : https://www.ovh.com/fr/cdn/webstorage/
Sinon, je pensais à Cloudflare mais ils ne cache que du contenu statique (image, js) mais pas de fichiers binaires (zip, etc). Ca fonctionne plutôt bien. Je le teste depuis quelques semaines sans souci et avec une très nette baisse de la charge de mon serveur.
-
Cloudflare ne correspond pas à notre besoin. L'offre d'OVH pourrait mais je serais justement curieux d'avoir des avis/retours à son sujet.
-
Tu auras peut être plus de chance sur la mailling list CDN d'OVH.
https://www.ovh.com/fr/support/mailing.xml
Tu as aussi la version "infra" du CDN si tu ne veux pas trop modifier ton infrastructure / garder un serveur à la base : https://www.ovh.com/fr/cdn/infrastructure/
-
Je ne sais pas si c'était clair mais l'offre d'OVH n'est qu'une des possibilités que j'avais vues en cherchant rapidement. Je suis intéressé par des retours sur le sujet en général, pas par une offre bien précise.
-
Sinon tu as regardé les prix du leader Akamai ?
Tu paye au volume utilisé, le pic ne sont pas un problème.
Maintenant, si la taille est de 10 Mo, c'est un pb de tout héberger en France ?
Les débit à l'autre bout du monde ne seront pas top, mais 10 Mo, on y arrivera relativement vite.
C'est possible de savoir quel est le logiciel en question ?
-
C'est un peu ennuyeux d'avoir des utilisateurs qui téléchargent à une vitesse d'escargot asthmatique. Comprendre que ça râle vite fait...
Le logiciel en question est MPC-HC. On était hébergé par SourceForge originellement mais ils ont un peu basculé du côté obscur dernièrement (distribution d'un logiciel publicitaire ajouté dans certains binaires à l'insu des responsables du projet). Du coup pour l'instant on a MaxCDN qui nous héberge gracieusement contre leur logo mais on ne sait pas combien de temps ça va durer ni ce que ça vaut (pour l'instant tout se passe bien). Du coup j'essaie de me renseigner mais bon il est clair qu'on aura probablement pas les moyens d'avoir un CDN si un jour on a un soucis un avec eux...
-
En phase avec ton avis sur SourceForge, j'ai un peu halluciné de voir que Filezilla avait par défaut un logiciel publicitaire (il reste toujours possible de télécharger le bon exe, d'une taille plus importante)
Je continue a penser que le temps de téléchargement avec une latence de 200ms reste tout à fait acceptable avec Windows Vista et supérieur (moins de 15 secondes si le client à du très haut débit). Ok avec Windows XP et sa Rwin de 64 Ko limite le débit à 2,56 Mb/s pour une latence de 200ms, soit 34 secondes pour télécharger un fichier de 11 Mo (version 7zip de MPC-HC) ou 50 secondes pour télécharger un fichier de 16 Mo (version Zip de MPC-HC).
(https://lafibre.info/images/tuto/RWin.png)
-
Tu supposes que l'hébergeur a une connectivité non saturée avec le monde entier sauf erreur, est-ce que c'est vraiment réaliste ?
-
çà dépend de l'hébergeur ... Un hébergeur de "grosse" taille doit avoir suffisamment bien dimensionnés ses transitaires pour "arroser" le monde.
çà dépend de quel pays tu prends. Les pays filtrés, le resteront.
Idéalement, si tu as des utilisateurs "volontaires" un peu partout, il faudrait leur demander de télécharger un fichier "test" sur un des serveurs de l'hébergeur. (si il en met à disposition).
Après, vous chercher concrètement une solution à coût modéré pour le projet ?
Sinon la solution pourrait être d'avoir un Serveur en europe pour l'europe, l'afrique et une partie de l'asie et un serveur au USA pour arroser l'Amérique nord + SUd et l'asie. Un ou deux serveurs qui "encaisse" 20 To par mois çà reste jouable.
-
Pour l'instant on profite de l'offre de MaxCDN gratuitement donc tout va bien mais oui l'idée c'est d'avoir une solution de repli viable s'ils nous lâchent. En sachant qu'on est un projet open-source et que par conséquent si on est pas sponsorisé pour l'hébergement, on n'a que peu de moyens. Du coup, j'essaie de me faire une idée des acteurs sur le marché des CDN pour éventuellement pouvoir les démarcher et aussi pour savoir quelles pourraient être les solutions alternatives.
Sinon oui, il faut espérer que si on doit basculer vers une autre solution plus artisanale on ait au moins le temps de vérifier les débits chez quelques utilisateurs.
J'avais effectivement pensé à l'idée de prendre quelques serveurs pas trop chers à divers endroits de la planète mais ça implique de gérer soit même la géolocalisation des utilisateurs pour proposer le meilleur miroir. J'avoue que ce n'est pas un sujet que je connais très bien.
-
Je sais que certains donnent des réponses différentes avec Bind en fonction de l'ip source ... mais je n'en sais pas plus non plus malheureusement.
as-tu essayer de demander à OVh ou Online par exemple ?
ils peuvent peut être te prêter un petit serveur pour ton projet Open Source ou te faire une place sur les mirroirs qu'ils mettent pour les distrib linux
-
J'avais prévu de demander ce qu'ils pouvaient pour nous quand on a quitté SourceForge en urgence mais MaxCDN a été très réactif donc finalement j'ai pas eu l'occasion. Pour l'instant Online n'a pas d'offre CDN et son réseau est quand même moins étendu qu'OVH donc je ne sais pas s'ils pourraient garantir une interconnexion correcte pour tous nos utilisateurs.
J'ai regardé les statistiques et on tourne seulement autour de 10 TB par mois pour 3 millions de téléchargement donc je pense que ça pourrait peut-être être pas si difficile à gérer artisanalement.
-
sur http://ftp.free.fr/mirrors/ y'a bien mplayer, y'a peut etre moyen de négocier une petite place pour vous aussi si jamais vous passez en mode gestion "artisanale" ?
et http://mirror.ovh.net/ a bien les fichiers de grenouille... donc il pourrait peut etre rajouter un peu de place pour vous?
bon courage en tout cas :)
-
Free est a éviter, car il est mal connecté hors de la France (saturation des transitaires le soir)
OVH répond parfaitement au besoin.
-
si il part sur le principe de faire plusieurs mirroirs par la suite, proposer free pour l'hexagone en plus d'autres, ca peut fournir une corde de plus à son dispositif ;)
mais oui, ca m'étonnerait que ca tourne au top si il ne réussi qu'à avoir un seul et unique mirror chez free :-X
-
Le problème d'avoir plusieurs miroirs avec des spécificités (géographiques ou autres), c'est qu'il faut correctement gérer la redirection des utilisateurs.
Merci pour tous ces retours en tout cas !
-
pour éviter de tomber dans l'usine a gaz pour deviner au mieux le miroir à fournir, tu peux partir sur une page de d/l avec une temporisation de 10-15sec, qui dirige dans tous les cas vers ton "meilleur" miroir (style ovh ou autre ayant une grosse infra) et une liste des autres miroirs dispo avec leurs origines indiqués à coté...
Ça pousse à une action manuelle de l'utilisateur si il veut choisir de lui même un partage avec une meilleur localisation pour lui, mais ça réparti les taches entre ce qui ne te consomme pas trop de temps à toi, et ce qui reste acceptable pour l'utilisateur à faire :) et en même temps, tu as toujours un fonctionnement assuré par un choix par défaut...
/my2cents d'utilisateur qui apprécie déjà le boulot accompli par les projets opensource, et surtout si ça m'évite la merde que refourgue sourceforge maintenant :-/
-
Renseignez vous sur Turbobytes: http://www.turbobytes.com
-
C'est probablement un peu surdimensionné (et donc cher) pour ce qu'on cherche mais merci pour l'information. :)
-
Allez sur Github si votre projet est open source. Tout le monde est la maintenant.
-
Problème: Si un jour GitHub ferme/se fait pirater, qui se retrouve dans la merde ? :)
https://www.keycdn.com/ ?
https://www.fastly.com/ ?
https://cdnify.com/pricing ? Je pense que c'est celui qui vous conviendrai le mieux.
http://www.skyparkcdn.com/tariff.html ?
https://www.incapsula.com/ ?
https://aws.amazon.com/fr/cloudfront/ ?
Voilà. Bonne soirée.
-
Allez sur Github si votre projet est open source. Tout le monde est la maintenant.
C'est là que les sources sont hébergées mais le système de gestion des binaires n'est pas tellement pratique et leur CDN ne donnait pas des résultats très satisfaisants quand on a testé.
-
Problème: Si un jour GitHub ferme/se fait pirater, qui se retrouve dans la merde ? :)
https://www.keycdn.com/ ?
https://www.fastly.com/ ?
https://cdnify.com/pricing ? Je pense que c'est celui qui vous conviendrai le mieux.
http://www.skyparkcdn.com/tariff.html ?
https://www.incapsula.com/ ?
https://aws.amazon.com/fr/cloudfront/ ?
Voilà. Bonne soirée.
si github ferme ...personne se retrouve dans la merde car c'est du git donc de toute facon il suffit de cloner régulierment pour avoir une copie.
a mon avis ca sera plutot un des autres services que tu as listé qui fermera avant...
et la on peut être vraiment dans la merde vu les api propriétaires.
Ca n'est pas bien se rendre compte de l'importance qu'a pris Github depuis ces dernieres années que de dire cela.
meme Phyton vient n'annoncer son passage sur github: https://mail.python.org/pipermail/core-workflow/2016-January/000345.html
-
Pour GitHub, c'est surtout qu'on ne peut sûrement pas s'attendre à la fermeture du jour au lendemain et sans avertissement d'un site aussi gros, dans la conjoncture actuelle.
Il y a effectivement (très) peu de chances que les (très) gros dépôts se retrouvent perdus, mais GitHub fourmille aussi d'une quantité inestimable de petits dépôts qui n'ont pas été mis en favoris par plus de 1 ou 2 personnes, dont une large partie ne sont même pas sur Google et dont tu ne peux tomber dessus que par l'outil de recherche interne du site. Tu peux en trouver plein en tapant des chaînes basiques liées à des API quelconques (qui n'ont pas forcèment non plus à être publiques) par exemple.
En attendant, quand il est mort quelques heures parce que le Ministre Chinois de l'Internet n'est pas content, il y a pas mal de gens qui sont handicapés temporairement dans leur travail.
-
Bonjour,
Sinon il y a le CDN Mediactive avec 3 plaques : Paris, Los Angeles, Singapour.
On a aussi l'ile de la réunion pour les services qui ciblent spécifiquement ce territoire.
En mode miroir (feed automatique depuis l'origin server) ou Anycast
:)
-
Je note je note. :)
-
github > all pour ce genre de projet ;D
sinon y'a un site 'soit disant neutre' qui propose des outils de comparaison des CDN et Cloud providers en general.
https://cloudharmony.com
par exemple ici les CDN qui ont une presence en Europe: https://cloudharmony.com/cloudsquare/cloud-cdn-in-eu
tu peux faire des comparaisons et meme voir les status live et les downtime. Ainsi que des speedtests depuis ta position:
http://cloudharmony.com/speedtest-for-cdn par exemple pour speedtester tout les CDN (ca peut etre lourd ...)
-
Pas mal du tout ! Je trouve que leur système de test peut également être sympa pour comparer le peering de différents FAI.