Auteur Sujet: Newsoo  (Lu 127197 fois)

0 Membres et 1 Invité sur ce sujet

kgersen

  • Modérateur
  • Abonné Bbox fibre
  • *
  • Messages: 9 101
  • Paris (75)
Newsoo
« Réponse #288 le: 22 octobre 2016 à 22:45:13 »

Seulement, je ne peux pas vous montrer les sources, car... le logiciel est considéré comme illégal, donc je ne peux même pas libérer les sources ou vendre mon travail à mes confrères. Pour le langage, ça tournait avec du Python (et les extensions C pour ne pas perdre en perfs) et du NodeJS pour relayer les articles sans délai grâce à l'async.


"logiciel est considéré comme illégal" ... c'est curieux. Que l'utilisation qui a en été faite soit considérée illégale ok mais le logiciel lui-meme ca n'a pas vraiment de sens.

Donc si j'écrit from scratch un serveur FTP, que je m'en sert pour hoster des films ou mp3 copyrightés et que je me fais condamné, les sources du serveur FTP sont illégaux?! ca me semble complètement aberrant.

Y'a grave confusion entre l'outil et son usage la.

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 6 009
Newsoo
« Réponse #289 le: 23 octobre 2016 à 07:24:36 »
Pour les machines de stockage, c'était du Core-i3 basse conso, 16G de RAM, 12x6To en RAID5 logiciel (+1hotspare), système sur SSD, 1 port gigabit.
Du raid 5 logiciel, est-ce que ça "scale" bien? C'est adapté pour une utilisation intensive sur des serveurs de 12 disques?
La regénération d'un disque crashé, ça se passe bien, même avec un petit core i3?

Et puis avec ton système de rétention locale/distante, est-ce que tu n'aurais pas pu te passer totalement de redondance de stickage sur tes serveurs de fichiers, et gérer les disques durs de manière brute? Donc quand un disque dur crève, tu considères tous ses articles perdus en local...

Leon.

vivien

  • Administrateur
  • *
  • Messages: 47 276
    • Twitter LaFibre.info
Newsoo
« Réponse #290 le: 23 octobre 2016 à 08:33:47 »
Je ne savais pas que le RAID 5 logiciel était suffisamment performant pour un usage en prod.

OVH vend pas mal de raid logiciel, mais ca reste du RAID 0/1.

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Newsoo
« Réponse #291 le: 23 octobre 2016 à 09:09:40 »
Le calcul de checksum du RAID5 est une charge ridicule pour les processeurs depuis plusieurs années. Je me rappelle il y a 10 ans avoir déjà eu des performances supérieures sur du soft par rapport à du hard sous Linux.

La re-construction est limitée par les disques et le bus de données (SCSI, SATA, SAS etc). L'avantage du soft c'est qu'on peut éventuellement limiter la bande passante utilisée. L'autre avantage est qu'on peut répartir sur plusieurs contrôleurs et lever la problématique du bus de données.

Le RAID hard est par contre absolument nécessaire si le RAID soft n'est pas supporté ou qu'on veut sécuriser le boot. Exemple: ESX et Windows (on ne peut pas booter dessus sur un volume agrégé). Sous Linux, il faut bidouiller.

Donc d'un point de vue d'une utilisation sérieuse en prod, on recommande du raid hard afin de pouvoir sécuriser toute l'installation sur disque.


Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 684
  • WOOHOO !
    • OrneTHD
Newsoo
« Réponse #292 le: 23 octobre 2016 à 10:08:31 »
"logiciel est considéré comme illégal" ... c'est curieux. Que l'utilisation qui a en été faite soit considérée illégale ok mais le logiciel lui-meme ca n'a pas vraiment de sens.
Aux yeux du TGI de Strasbourg, tout est confus. Ils considèrent Newsoo comme un site, donc comme logiciel et ignorent l'infrastructure derrière. Donc même si j'étais un bête revendeur sans infra, cela aurait été pareil :/

Citer
Du raid 5 logiciel, est-ce que ça "scale" bien? C'est adapté pour une utilisation intensive sur des serveurs de 12 disques?
Ecoute super bien. Bon par contre, j'ai du flasher la carte RAID pour faire du "passthrough" (càd j'enlève l'intelligence de la carte pour que l'OS gère ça lui-même) pour avoir des performances maximales.

Citer
La regénération d'un disque crashé, ça se passe bien, même avec un petit core i3?
Ah clairement. J'étais limité par la vitesse... de mes disques !

En fait, par défaut, Linux a des limitations sur la vitesse de reconstruction, de cache et dispose d'un "scheduler" intelligent pour déplacer la tête. Tu fous la limite à 999999, tu fous le cache au max (attention, ça bouffe la RAM), et tu mets "noop" en scheduler (qui veut dire FIFO). Et là, vroom vroom, j'ai reconstruit à 110-120 Mo/s :) Le CPU prenait cher, certes, mais il avait encore facilement 50% en idle :)

Citer
Et puis avec ton système de rétention locale/distante, est-ce que tu n'aurais pas pu te passer totalement de redondance de stickage sur tes serveurs de fichiers, et gérer les disques durs de manière brute? Donc quand un disque dur crève, tu considères tous ses articles perdus en local...
Non, j'avais 2 contraintes.

1) Le prix de la redondance distante. Usenet est un cartel détenu par une minorité d'acteurs très puissants, et quand un nouveau rentre sur le marché avec sa propre infra au lieu d'être revendeur, bah le prix est très élevé pour empêcher le développement d'un nouvel acteur. Pour vous donner une idée, le prix du Megabit tapait dans les 7 euros, et avec du binaire, la facture monte extrêmement vite.
Du coup pour tenter de casser ce cartel, j'ai pricé mon megabit à la revente entre 1 et 2 euros de mémoire (et je faisais de la marge dessus !).

2) La durée de rétention de Newsoo était de 2 semaines en gros. Le feed Usenet est un flux live de tous les posts sur le réseau. Du coup j'avais 2 semaines de contenu "frais" et c'est là dessus que les gens consomment le plus, car l'usage des newsgroups, c'est la nouveauté (d'où le terme "abonnement"). Et si je perd, ne serait-ce que 2 jours, bah j'ai 100Mbps qui partent sur le backup et boom, 700 EUR de facture :(

En gros, les contraintes sont économiques.

jack

  • Professionnel des télécoms
  • *
  • Messages: 1 677
  • La Madeleine (59)
Newsoo
« Réponse #293 le: 23 octobre 2016 à 13:38:11 »
Je ne savais pas que le RAID 5 logiciel était suffisamment performant pour un usage en prod.

En 2016, le raid soft est le seul raid viable en production.
Parce que se contraindre à utiliser du hard buggé, c'est bien gentil, mais quand t'as un problème (et tu auras un problème), tu vas vite comprendre ta douleur (il me faut trouver un controleur hard, le même modèle, la même année, sinon les disques sont illisibles .. !)

J'irai même plus loin : le raid soft est plus performant que le hard
En effet, ton mdadm va remonter correctement les infos de "boundary", au contraire d'un hard trop souvent buggé

Les boundaries, les strips, ce sont les "bloc" de la couche raid
Si le FS possède les bonnes informations, il peut être intelligent et placer les données en fonction du strip : ainsi, autant que possible, un seul strip sera utilisé plutôt que deux

Exemple, avec un strip de 128K, et une donnée de 10K
Premier strip: offset 0 - offset 128k
Deuxième strip: offset 128k - offset 256k
etc

Si le FS ne connait pas les valeurs, il va peut-être placer les 10K en question entre les offsets 120k et 130k. C'est à dire que les disques vont devoir lire, reconstruire et écrire 256k de données
Si le FS connait les valeurs, il va placer les données entre les offets 118k et 128k, par exemple. C'est à dire que les disques vont devoir lire, reconstruire et écrire 128k de données seulement (un seul strip)


Bref, le hard, c'est naze

PacOrly

  • Abonné Free fibre
  • *
  • Messages: 1 231
  • FTTH 850/350 Orly (94)
Newsoo
« Réponse #294 le: 23 octobre 2016 à 18:52:46 »
En fait, par défaut, Linux a des limitations sur la vitesse de reconstruction, de cache et dispose d'un "scheduler" intelligent pour déplacer la tête. Tu fous la limite à 999999, tu fous le cache au max (attention, ça bouffe la RAM), et tu mets "noop" en scheduler (qui veut dire FIFO). Et là, vroom vroom, j'ai reconstruit à 110-120 Mo/s :) Le CPU prenait cher, certes, mais il avait encore facilement 50% en idle :)

Peux tu détailler les commandes à passer?

Sur mes deux raid soft (mdadm), je ne dépasse jamais 25 Mo/s.

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 6 009
Newsoo
« Réponse #295 le: 23 octobre 2016 à 19:53:49 »
Et en cas de coupure de courant, c'est pas plus rassurant d'avoir un raid hardware avec un backup du cache en écriture, par pile/flash?
Est-ce que ça arrive dans la vraie vie de corrompre tout le RAID5 soft, en cas de coupure de courant?

Leon.

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 684
  • WOOHOO !
    • OrneTHD
Newsoo
« Réponse #296 le: 23 octobre 2016 à 20:08:51 »
Peux tu détailler les commandes à passer?
http://www.cyberciti.biz/tips/linux-raid-increase-resync-rebuild-speed.html

Citer
Et en cas de coupure de courant, c'est pas plus rassurant d'avoir un raid hardware avec un backup du cache en écriture, par pile/flash?
Est-ce que ça arrive dans la vraie vie de corrompre tout le RAID5 soft, en cas de coupure de courant?
En cas de coupure de courant, la seule chose qui puisse t'arriver, c'est un check du filesystem au boot, c'est nettement plus rapide.

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Newsoo
« Réponse #297 le: 24 octobre 2016 à 08:38:10 »
@Leon: là encore ça dépend 1- de l'OS, 2- du filesystem et 3- du type de workload

Une BDD ou des logs qui écrivent tout le temps, c'est plus rassurant. Un hyperviseur avec pleins de VMs: ça facilite le redémarrage.

Sinon le cache peut être à bannir aussi et il vaut mieux préférer ZFS avec son log sur SSD. Comme ça plus de dépendance avec le hard.

Hugues

  • AS2027 MilkyWan
  • Modérateur
  • *
  • Messages: 12 463
  • Lyon (69) / St-Bernard (01)
    • Twitter
Newsoo
« Réponse #298 le: 24 octobre 2016 à 16:06:48 »

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 684
  • WOOHOO !
    • OrneTHD
Newsoo
« Réponse #299 le: 24 octobre 2016 à 16:30:10 »
Un article intéressant de NXI sur le sujet, si vous êtes abonné : https://www.nextinpact.com/news/101873-usenet-editeur-newsoo-fr-condamne-a-six-mois-prison-20-000-euros-pour-sacem.htm

Certains commentaires me font bien rire, ça se voit qu'ils n'ont jamais été confronté à une GAV telle que je l'ai vécue.

Pour vous la faire courte, c'était : soit tu avoues pour la musique et on sera gentil sur les dommages/intérêts, soit on attaque sur les vidéos pédophiles sur tes bécanes et là c'est prison assurée. Sachant cela, vous connaissez la suite...

Je regrette beaucoup les nombreux raccourcis, genre "vous parlez à un logiciel" (?!), car il est vrai que le dossier est très complexe techniquement pour des personnes non-initiées et j'ai du mal à me défendre sur mon coeur de métier. Enfin, il faut avouer que le bourrage de crane de la SACEM a très bien marché devant les juges (dont une qui dormait tellement ça durait !).