Auteur Sujet: C14 classic : fin de vie et nouveau C14 Cold Storage  (Lu 10258 fois)

0 Membres et 1 Invité sur ce sujet

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #12 le: 23 juin 2020 à 12:30:54 »
Malheureusement, ca ressemble à du ovh qui annonce un super truc innovant pour le tuer quelques temps après.
C'est là où la promesse du Cloud n'est pas tenue chez OVH et chez Scaleway: les offres n'assurent pas de compatibilité ascendante et descendante.
Chez eux, on est directement contraint par la plate-forme, de matériel derrière, à la génération de plate-forme qui sert à faire le service. Il n'y a pas assez d'abstraction entre l'offre, l'API, et le matériel derrière.

Il faudrait évidemment que ce type d'offre (cold storage) soit upgradable (offre, API, et hardware) en assurant la continuité. C'est quand même une des grosses promesse du Cloud.
Donc qu'une ancienne offre de cold storage déborde ses données sur les nouveaux hardware, et que les nouvelles API puissent accéder aux anciennes données, etc... De manière transparente pour le client.
Quitte à ce que le fournisseur doive mette des "passerelle" entre les générations d'offre, d'API, de matériel. Mais ça doit être transparent pour le client.
Pour du Cold Storage, je ne vois pas trop ce qui empêcherait Scaleway de monter et maintenir une telle passerelle...

Leon.

FloBaoti

  • Abonné MilkyWan
  • *
  • Messages: 1 300
  • 34
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #13 le: 23 juin 2020 à 22:39:50 »
La conception des 2 services est différente, c'est ce qui empêche la compatibilité à mon avis. Sur C14 classic, l'élément archivé était un "bucket", c'est à dire pour simplifier un ensemble de blocs de données, il n'y a pas de notion de fichier sur cette offre, c'est une "grosse archive" que vous envoyez dans le glacier. En plus, tout était forcément chiffré de leur côté, la clé de déchiffrement pouvait être oubliée de leur côté sur demande. Donc l'archivage ou le désarchivage devait obligatoirement se faire sur tout le bucket, même si un seul fichier dans l'archive vous intéresse.
Alors que le nouveau service est orienté objet, l'élément de base est totalement libre pour le client. Un objet peut très bien être un fichier, ou bien un bloc de données si vous mettez un système de fichier par dessus. C'est plus flexible comme utilisation. Puis ça reste du stockage objet standard, totalement compatible avec les API S3 très democratisées dans beaucoup de soft.
C'est aussi un peu un effet de mode bien sur, mais ça fait quand même quelques années que le stockage objet s'impose un peu partout.

Pour ces raisons, ça me semblait difficile pour Scaleway de faire une passerelle entre les deux. Mais c'est vrai que la migration est chiante. J'ai plusieurs dizaines de tera à bouger, je fais ça avec une vm scaleway pour accélérer les temps d'accès et les vitesses de transferts.

Pour ceux que ça intéresse, je suis en train de tester UtahFS de Cloudflare, c'est un système de fichier qui chiffre à la volée et stocke en petits blocs sur S3 (objets).

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 971
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #14 le: 24 juin 2020 à 07:32:17 »
OK pour la passerelle, c'est peut-être trop complexe dans ce cas.
Mais avec de la volonté et du boulot, ils auraient sans doute pu porter les fonctionnalités de l'ancien C14 sur la nouvelle plate-forme même si le fonctionnement est très différent (mais sans doute pas l'inverse).

Et surtout qu'est-ce qui empêche Scaleway de maintenir les 2 services en parallèle, pendant plusieurs années? Ca me semblerait être la moindre des choses. Au minimum pour assurer la continuité des anciens contrats C14.

A-t-on déjà vu un constructeur automobile annoncer l'arrêt de production d'un véhicule dans 2 mois et en même temps l'arrêt du service après vente (pièces détachées) 6 mois après? C'est illégal, le délai légal en France c'est 10 ans.

A-t-on déjà vu un opérateur de téléphonie mobile migrer brutalement vers la 4G, et éteindre son réseau 3G juste 6 mois après?

A-t-on déjà vu un Microsoft annoncer l'arrêt de maintenance d'un OS 6 mois avant l'échéance?

Pour finir, il y a une donnée qu'on ne connait pas dans l'équation : il est tout à fait possible que cette décision de Scaleway soit guidée par un nombre très très faible de clients pour cette offre C14 classic, bien en dessous de ce qui était attendu initialement.

Leon.

Phach

  • Abonné Orange Fibre
  • *
  • Messages: 1 031
  • Hérault (34) - Occitanie
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #15 le: 24 juin 2020 à 09:37:46 »
je pense pas que c'était si compliqué. Il aurait suffit d'une phase de désarchivage manuel (qui est de toute façon nécessaire) par l'utilisateur, puis un outil de transfert s'occupe ensuite de migrer les données via leur réseau interne de façon autonome en 3 clics : source  => destination => GO.

C'est le problème de plein de boites, des technos "innovantes" mais UI-UX à la ramasse.

Bon courage pour les To à migrer  ;)


//edit : mail reçu à l'instant, si jamais certains avaient des doutes :

Citer
Cher client,
Le 29 Mai, nous vous annoncions que le service C14 Classic entrait dans un processus de fin de vie. Cette solution, qui a prouvé sa fiabilité, ne s'intègre plus dans notre volonté de proposer des solutions plus flexibles et ouvertes sur les standards actuels.
Nous vous rappelons donc que ce service et vos données seront supprimés le 26 Novembre 2020. Nous vous rappelons également que la récupération de vos données est totalement gratuite.

willemijns

  • Abonné FreeMobile
  • *
  • Messages: 2 680
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #16 le: 24 juin 2020 à 10:26:36 »
les admins scaleway n'ont plus envie de builder des choses alors que tout logiciel client digne de ce nom a dorénavant S3

mirtouf

  • Abonné Bbox fibre
  • *
  • Messages: 1 297
  • Chelles (77)
    • L'antre de la bête
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #17 le: 24 juin 2020 à 10:29:29 »
Effectivement, bon courage pour la migration.
On se demande si les décideurs sont des utilisateurs des services.

willemijns

  • Abonné FreeMobile
  • *
  • Messages: 2 680
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #18 le: 24 juin 2020 à 10:55:44 »
Ce DIY obligatoire ca fait un peu "demerdes-toi" limite "allez vous ferfe".....

FloBaoti

  • Abonné MilkyWan
  • *
  • Messages: 1 300
  • 34
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #19 le: 03 juillet 2020 à 10:36:50 »
Certains ici utilisent le service object-storage de Scaleway ? Et leur option Cold storage ?

J'ai très très régulièrement des problèmes pour restaurer des objets depuis GLACIER. Parfois ça se fait en quelques minutes, d'autres fois rien du tout après plusieurs jours. Obligé de contacter le support, et comme par magie quelques heures après le fichier sort du glacier. Parfois avec une explication du support (les espaces dans les noms d'objets n'étaient pas pris en charge LOL), parfois juste ils "constatent" que le fichier a été restauré, comme par hasard après plusieurs jours et après les avoir contacté...
C'est super relou, c'est censé être un truc automatique. Je comprend bien le délais pour la restauration, ça peut s'automatiser sans soucis. Mais s'il faut contacter le support pour débloquer une situation c'est nul.

Sans compter que le support est assez chaotique. Une fois sur 2, on tombe sur un N1 qui n'y connait rien et répond à côté. Quand il comprend et transfère au N2, le N2 répond en demandant des infos. On envoit la réponse, c'est un N1 qui répond et qui re-transfère au N2... Génial.

Douks

  • Abonné Orange Fibre
  • *
  • Messages: 190
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #20 le: 06 août 2020 à 09:20:28 »
Salut tavou !

Je pense me tourner vers leur Cold Storage pour faire un backup de mon NAS. Ça tombe bien, Syno intègre HyperBackup pour lequel Scaleway fourni même la doc :)

En revanche, je sens l'entourloupe dans le tarif ou on reste un peu ambiguë en affichant quelques centimes et mixant 75Go de stockage/transfert offert (ou alors c'est juste moi qui pige rien, c'est possible aussi).

En gros, mettons que je balance chez eux une première sauvegarde de 100Go et que par la suite c'est du 500Mo à 1Go (différentiel), combien ça me coûterait ?

FloBaoti

  • Abonné MilkyWan
  • *
  • Messages: 1 300
  • 34
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #21 le: 06 août 2020 à 09:39:41 »
Attention à ne pas confondre stockage S3 et S3 cold storage (Glacier). Ton NAS gère probablement le S3 classique mais je doute qu'il sache faire du cold storage, il y a une notion d'archivage et desarchivage avec des délais, ce n'est pas facile à automatiser.
Il faut se poser la question si le cold storage est acceptable pour du backup ou pas, il peut y avoir un délais de plusieurs jours avant de pouvoir accéder aux fichiers, en cas de restauration, est-ce acceptable ?

Les tarifs me semblent pourtant clairs, stocker 100 Go revient à payer 25 Go puisque 75 sont offerts. Et ensuite chaque Go supplémentaire est facturé bien sûr.

Douks

  • Abonné Orange Fibre
  • *
  • Messages: 190
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #22 le: 06 août 2020 à 09:52:06 »
Attention à ne pas confondre stockage S3 et S3 cold storage (Glacier). Ton NAS gère probablement le S3 classique mais je doute qu'il sache faire du cold storage, il y a une notion d'archivage et desarchivage avec des délais, ce n'est pas facile à automatiser.
Il faut se poser la question si le cold storage est acceptable pour du backup ou pas, il peut y avoir un délais de plusieurs jours avant de pouvoir accéder aux fichiers, en cas de restauration, est-ce acceptable ?

Les tarifs me semblent pourtant clairs, stocker 100 Go revient à payer 25 Go puisque 75 sont offerts. Et ensuite chaque Go supplémentaire est facturé bien sûr.
Désolé, j'utilise le mauvais terme en effet. C'est "Object Storage" qui est présenté comme compatible avec Hyper Backup de Syno.
https://www.scaleway.com/en/docs/backup-synology-nas-on-s3-object-storage/

La grille tarifaire est encore différente du coup ... Ca indique :
Citer
Transfert de données sortantes intra-région gratuit
Transfert de données sortantes inter-région 75 Go gratuits chaque mois

Mais ça dit rien dans l'éventualité d'un transfert de Scaleway vers chez moi.

Electrocut

  • Abonné Orange Fibre
  • *
  • Messages: 512
  • Pont-Péan (35)
C14 classic : fin de vie et nouveau C14 Cold Storage
« Réponse #23 le: 06 août 2020 à 12:18:31 »
Salut,

Oui c'est l'outil que j'utilise et je suis scrupuleusement la doc. Ca simplifie la configuration de rclone.
Mais de ce que je constate, comme je l'ai dit plus haut, ca utilise la connexion du poste sur lequel est lancé la commande comme intermédiaire. Hier, j'ai réussi à transférer 70 Go, là je termine avec les 15 derniers Go. L'outil m'annonce 18 minutes pour faire le transfert.

Je pense faire parti des chanceux qui n'ont qu'une petite quantité de données à migrer.

J'ai rencontré des problèmes au début de la migration, à cause d'une mauvaise compréhension de la doc (sur la taille des chunks qui n'est pas clair du tout) qui a conduit à des erreurs sur certains fichiers que j'ai du renvoyer à la main. Une fois la config remise par défaut, tout s'est déroulé sans erreur.
Effectivement, le tuto fourni n'est qu'une assistance à l'utilisation d'rclone.

Chaque archive C14 classic est désarchivée, puis les données sont téléchargées sur le PC, pour être réimportées dans un "Object storage" C14 Cold Storage.

J'ai eu pitié d'un ami qui avait archivé près d'1To chez C14 classic depuis sa connexion ADSL, et qui allait devoir tout retransférer :'(
Je lui ai donné un accès SSH à une de mes machines, pour qu'il puisse exploiter ma connexion fibre.

De plus, j'ai constaté plusieurs limitations de la nouvelle solution C14 Cold Storage :

- La nouvelle plateforme ne semble pas adaptée à l'archivage de nombreux petits fichiers.
Chaque commande "aws s3 cp" prend un temps incompressible pour chaque fichier, faisant chuter drastiquement le taux de transfert moyen en présence de nombreux petits fichiers (jusqu'à < 10 ko/sec !!!).

- Les caractères pris en charge dans les noms d'objets semblent limités. Cf. doc S3.
Ce qui est piégeux, c'est que la commande "aws s3 cp" accepte les caractères problématiques (espaces, caractères accentués ...) sans broncher.
Mais j'ai constaté sur certains de ces fichiers, qu'il m'était impossible de les récupérer (opération de changement de classe CLASSIER > CLASSIC qui dure des heures et n'aboutit jamais).

Du fait de ces limitations, il est nécessaire de réorganiser ses données avant de les migrer :
- Grouper les fichiers dans des archives (ex : un fichier zip par dossier photos), afin de limiter les nombreux petits fichiers
- Supprimer les caractères problématiques

J'ai automatisé cette tâche à l'aide d'un script bash :

#!/bin/bash

if [ "$#" -lt 3 ] ; then
    echo "$0 <bucket-name> <bucket-subdir> <file1|dir1> [file2|dir2] ..."
    exit 1
fi

BUCKET_NAME=${1}
BUCKET_SUBDIR=${2}
TEMP_DIR="/media/dd/Media/Temp/"

# Tant qu'il reste des fichiers/dossiers à zipper
while [ ! -z "${3}" ] ; do
    to_zip=$(basename "${3}")
   
    # Remplacement des caractères accentués, par leurs équivalents non accentués
    # + Remplacement par "_" des caractères autres que ceux autorisés
    # cf. https://docs.aws.amazon.com/AmazonS3/latest/dev/UsingMetadata.html#object-key-guidelines
    zip_file=$(echo -n "${to_zip}.zip" | iconv -f utf8 -t ascii//TRANSLIT | tr -c 'A-Za-z0-9_.\-\(\)' '_')
   
    # Afficher les commandes avant exécution
    set -x

    # Zip (0% de compression) + envoi du zip vers AWS S3 GLACIER
    zip -Z store -r "${TEMP_DIR}/${zip_file}" "${to_zip}" && \
    aws s3 cp "${TEMP_DIR}/${zip_file}" "s3://${BUCKET_NAME}/${BUCKET_SUBDIR}/" --storage-class GLACIER && \
    rm "${TEMP_DIR}/${zip_file}"
   
    # Désactivation set -x
    { set +x ;} 2> /dev/null
   
    # Argument++
    shift
done

Certains ici utilisent le service object-storage de Scaleway ? Et leur option Cold storage ?

J'ai très très régulièrement des problèmes pour restaurer des objets depuis GLACIER. Parfois ça se fait en quelques minutes, d'autres fois rien du tout après plusieurs jours. Obligé de contacter le support, et comme par magie quelques heures après le fichier sort du glacier. Parfois avec une explication du support (les espaces dans les noms d'objets n'étaient pas pris en charge LOL), parfois juste ils "constatent" que le fichier a été restauré, comme par hasard après plusieurs jours et après les avoir contacté...
C'est super relou, c'est censé être un truc automatique. Je comprend bien le délais pour la restauration, ça peut s'automatiser sans soucis. Mais s'il faut contacter le support pour débloquer une situation c'est nul.

Sans compter que le support est assez chaotique. Une fois sur 2, on tombe sur un N1 qui n'y connait rien et répond à côté. Quand il comprend et transfère au N2, le N2 répond en demandant des infos. On envoit la réponse, c'est un N1 qui répond et qui re-transfère au N2... Génial.
Je confirme, j'ai constaté des mêmes problèmes, probablement causé par des caractères non pris en charge.
Depuis, je m'interdis d'utiliser d'autres caractères que ceux listés sur la doc S3 :

Caractères alphanumériquesCaractères spéciaux
0-9
a-z
A-Z
!
-
_
.
*
'
(
)

Ma conclusion est que la migration risque de faire fuire des clients. Il y a de fortes chances que les clients utilisent cet outil aussi pour aller voir ailleurs (AWS par exemple) surtout quand un service annoncé comme pérenne s’arrête au bout de 4 ans.
Ils auraient clairement du développer un truc pour que la migration se fasse de manière automatisée via l'interface.

Mon point de vue est que le système classic n'était pas pleinement satisfaisant pour scaleway en terme de maintenance. Il ne répondait pas à la demande des pros qui veulent une compatibilité S3.
Malheureusement, ca ressemble à du ovh qui annonce un super truc innovant pour le tuer quelques temps après.
Complètement d'accord !

A titre perso, je préférais C14 Classic. Le principe d'archive, et les multiples protocoles proposés (SCP, FTP ...) m'allaient très bien.
Le seul avantage que je vois à la solution sur base S3, est de pouvoir restaurer un seul fichier (alors que sur C14 Classic, c'était forcément une archive complète). Pour le reste, le passage à la solution sur base S3 ne m'apporte aucun bénéfice, mais plutôt des régressions (forcé d'utiliser un logiciel compatible S3, restriction sur les caractères, inadapté aux petits fichiers).
« Modifié: 06 août 2020 à 13:22:07 par Electrocut »