La Fibre

Hébergeurs et opérateurs pro / entreprises => Hébergeurs et opérateurs pro / entreprises => Scaleway Scaleway => Discussion démarrée par: Phach le 22 juin 2020 à 12:01:34

Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Phach le 22 juin 2020 à 12:01:34
Salut,
fin mai j'avais reçu ce mail de Scaleway annoncant la fin de vie du service c14 pour migrer vers object storage.

Chers clients,
Depuis 2016, vous avez pu profiter de notre solution d’archivage C14 Classic Scaleway Dedibox. Cette solution, qui a prouvé sa fiabilité, ne s'intègre plus dans notre volonté de proposer des solutions plus flexibles et ouvertes sur les standards actuels. Nous vous informons donc que ce service entre dans un processus de fin de vie, et sera supprimé le 26 Novembre 2020 (voir détail en bas de l’email).
Les données sont devenues les actifs les plus précieux et stratégiques des entreprises. C’est pourquoi nous avons entièrement repensé notre produit C14 Classic pour l’adapter aux usages d’aujourd’hui. Nous avons donc lancé en début d’année C14 Cold Storage via Scaleway Elements, la nouvelle version de C14 100% cloud.
Avec C14 Cold Storage, nous offrons une solution cloud d’archivage souveraine, ultra-économique, ultra-sécurisée, compatible avec les standards du marché. En effet, C14 Cold Storage peut être utilisé avec n’importe quel outil compatible S3 via la classe de stockage Glacier intégrée à notre Object Storage. Vous retrouvez les mêmes garanties et bien plus encore :
1. Données ultra-sécurisées : Comme C14 Classic, C14 Cold storage est hébergé au sein de DC4, un databunker parisien hautement sécurisé situé à 25 mètres de profondeur. Nous utilisons également un solide erasure coding 6+3 pour protéger vos données stockées et garantir leur intégrité.
2. Standard S3 : Object Storage et C14 Cold Storage sont nativement interopérables avec la plupart des solutions du marché en étant 100% compatibles avec le protocole S3. Tandis que l’archivage C14 Classic de Scaleway Dedibox, utilise le protocole FTP.
3. Gestion des cycles de vie : C14 Cold Storage s’intègre complètement avec les fonctionnalités S3 de gestion des cycles de vie. Elles vous permettent de définir des règles pour l’archivage et la suppression d’objets un temps donné après leur import.
4. Restauration simplifiée : C14 Cold Storage vous permet de récupérer facilement un fichier unique de données. C14 Classic, lui, demande à ce que l’ensemble de l’archive soit restaurée, et ce même si vous n’avez besoin que d’un seul fichier.
5. Tarif avantageux :
Volume stocké : Les 75 premiers Go stockés sont offerts chaque mois. Vous payez ensuite un tarif unique à 0,002 €/Go/mois par volume stocké.
Volume transféré : L’archivage depuis et la restauration vers la classe standard d’Object Storage sont entièrement gratuits.



Je suis entrain de migrer, je ferai un retour mais pour l'instant, c'est pas brillant malheureusement.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Leon le 22 juin 2020 à 15:11:49
"Fin de vie du service", ça veut dire quoi exactement?

Que les clients qui avaient souscris à une ancienne offre continuent avec leur ancien contrat, mais qu'il sera impossible de souscrire de nouvelles offres aux anciennes conditions?

Que les données anciennes restent et qu'on peut toujours y accéder, mais à de nouvelles conditions techniques et tarifaires?

Ou alors que les données seront prochainement supprimées/inaccessibles, avec un calendrier défini (fin novembre)? Si c'est cette 2ieme hypothèse, c'est un peu beaucoup du n'importe quoi, non? Scaleway se ventait de pouvoir conserver les données 10 ans et plus, même si dans le contrat, c'était des temps plus courts.
Ca fait moins de 4 ans que C14 a été lancé...

Leon.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Phach le 22 juin 2020 à 16:49:20
c'est vrai que j'ai coupé le bas du mail :

Citer
Pour vous remercier pour votre confiance, nous vous offrons :
Vos frais de désarchivage et de transferts de données C14 Classic.
Le montant de votre facture C14 Cold Storage de Juin 2020 si vous migrez vos données C14 Classic vers C14 Cold Storage en Juin 2020 ! Pour bénéficier de cette offre, vous avez jusqu’au Mardi 30 Juin 2020 inclus pour nous communiquer vos identifiants Scaleway Dedibox et Scaleway Elements

Enfin, afin de vous organiser au mieux pour basculer vos données, le processus de fin de vie se fera progressivement, en deux temps :
26 Juin 2020 : Vous n’aurez plus la possibilité d’archiver de nouvelles données depuis C14 Classic. Mais aurez toujours la possibilité de désarchiver vos données existantes.
26 Novembre 2020 : Interruption et suppression du service C14 Classic.

Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Symbol le 22 juin 2020 à 16:54:25
Un service d'archivage «de très long terme»:
Si c'était du gratuit ça serait cohérent. Là c'est spécial, en mode «n'ayez pas confiance en nous et allez plutôt mettre vos données chez Amazon».
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Phach le 22 juin 2020 à 17:04:54
Surtout que sincèrement, je plains les gens qui ont plusieurs tera de stocké la bas.
Vu comment avec quelques dizaines de Go c'est long à migrer, je n'imagine même pas avec ne serait-ce que 2 ou 3 To.

Globalement, ils n'ont rien prévu pour migrer de c14 classic à c14 object storage via l'interface et en restant sur leur réseau interne. Faut tout faire à la main et tout transite par le poste qui fait le clonage.
Soit j'ai loupé un truc, soit c'est clairement mal expliqué. Mais en tout cas, dans mon cas, ca tourne très très très très lentement. Et je vais pas louer une machine pour faire ça.

Ce matin, j'ai uploadé 5Go sur AWS S3 à 300 Mbps (le max de ma connexion) !?
juste après sur C14 object storage : 15-20 Mbps avec des pointes à 30 Mbps !

Ca donne envie. Je pense que je vais même pas dépasser les 75 Go offert histoire de pas payer 1 centime pour ce service.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Leon le 22 juin 2020 à 17:28:41
Oh purée  :o :o
Ils sont malade chez Scaleway... Un service de cold storage tué 4 ans après sa création... N'importe quoi!
Ils vont faire fuir les clients avec ce genre de pratique. Franchement, ça n'est pas sérieux du tout.

Je me rappelle d'Arnaud (De Bermingham) qui nous disait que les "4 ans" dans le contrat, c'était juste pour le contrat, et que c'était bien un service pour durer bien plus de 10 ans. Sans commentaire.

Et le délai de prévenance serait de seulement 1 mois (fin mai à fin juin) pour l'ajout de nouvelles données. Une entreprise qui a développé un SI (ou pire, fait développer un SI) autour de C14 n'a pas forcément le temps de se retourner en seulement 1 mois!

Scaleway continue à descendre sérieusement dans mon estime. Ils nous avaient habitué à mieux quand même.

Il est beau le cloud européen, il est beau. Et c'est pas Gaia-X qui pourra changer quelque chose si nos acteurs ne se mettent pas au niveau en pensant client avant tout.

Leon.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: underground78 le 22 juin 2020 à 20:34:17
On a Arnaud et Mikmak qui passent par ici, peut-être qu'ils pourraient commenter un peu les raisons de l'arrêt de ce service prévu pour du long terme ?

J'imagine que c'était pas assez rentable ou qu'il y a eu des problèmes techniques. A la rigueur si les données avaient été migrées automatiquement, ça n'aurait pas été un problème.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: e-TE le 23 juin 2020 à 00:20:32
Oh purée  :o :o
Ils sont malade chez Scaleway... Un service de cold storage tué 4 ans après sa création... N'importe quoi!
Ils vont faire fuir les clients avec ce genre de pratique. Franchement, ça n'est pas sérieux du tout.

Je me rappelle d'Arnaud (De Bermingham) qui nous disait que les "4 ans" dans le contrat, c'était juste pour le contrat, et que c'était bien un service pour durer bien plus de 10 ans. Sans commentaire.

Et le délai de prévenance serait de seulement 1 mois (fin mai à fin juin) pour l'ajout de nouvelles données. Une entreprise qui a développé un SI (ou pire, fait développer un SI) autour de C14 n'a pas forcément le temps de se retourner en seulement 1 mois!

Scaleway continue à descendre sérieusement dans mon estime. Ils nous avaient habitué à mieux quand même.

Il est beau le cloud européen, il est beau. Et c'est pas Gaia-X qui pourra changer quelque chose si nos acteurs ne se mettent pas au niveau en pensant client avant tout.

Leon.
avec 1mois, dans certaines boites tu n'as meme pas le temps de caler 1 réunion que le service est déjà stoppé xD
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Leon le 23 juin 2020 à 06:56:46
Salut Phach,
Globalement, ils n'ont rien prévu pour migrer de c14 classic à c14 object storage via l'interface et en restant sur leur réseau interne. Faut tout faire à la main et tout transite par le poste qui fait le clonage.
Soit j'ai loupé un truc, soit c'est clairement mal expliqué. Mais en tout cas, dans mon cas, ca tourne très très très très lentement. Et je vais pas louer une machine pour faire ça.
Tu avais suivi ce guide, pour faire la migration?
Je crois comprendre qu'ils ont prévu un outil spécial pour migrer les données. Mais je ne suis pas certain de tout comprendre.

https://www.scaleway.com/en/docs/data-migration-c14-classic/#-Data-Migration-using-C14CLI

Leon.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: willemijns le 23 juin 2020 à 09:00:59
le C14 classic c'etait du S3 classique, maintenant c'est cold storage ou rien ?
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Phach le 23 juin 2020 à 11:21:43
Salut Phach, Tu avais suivi ce guide, pour faire la migration?
Je crois comprendre qu'ils ont prévu un outil spécial pour migrer les données. Mais je ne suis pas certain de tout comprendre.

https://www.scaleway.com/en/docs/data-migration-c14-classic/#-Data-Migration-using-C14CLI

Leon.

Salut,

Oui c'est l'outil que j'utilise et je suis scrupuleusement la doc. Ca simplifie la configuration de rclone.
Mais de ce que je constate, comme je l'ai dit plus haut, ca utilise la connexion du poste sur lequel est lancé la commande comme intermédiaire. Hier, j'ai réussi à transférer 70 Go, là je termine avec les 15 derniers Go. L'outil m'annonce 18 minutes pour faire le transfert.

Je pense faire parti des chanceux qui n'ont qu'une petite quantité de données à migrer.

J'ai rencontré des problèmes au début de la migration, à cause d'une mauvaise compréhension de la doc (sur la taille des chunks qui n'est pas clair du tout) qui a conduit à des erreurs sur certains fichiers que j'ai du renvoyer à la main. Une fois la config remise par défaut, tout s'est déroulé sans erreur.


Ma conclusion est que la migration risque de faire fuire des clients. Il y a de fortes chances que les clients utilisent cet outil aussi pour aller voir ailleurs (AWS par exemple) surtout quand un service annoncé comme pérenne s’arrête au bout de 4 ans.
Ils auraient clairement du développer un truc pour que la migration se fasse de manière automatisée via l'interface.

Mon point de vue est que le système classic n'était pas pleinement satisfaisant pour scaleway en terme de maintenance. Il ne répondait pas à la demande des pros qui veulent une compatibilité S3.
Malheureusement, ca ressemble à du ovh qui annonce un super truc innovant pour le tuer quelques temps après.

Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Phach le 23 juin 2020 à 11:23:22
le C14 classic c'etait du S3 classique, maintenant c'est cold storage ou rien ?

non, maintenant tu as s3 standard ou s3 glacier.
avant c'était justement que du cold storage.

Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Leon le 23 juin 2020 à 12:30:54
Malheureusement, ca ressemble à du ovh qui annonce un super truc innovant pour le tuer quelques temps après.
C'est là où la promesse du Cloud n'est pas tenue chez OVH et chez Scaleway: les offres n'assurent pas de compatibilité ascendante et descendante.
Chez eux, on est directement contraint par la plate-forme, de matériel derrière, à la génération de plate-forme qui sert à faire le service. Il n'y a pas assez d'abstraction entre l'offre, l'API, et le matériel derrière.

Il faudrait évidemment que ce type d'offre (cold storage) soit upgradable (offre, API, et hardware) en assurant la continuité. C'est quand même une des grosses promesse du Cloud.
Donc qu'une ancienne offre de cold storage déborde ses données sur les nouveaux hardware, et que les nouvelles API puissent accéder aux anciennes données, etc... De manière transparente pour le client.
Quitte à ce que le fournisseur doive mette des "passerelle" entre les générations d'offre, d'API, de matériel. Mais ça doit être transparent pour le client.
Pour du Cold Storage, je ne vois pas trop ce qui empêcherait Scaleway de monter et maintenir une telle passerelle...

Leon.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: FloBaoti le 23 juin 2020 à 22:39:50
La conception des 2 services est différente, c'est ce qui empêche la compatibilité à mon avis. Sur C14 classic, l'élément archivé était un "bucket", c'est à dire pour simplifier un ensemble de blocs de données, il n'y a pas de notion de fichier sur cette offre, c'est une "grosse archive" que vous envoyez dans le glacier. En plus, tout était forcément chiffré de leur côté, la clé de déchiffrement pouvait être oubliée de leur côté sur demande. Donc l'archivage ou le désarchivage devait obligatoirement se faire sur tout le bucket, même si un seul fichier dans l'archive vous intéresse.
Alors que le nouveau service est orienté objet, l'élément de base est totalement libre pour le client. Un objet peut très bien être un fichier, ou bien un bloc de données si vous mettez un système de fichier par dessus. C'est plus flexible comme utilisation. Puis ça reste du stockage objet standard, totalement compatible avec les API S3 très democratisées dans beaucoup de soft.
C'est aussi un peu un effet de mode bien sur, mais ça fait quand même quelques années que le stockage objet s'impose un peu partout.

Pour ces raisons, ça me semblait difficile pour Scaleway de faire une passerelle entre les deux. Mais c'est vrai que la migration est chiante. J'ai plusieurs dizaines de tera à bouger, je fais ça avec une vm scaleway pour accélérer les temps d'accès et les vitesses de transferts.

Pour ceux que ça intéresse, je suis en train de tester UtahFS de Cloudflare, c'est un système de fichier qui chiffre à la volée et stocke en petits blocs sur S3 (objets).
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Leon le 24 juin 2020 à 07:32:17
OK pour la passerelle, c'est peut-être trop complexe dans ce cas.
Mais avec de la volonté et du boulot, ils auraient sans doute pu porter les fonctionnalités de l'ancien C14 sur la nouvelle plate-forme même si le fonctionnement est très différent (mais sans doute pas l'inverse).

Et surtout qu'est-ce qui empêche Scaleway de maintenir les 2 services en parallèle, pendant plusieurs années? Ca me semblerait être la moindre des choses. Au minimum pour assurer la continuité des anciens contrats C14.

A-t-on déjà vu un constructeur automobile annoncer l'arrêt de production d'un véhicule dans 2 mois et en même temps l'arrêt du service après vente (pièces détachées) 6 mois après? C'est illégal, le délai légal en France c'est 10 ans.

A-t-on déjà vu un opérateur de téléphonie mobile migrer brutalement vers la 4G, et éteindre son réseau 3G juste 6 mois après?

A-t-on déjà vu un Microsoft annoncer l'arrêt de maintenance d'un OS 6 mois avant l'échéance?

Pour finir, il y a une donnée qu'on ne connait pas dans l'équation : il est tout à fait possible que cette décision de Scaleway soit guidée par un nombre très très faible de clients pour cette offre C14 classic, bien en dessous de ce qui était attendu initialement.

Leon.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Phach le 24 juin 2020 à 09:37:46
je pense pas que c'était si compliqué. Il aurait suffit d'une phase de désarchivage manuel (qui est de toute façon nécessaire) par l'utilisateur, puis un outil de transfert s'occupe ensuite de migrer les données via leur réseau interne de façon autonome en 3 clics : source  => destination => GO.

C'est le problème de plein de boites, des technos "innovantes" mais UI-UX à la ramasse.

Bon courage pour les To à migrer  ;)


//edit : mail reçu à l'instant, si jamais certains avaient des doutes :

Citer
Cher client,
Le 29 Mai, nous vous annoncions que le service C14 Classic entrait dans un processus de fin de vie. Cette solution, qui a prouvé sa fiabilité, ne s'intègre plus dans notre volonté de proposer des solutions plus flexibles et ouvertes sur les standards actuels.
Nous vous rappelons donc que ce service et vos données seront supprimés le 26 Novembre 2020. Nous vous rappelons également que la récupération de vos données est totalement gratuite.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: willemijns le 24 juin 2020 à 10:26:36
les admins scaleway n'ont plus envie de builder des choses alors que tout logiciel client digne de ce nom a dorénavant S3
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: mirtouf le 24 juin 2020 à 10:29:29
Effectivement, bon courage pour la migration.
On se demande si les décideurs sont des utilisateurs des services.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: willemijns le 24 juin 2020 à 10:55:44
Ce DIY obligatoire ca fait un peu "demerdes-toi" limite "allez vous ferfe".....
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: FloBaoti le 03 juillet 2020 à 10:36:50
Certains ici utilisent le service object-storage de Scaleway ? Et leur option Cold storage ?

J'ai très très régulièrement des problèmes pour restaurer des objets depuis GLACIER. Parfois ça se fait en quelques minutes, d'autres fois rien du tout après plusieurs jours. Obligé de contacter le support, et comme par magie quelques heures après le fichier sort du glacier. Parfois avec une explication du support (les espaces dans les noms d'objets n'étaient pas pris en charge LOL), parfois juste ils "constatent" que le fichier a été restauré, comme par hasard après plusieurs jours et après les avoir contacté...
C'est super relou, c'est censé être un truc automatique. Je comprend bien le délais pour la restauration, ça peut s'automatiser sans soucis. Mais s'il faut contacter le support pour débloquer une situation c'est nul.

Sans compter que le support est assez chaotique. Une fois sur 2, on tombe sur un N1 qui n'y connait rien et répond à côté. Quand il comprend et transfère au N2, le N2 répond en demandant des infos. On envoit la réponse, c'est un N1 qui répond et qui re-transfère au N2... Génial.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Douks le 06 août 2020 à 09:20:28
Salut tavou !

Je pense me tourner vers leur Cold Storage pour faire un backup de mon NAS. Ça tombe bien, Syno intègre HyperBackup pour lequel Scaleway fourni même la doc :)

En revanche, je sens l'entourloupe dans le tarif ou on reste un peu ambiguë en affichant quelques centimes et mixant 75Go de stockage/transfert offert (ou alors c'est juste moi qui pige rien, c'est possible aussi).

En gros, mettons que je balance chez eux une première sauvegarde de 100Go et que par la suite c'est du 500Mo à 1Go (différentiel), combien ça me coûterait ?
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: FloBaoti le 06 août 2020 à 09:39:41
Attention à ne pas confondre stockage S3 et S3 cold storage (Glacier). Ton NAS gère probablement le S3 classique mais je doute qu'il sache faire du cold storage, il y a une notion d'archivage et desarchivage avec des délais, ce n'est pas facile à automatiser.
Il faut se poser la question si le cold storage est acceptable pour du backup ou pas, il peut y avoir un délais de plusieurs jours avant de pouvoir accéder aux fichiers, en cas de restauration, est-ce acceptable ?

Les tarifs me semblent pourtant clairs, stocker 100 Go revient à payer 25 Go puisque 75 sont offerts. Et ensuite chaque Go supplémentaire est facturé bien sûr.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Douks le 06 août 2020 à 09:52:06
Attention à ne pas confondre stockage S3 et S3 cold storage (Glacier). Ton NAS gère probablement le S3 classique mais je doute qu'il sache faire du cold storage, il y a une notion d'archivage et desarchivage avec des délais, ce n'est pas facile à automatiser.
Il faut se poser la question si le cold storage est acceptable pour du backup ou pas, il peut y avoir un délais de plusieurs jours avant de pouvoir accéder aux fichiers, en cas de restauration, est-ce acceptable ?

Les tarifs me semblent pourtant clairs, stocker 100 Go revient à payer 25 Go puisque 75 sont offerts. Et ensuite chaque Go supplémentaire est facturé bien sûr.
Désolé, j'utilise le mauvais terme en effet. C'est "Object Storage" qui est présenté comme compatible avec Hyper Backup de Syno.
https://www.scaleway.com/en/docs/backup-synology-nas-on-s3-object-storage/

La grille tarifaire (https://www.scaleway.com/fr/object-storage/) est encore différente du coup ... Ca indique :
Citer
Transfert de données sortantes intra-région gratuit
Transfert de données sortantes inter-région 75 Go gratuits chaque mois

Mais ça dit rien dans l'éventualité d'un transfert de Scaleway vers chez moi.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Electrocut le 06 août 2020 à 12:18:31
Salut,

Oui c'est l'outil que j'utilise et je suis scrupuleusement la doc. Ca simplifie la configuration de rclone.
Mais de ce que je constate, comme je l'ai dit plus haut, ca utilise la connexion du poste sur lequel est lancé la commande comme intermédiaire. Hier, j'ai réussi à transférer 70 Go, là je termine avec les 15 derniers Go. L'outil m'annonce 18 minutes pour faire le transfert.

Je pense faire parti des chanceux qui n'ont qu'une petite quantité de données à migrer.

J'ai rencontré des problèmes au début de la migration, à cause d'une mauvaise compréhension de la doc (sur la taille des chunks qui n'est pas clair du tout) qui a conduit à des erreurs sur certains fichiers que j'ai du renvoyer à la main. Une fois la config remise par défaut, tout s'est déroulé sans erreur.
Effectivement, le tuto fourni n'est qu'une assistance à l'utilisation d'rclone.

Chaque archive C14 classic est désarchivée, puis les données sont téléchargées sur le PC, pour être réimportées dans un "Object storage" C14 Cold Storage.

J'ai eu pitié d'un ami qui avait archivé près d'1To chez C14 classic depuis sa connexion ADSL, et qui allait devoir tout retransférer :'(
Je lui ai donné un accès SSH à une de mes machines, pour qu'il puisse exploiter ma connexion fibre.

De plus, j'ai constaté plusieurs limitations de la nouvelle solution C14 Cold Storage :

- La nouvelle plateforme ne semble pas adaptée à l'archivage de nombreux petits fichiers.
Chaque commande "aws s3 cp" prend un temps incompressible pour chaque fichier, faisant chuter drastiquement le taux de transfert moyen en présence de nombreux petits fichiers (jusqu'à < 10 ko/sec !!!).

- Les caractères pris en charge dans les noms d'objets semblent limités. Cf. doc S3 (https://docs.aws.amazon.com/fr_fr/AmazonS3/latest/dev/UsingMetadata.html).
Ce qui est piégeux, c'est que la commande "aws s3 cp" accepte les caractères problématiques (espaces, caractères accentués ...) sans broncher.
Mais j'ai constaté sur certains de ces fichiers, qu'il m'était impossible de les récupérer (opération de changement de classe CLASSIER > CLASSIC qui dure des heures et n'aboutit jamais).

Du fait de ces limitations, il est nécessaire de réorganiser ses données avant de les migrer :
- Grouper les fichiers dans des archives (ex : un fichier zip par dossier photos), afin de limiter les nombreux petits fichiers
- Supprimer les caractères problématiques

J'ai automatisé cette tâche à l'aide d'un script bash :

#!/bin/bash

if [ "$#" -lt 3 ] ; then
    echo "$0 <bucket-name> <bucket-subdir> <file1|dir1> [file2|dir2] ..."
    exit 1
fi

BUCKET_NAME=${1}
BUCKET_SUBDIR=${2}
TEMP_DIR="/media/dd/Media/Temp/"

# Tant qu'il reste des fichiers/dossiers à zipper
while [ ! -z "${3}" ] ; do
    to_zip=$(basename "${3}")
   
    # Remplacement des caractères accentués, par leurs équivalents non accentués
    # + Remplacement par "_" des caractères autres que ceux autorisés
    # cf. https://docs.aws.amazon.com/AmazonS3/latest/dev/UsingMetadata.html#object-key-guidelines
    zip_file=$(echo -n "${to_zip}.zip" | iconv -f utf8 -t ascii//TRANSLIT | tr -c 'A-Za-z0-9_.\-\(\)' '_')
   
    # Afficher les commandes avant exécution
    set -x

    # Zip (0% de compression) + envoi du zip vers AWS S3 GLACIER
    zip -Z store -r "${TEMP_DIR}/${zip_file}" "${to_zip}" && \
    aws s3 cp "${TEMP_DIR}/${zip_file}" "s3://${BUCKET_NAME}/${BUCKET_SUBDIR}/" --storage-class GLACIER && \
    rm "${TEMP_DIR}/${zip_file}"
   
    # Désactivation set -x
    { set +x ;} 2> /dev/null
   
    # Argument++
    shift
done

Certains ici utilisent le service object-storage de Scaleway ? Et leur option Cold storage ?

J'ai très très régulièrement des problèmes pour restaurer des objets depuis GLACIER. Parfois ça se fait en quelques minutes, d'autres fois rien du tout après plusieurs jours. Obligé de contacter le support, et comme par magie quelques heures après le fichier sort du glacier. Parfois avec une explication du support (les espaces dans les noms d'objets n'étaient pas pris en charge LOL), parfois juste ils "constatent" que le fichier a été restauré, comme par hasard après plusieurs jours et après les avoir contacté...
C'est super relou, c'est censé être un truc automatique. Je comprend bien le délais pour la restauration, ça peut s'automatiser sans soucis. Mais s'il faut contacter le support pour débloquer une situation c'est nul.

Sans compter que le support est assez chaotique. Une fois sur 2, on tombe sur un N1 qui n'y connait rien et répond à côté. Quand il comprend et transfère au N2, le N2 répond en demandant des infos. On envoit la réponse, c'est un N1 qui répond et qui re-transfère au N2... Génial.
Je confirme, j'ai constaté des mêmes problèmes, probablement causé par des caractères non pris en charge.
Depuis, je m'interdis d'utiliser d'autres caractères que ceux listés sur la doc S3 (https://docs.aws.amazon.com/fr_fr/AmazonS3/latest/dev/UsingMetadata.html) :

Caractères alphanumériquesCaractères spéciaux
0-9
a-z
A-Z
!
-
_
.
*
'
(
)

Ma conclusion est que la migration risque de faire fuire des clients. Il y a de fortes chances que les clients utilisent cet outil aussi pour aller voir ailleurs (AWS par exemple) surtout quand un service annoncé comme pérenne s’arrête au bout de 4 ans.
Ils auraient clairement du développer un truc pour que la migration se fasse de manière automatisée via l'interface.

Mon point de vue est que le système classic n'était pas pleinement satisfaisant pour scaleway en terme de maintenance. Il ne répondait pas à la demande des pros qui veulent une compatibilité S3.
Malheureusement, ca ressemble à du ovh qui annonce un super truc innovant pour le tuer quelques temps après.
Complètement d'accord !

A titre perso, je préférais C14 Classic. Le principe d'archive, et les multiples protocoles proposés (SCP, FTP ...) m'allaient très bien.
Le seul avantage que je vois à la solution sur base S3, est de pouvoir restaurer un seul fichier (alors que sur C14 Classic, c'était forcément une archive complète). Pour le reste, le passage à la solution sur base S3 ne m'apporte aucun bénéfice, mais plutôt des régressions (forcé d'utiliser un logiciel compatible S3, restriction sur les caractères, inadapté aux petits fichiers).
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: mirtouf le 12 août 2020 à 10:58:52
Je confirme que les caractères accentués ont été source des pièces.
J'ai constaté le même problème sur des fichiers de test et je n'ai même pas pu les supprimer...
Citer
Ce qui est piégeux, c'est que la commande "aws s3 cp" accepte les caractères problématiques (espaces, caractères accentués ...) sans broncher.
Mais j'ai constaté sur certains de ces fichiers, qu'il m'était impossible de les récupérer (opération de changement de classe CLASSIER > CLASSIC qui dure des heures et n'aboutit jamais).
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: FloBaoti le 12 août 2020 à 11:05:46
Le support m'a dit 200 fois qu'ils ont déployé des patchs concernant les caractères accentués...
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: mirtouf le 12 août 2020 à 12:26:55
The cake patch is a lie !
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Leon le 12 août 2020 à 17:28:51
Comment mettre en production un truc pas terminé, pas validé...

Je savais que c'était habituel chez OVH.
Mais je ne pensais pas que Scaleway était descendu aussi bas.

Leon.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: FloBaoti le 12 août 2020 à 17:32:03
Exactement le même ressenti de mon côté. J'ai quitté OVH il y a des années pour ces raisons, et depuis l'ouverture de l'écosystème Scaleway, c'est un retour à ces services "beta" facturés. Niveau de qualité en baisse et déception.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Zeref le 13 août 2020 à 23:43:57
De même, très décevant, d'autant plus de la part de Scaleway, anciennement Online.net. Je pensais qu'ils étaient un minimum sérieux comme le laissait témoigner leurs datacenters.
Résultat des courses, des offres bâclées, des bêta sans en voir le bout et un service instable qui se casse la figure au bout de seulement quatre ans. Laissant les utilisateurs dans la plus grande détresse au sujet du déplacement de leurs données.  :-X
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: willemijns le 13 août 2020 à 23:50:04
Et demander aux gens de reuploader leurs données, on touche le fond.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Nico le 14 août 2020 à 07:48:39
Résultat des courses, des offres bâclées, des bêta sans en voir le bout et un service instable qui se casse la figure au bout de seulement quatre ans.
Ils reproduisent ce qui a fait la réussite d'OVH !
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: willemijns le 14 août 2020 à 08:25:39
oh !
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Leon le 14 août 2020 à 18:26:11
Comme quoi, partir d'un hébergeur de qualité et plutôt classique/conservateur, et en faire un cloud provider hyper tendance, innovant, et aller concurrencer les AWS et Google, ça n'est pas si simple...

Leon.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: Zeref le 14 août 2020 à 23:08:43
Comme quoi, partir d'un hébergeur de qualité et plutôt classique/conservateur, et en faire un cloud provider hyper tendance, innovant, et aller concurrencer les AWS et Google, ça n'est pas si simple...

Leon.

En effet. J'ai bien l'impression que Scaleway a les yeux plus gros que le ventre.   :P
Qu'ils consolident déjà leurs premiers services avant de s'attaquer à un autre marché.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: mirtouf le 14 août 2020 à 23:09:58
On pourrait parler de l'implémentation d'IPv6 toujours pas au point mais c'est HS.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: FloBaoti le 15 octobre 2020 à 08:59:31
Petite info concernant l'object storage.
Officiellement aujourd'hui, les buckets sont supportés jusqu'à 500000 objets. Même s'il est possible d'y mettre plus, ils deviennent souvent instables et obligent à passer par le support pour résolution.
Le support vient de m'informer qu'une mise à jour du service est prévue pour la fin d'année (sans garantie de délais) pour lever cette limite technique.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: willemijns le 15 octobre 2020 à 09:38:30
Bizarre qu'un protocole est instable...
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: FloBaoti le 15 octobre 2020 à 09:44:05
 :o Rien à voir avec le protocole à mon avis. C'est leur implémentation logicielle et/ou matérielle derrière qui est en cause...
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: mirtouf le 16 octobre 2020 à 09:46:22
Oui, leur implémentation n'est pas top. J'ai déjà eu de drôles de message d'erreur avec la CLI.
Titre: C14 classic : fin de vie et nouveau C14 Cold Storage
Posté par: LeNuageux le 27 janvier 2022 à 18:51:47
Petite info concernant l'object storage.
Officiellement aujourd'hui, les buckets sont supportés jusqu'à 500000 objets. Même s'il est possible d'y mettre plus, ils deviennent souvent instables et obligent à passer par le support pour résolution.
Le support vient de m'informer qu'une mise à jour du service est prévue pour la fin d'année (sans garantie de délais) pour lever cette limite technique.

ça tombe bien Scaleway à mis à jour son infra !

Les données stockés en classe standard sur la région Paris sont désormais redondés sur 3 zones de disponibilité

Pour être plus précis les données qui sont déposé sur le service object storage sont divisés en 6 fragments de données avec en plus des fragments de parité dispatché sur les 3 zones de disponibilité c'est à dire :

Par zone de disponibilité (il y'en a 3 sur Paris):
2 fragments de données  + 1 de parité

et il n'y a plus de "limite" de 500k objets dans un bucket

Twitte du président de Scaleway :
https://twitter.com/a_bermingham/status/1486682915597606912

Article du blog de scaleway:
https://blog.scaleway.com/improve-disaster-resiliency-with-highly-redundant-multi-az-object-storage/