Auteur Sujet: AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?  (Lu 1947 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 50 000
    • Bluesky LaFibre.info
Comment fait AWS pour proposer l'accès aux données S3 Glacier Instant Retrieval en quelques millisecondes ?

Je cherche à comprendre la technologie utilisée par AWS pour S3 Glacier Instant Retrieval.
=> https://aws.amazon.com/fr/s3/storage-classes/glacier/

Pour l'accès rapide aux données froides, la solution était habituellement le stockage sur disque dur éteint (le stockage sur bande demande plusieurs heures pour récupérer les données).

Toutefois, le temps pour allumer un disque dur à plateau se compte en secondes et non en millisecondes.

Je me demande donc la technologie qui est utilisée.



Free_me

  • Abonné Free fibre
  • *
  • Messages: 3 503
  • Marseille
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #1 le: 09 octobre 2024 à 13:31:38 »
etrange effectivement.

pju91

  • Abonné Free fibre
  • *
  • Messages: 1 040
  • 91
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #2 le: 09 octobre 2024 à 14:21:59 »
Toutefois, le temps pour allumer un disque dur à plateau se compte en secondes et non en millisecondes.
Je pense qu'il y a un "biais" dans ton interrogation, tu supposes que le disque est dédié à ton stockage et qu'il est donc éteint si tu ne demandes rien.
Compte tenu de la nature massivement parallèle de l'infrastructure aws, je ne pense pas que ça soit le cas.
Ce document va peut-être te donner quelques pistes supplémentaires pour alimenter ta réflexion.

Gabi

  • Abonné SFR THD (câble)
  • *
  • Messages: 96
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #3 le: 09 octobre 2024 à 17:24:51 »
On utilise ce mécanisme au boulot (et j'ai implémenté les interactions côté client), et en fait, il y a eu un "glissement" sur la signification de ce qu'est S3 Glacier.

Le S3 Glacier "historique", c'est-à-dire celui où il faut attendre entre quelques minutes et quelques heures pour récupérer ses données s'est plus ou moins renommé S3 Glacier Flexible Retrieval. Y a été ajouté le "Deep Archive", comme classe "encore plus froide".

En pratique, le Instant Retrieval, c'est très utile pour des données qui seront accédées quelque fois par an, soit parce qu'elles sont réellement peu accédées, soit parce qu'il existe des caches ailleurs. Il faut bien voir que le prix du stockage n'est qu'une composante du prix total, et que le coût d'accès et de transfert est important pour les classes S3 Glacier. Pour du "Instant Retrieval", on est autour de 0.01$/GB transféré, ce qui est réellement élevé.

Free_me

  • Abonné Free fibre
  • *
  • Messages: 3 503
  • Marseille
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #4 le: 09 octobre 2024 à 17:58:45 »
ouais du coup ca n'a plus rien a voir avec le glacier d'origine donc
enfin bon si c'est pas cher, tant mieux

MoXxXoM

  • Expert
  • Abonné Starlink
  • *
  • Messages: 1 197
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #5 le: 09 octobre 2024 à 18:49:32 »
Pour du "Instant Retrieval", on est autour de 0.01$/GB transféré, ce qui est réellement élevé.
Sans tarifs négociés c'est même plus cher que ça https://aws.amazon.com/s3/pricing/?p=pm&c=s3&z=4. Du coup oui ça peut vite faire beaucoup.



vivien

  • Administrateur
  • *
  • Messages: 50 000
    • Bluesky LaFibre.info
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #6 le: 10 octobre 2024 à 16:07:47 »
Ma question est de savoir si S3 Glacier Instant Retrieval consomme de l'énergie quand on n'accède pas aux données.

Le critère 8.8 du RGESN 2024, préconise séparation des données « chaudes » et « froides » (page 118).

(cliquez sur la miniature ci-dessous - le document est au format PDF)

pju91

  • Abonné Free fibre
  • *
  • Messages: 1 040
  • 91
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #7 le: 10 octobre 2024 à 17:54:56 »
Comment te dire sans paraître désobligeant qu'Amazon ne se préoccupe pas franchement des publications de l'Arcep et de l'Arcom ?

Chez les hyperscalers comme aws, je pense que l'appréciation de la consommation énergétique se fait globalement et que c'est plutôt la provenance de l'énergie utilisée qui importe, ainsi que des critères tels que le PUE de leurs datacenters.


Gabi

  • Abonné SFR THD (câble)
  • *
  • Messages: 96
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #8 le: 10 octobre 2024 à 18:15:11 »
Ma question est de savoir si S3 Glacier Instant Retrieval consomme de l'énergie quand on n'accède pas aux données.
Citer
Le critère 8.8 du RGESN 2024, préconise séparation des données « chaudes » et « froides » (page 118).

Il n'y a pas de réponse quantitative, mais les docs d'architecture d'AWS recommandent l'utilisation de Storage classes appropriées pour les données chaudes/tièdes/froides: https://docs.aws.amazon.com/wellarchitected/latest/financial-services-industry-lens/fsisus10.html

On trouve même une jolie étude de cas bien vendeuses d'un client à eux qui a réduit son empreinte carbone en utilisant du S3-Intelligent Tiering (en gros, la transition automatique d'une classe de stockage à une autre) : https://aws.amazon.com/solutions/case-studies/illumina-carbon-emissions-case-study/



vivien

  • Administrateur
  • *
  • Messages: 50 000
    • Bluesky LaFibre.info
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #9 le: 10 octobre 2024 à 20:35:40 »
Merci pour les liens.

C'est dommage qu'ils ne donnent pas plus de détails sur les technologies mises en ouvre pour le chaud, tiède et froid.

Ils cachent la technique de même que la localisation des données.

Leon

  • Abonné Bbox fibre
  • Modérateur
  • *
  • Messages: 6 442
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #10 le: 11 octobre 2024 à 06:36:29 »
Ma question est de savoir si S3 Glacier Instant Retrieval consomme de l'énergie quand on n'accède pas aux données.
La réponse est forcément OUI.

Leon.

willemijns

  • Abonné FreeMobile
  • *
  • Messages: 2 733
AWS S3 Glacier: comment ils font pour l'accès en quelques millisecondes ?
« Réponse #11 le: 12 octobre 2024 à 10:06:45 »
Tout à fait car on ne peut pas etre "au taquet" quand on reste en etat de veille ;)

Pour ma part si cette technologie existe, on peut faire du hybride: toujours mettre en chaud une copie de X premiers MB d'un fichier, et au debut du telechargement on met en route les HD froids ;)