Auteur Sujet: Sauvegarde incrémentielle et différentielle d'un serveur ou PC Linux  (Lu 12330 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 48 311
    • Twitter LaFibre.info
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #12 le: 08 novembre 2021 à 17:41:46 »
Merci, je pense que ncat cela sera mieux que tcptraceroute. Ce dernier est assez lent pour voir si un port est ouvert.

Mon pré-requis était qu'il tourne sans avoir besoin des droits root, ce qui semble bien le cas de ncat.

Quand j'ai un peu de temps, je modifie le script.

flying38

  • Abonné Bbox fibre
  • *
  • Messages: 24
  • Briord - 01
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #13 le: 10 novembre 2021 à 16:29:55 »
Bonjour,

Sinon, il y'a le très bon Veeam Agent for Linux qui est gratuit: https://www.veeam.com/fr/linux-backup-free.html

Kedare

  • Expert Scaleway
  • Expert
  • *
  • Messages: 144
  • Nantes (44)
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #14 le: 16 novembre 2021 à 11:59:03 »
Pour les backups j'ai tendance a préférer les object storage ou autre (ca coute moins cher au final et rien a gérer), j'utilisais pendant pas mal de temps rclone avec du bucket backblaze et du lifecycle policy (pour garder les X anciennes version pendant plusieurs jours), puis je suis passé récemment sur https://kopia.io/ qui gère ca lui même et j'ai mis ca sur de l'object storage chez nous (Scaleway) a Amsterdam.

Ça juste marche et c'est relativement simple a configurer (avec chiffrage et compression)

M@yeulC

  • Abonné Bouygues Telecom 4G/5G
  • *
  • Messages: 42
  • Cambrousse Ardéchoise ou Lyon
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #15 le: 25 novembre 2021 à 17:08:36 »
Personnellement je recommande borg-backup. C'est super, et gère la dé-duplication et le chiffrement.

En interne, ça se passe un peu comme git: il y a des dépots distants et locaux, et des rolling hash pour la déduplication.

Je n'ai pas testé voir comment il se comportait avec les fichiers sparse ("troués" là où ils n'ont pas été écrits), les reflinks (copy on write) et les hard links (fichiers partageant l'inode). Mais pour le reste, nickel!

J'ai récemment mis en place borgmatic: https://torsion.org/borgmatic/

Pour ce qui est du serveur, rsync.net propose de l'espace de stockage à un prix raisonable. Assez facile de donner de l'espace à des amis via SSH sécurisé (accès uniquement à la commande `borg`).

kazyor

  • Expert des Télécoms
  • Expert
  • *
  • Messages: 1 362
  • Lyon 7ème (69)
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #16 le: 25 novembre 2021 à 17:12:36 »
Question bête, qqn a déjà regardé comment backup des fichiers CSV ?

Avec un tri du fichier, et un git / diff, on peut éviter la duplication d'une ligne si elle est identique.
En revanche, dans le cas où nous avons qu'une colonne qui change, la ligne étant complètement différente, on duplique tous les champs.

En bref, vous connaissez un outil à la diff qui sait gérer les CSV ?

Kedare

  • Expert Scaleway
  • Expert
  • *
  • Messages: 144
  • Nantes (44)
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #17 le: 30 novembre 2021 à 14:52:18 »
Question bête, qqn a déjà regardé comment backup des fichiers CSV ?

Avec un tri du fichier, et un git / diff, on peut éviter la duplication d'une ligne si elle est identique.
En revanche, dans le cas où nous avons qu'une colonne qui change, la ligne étant complètement différente, on duplique tous les champs.

En bref, vous connaissez un outil à la diff qui sait gérer les CSV ?

Quand tu commence à avoir des besoins comme ca c'est peut être temps de passer a autre chose que du CSV :)

Ce genre de diff est en général géré sans soucis via les binlogs des bases de données.

kazyor

  • Expert des Télécoms
  • Expert
  • *
  • Messages: 1 362
  • Lyon 7ème (69)
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #18 le: 30 novembre 2021 à 15:19:08 »
Ce n'est pas moi qui choisi le format d'échange :)
En l’occurrence, export quotidien de données peu volatiles.
Si je pouvais ne pas archiver bêtement, ça serait top ...

JeannotPlanche

  • Expert Scaleway
  • Abonné Free fibre
  • *
  • Messages: 139
  • 93
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #19 le: 30 novembre 2021 à 20:13:42 »
puis je suis passé récemment sur https://kopia.io/ qui gère ca lui même et j'ai mis ca sur de l'object storage chez nous (Scaleway) a Amsterdam.

Je ne connaissais pas Kopia ! Comment le comparerais-tu à Restic ?


Kedare

  • Expert Scaleway
  • Expert
  • *
  • Messages: 144
  • Nantes (44)
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #20 le: 03 décembre 2021 à 14:20:21 »
Je ne connaissais pas Kopia ! Comment le comparerais-tu à Restic ?

Je connais pas du tout Restic donc je pourrais pas comparer,
Mais Kopia est vraiment simple a config en tout cas, et ca gère la compression et le chiffrage automatiquement (avec des algos configurable pour les deux selon le besoin)

M@yeulC

  • Abonné Bouygues Telecom 4G/5G
  • *
  • Messages: 42
  • Cambrousse Ardéchoise ou Lyon
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #21 le: 11 décembre 2021 à 18:31:07 »
Question bête, qqn a déjà regardé comment backup des fichiers CSV ?

Avec un tri du fichier, et un git / diff, on peut éviter la duplication d'une ligne si elle est identique.
En revanche, dans le cas où nous avons qu'une colonne qui change, la ligne étant complètement différente, on duplique tous les champs.

En bref, vous connaissez un outil à la diff qui sait gérer les CSV ?

De la simple compression devrait gérer cela très efficacement. Pour stocker de multiples copies sauvegardées ? Des snapshots de système de fichier, ou quelque chose avec des rolling hashes, peut-être ostree, ou la plupart des outils avec dé-duplication (borg inclus).

vivien

  • Administrateur
  • *
  • Messages: 48 311
    • Twitter LaFibre.info
Sauvegarde incrémentielle et différentielle d'un serveur
« Réponse #22 le: 15 octobre 2023 à 09:59:34 »
Le disque dur externe : la meilleure solution de stockage ? 🤔 Pas sûr… @Micode nous montre ses limites et nous parle des solutions qui s'offrent à vous !


vivien

  • Administrateur
  • *
  • Messages: 48 311
    • Twitter LaFibre.info
Sauvegarde incrémentielle et différentielle d'un serveur ou PC Linux
« Réponse #23 le: 15 mars 2024 à 08:54:42 »
Avec mon script, si la dernière sauvegarde incrémentielle est vide, incomplète, cela pose un problème, car la sauvegarde suivante ne sera plus une sauvegarde incrémentielle, mais complète, ce qui prend du temps et peu saturer votre espace disque (vous aurez deux sauvegardes complètes).

Pour résoudre ce problème, il faut donc supprimer la sauvegarde vide, mais également décaler les précédentes sauvegardes.

Voici un script, à exécuter dans le dossier dans lequel sav.0 sav.1 sav.2 ... apparaissent.

Il va supprimer la dernière sauvegarde ratée (sav.0) et décaler les sauvegardes précédentes, de façon à ce que la prochaine sauvegarde soit incrémentielle : sav.1 est renommé sav.0, sav.2 est renommé sav.1 et ainsi de suite.


#!/bin/bash
if [ -d sav.0 ]
then
   echo -n "Efface sav.0"
   rm -r sav.0
fi
if [ -d sav.1 ]
then
   echo -n "Déplace sav.1"
   mv sav.1 sav.0
fi
if [ -d sav.2 ]
then
   echo -n "Déplace sav.2"
   mv sav.2 sav.1
fi
if [ -d sav.3 ]
then
   echo -n "Déplace sav.3"
   mv sav.3 sav.2
fi
if [ -d sav.4 ]
then
   echo -n "Déplace sav.4"
   mv sav.4 sav.3
fi
if [ -d sav.5 ]
then
   echo -n "Déplace sav.5"
   mv sav.5 sav.4
fi
if [ -d sav.6 ]
then
   echo -n "Déplace sav.6"
   mv sav.6 sav.5
fi
if [ -d sav.7 ]
then
   echo -n "Déplace sav.7"
   mv sav.7 sav.6
fi
if [ -d sav.8 ]
then
   echo -n "Déplace sav.8"
   mv sav.8 sav.7
fi
if [ -d sav.9 ]
then
   echo -n "Déplace sav.9"
   mv sav.9 sav.8
fi
if [ -d sav.10 ]
then
   echo -n "Déplace sav.10"
   mv sav.10 sav.9
fi
if [ -d sav.11 ]
then
   echo -n "Déplace sav.11"
   mv sav.11 sav.10
fi
if [ -d sav.12 ]
then
   echo -n "Déplace sav.12"
   mv sav.12 sav.11
fi
if [ -d sav.13 ]
then
   echo -n "Déplace sav.13"
   mv sav.13 sav.12
fi
if [ -d sav.14 ]
then
   echo -n "Déplace sav.14"
   mv sav.14 sav.13
fi
if [ -d sav.15 ]
then
   echo -n "Déplace sav.15"
   mv sav.15 sav.14
fi
if [ -d sav.16 ]
then
   echo -n "Déplace sav.16"
   mv sav.16 sav.15
fi