21 Jan 2015
Bonjour!
Cet article s’adresse aux paranoïaques de la sauvegarde de données.
Vous ne faites jamais de copies de sauvegarde de vos photos? Ou alors une fois de temps en temps sur un DVD ou un seul disque dur? Alors cet article n’est pas pour vous.
En revanche, si comme moi vous avez un NAS, au moins 2 jeux de sauvegarde sur disques durs externes (dans différents endroits!) et un logiciel de sauvegarde automatique, alors oui, cet article est pour vous! On va amener vos sauvegardes à un niveau supérieur d’intégrité.
Commencez par la base de la sauvegarde
Cet article est pour initiés. Assurez-vous avant de suivre mes conseils dans cet article que vous avez la base couverte. Notamment:
Comment vérifiez-vous que vos disques durs de sauvegarde sont en bon état?
C’est très bien d’avoir 1 ou 2 jeux de sauvegarde sur disque dur, mais comment vérifiez-vous l’intégrité de ces données? Si vos sauvegardes ne sont plus bonnes elles ne valent rien! C’est le syndrome de la bouée de sauvetage trouée ou le bateau de sauvetage percé. On croit qu’on est en sécurité mais au fait non.
Alors, je répète ma question, comment vérifiez-vous vos disques de sauvegarde? C’est une opération compliquée!
Au mieux on devrait, régulièrement, vérifier que tous les fichiers écrits sur les disques de sauvegarde marchent toujours! Mais il ne suffit pas de regarder que le disque dur fonctionne pour s’assurer que tous les fichiers sont bons!
Les disques durs peuvent se démagnétiser et perdre des données sur quelques secteurs. Du coup vous avez l’impression que votre disque est bon, mais les données de certains fichiers sont corrompues.
Vos fichiers peuvent même avoir la bonne taille, et pourtant être corrompus à l’ouverture! Votre logiciel de sauvegarde automatique verra un fichier avec le bon nom, date et taille et sera incapable de détecter que ce fichier copie est corrompu et n’essaiera donc pas de le remplacer. Bref: vous avez perdu un ou plusieurs fichiers sans jamais vous en rendre compte… jusqu’au moment où vous essayez de récupérer la sauvegarde
Le MD5 Checksum à la rescousse!
Chaque fichier est constitué d’une longue chaîne d’octets. On peut effectuer un calcul sur cette chaîne pour déterminer une longue expression qui sera « presque » unique à ce fichier. Il s’agit alors de l’ADN de ce fichier.
Il y a pleins de façons d’exprimer ce chiffre quasi unique pour ce fichier, et un des algoritmes d’expression est appelé le MD5 Checksum. Par exemple:
053f9013a3827c18a2b43a3967ed221e
Le MD5 est utilisé en crytographie, mais ici nous l’utilisons juste pour réduire une longue chaîne de caractères. Si un seul octet de ce fichier est modifié, alors son ADN (ou dans notre cas son MD5 Checksum) est modifié.
Et voilà toute la puissance du MD5 Checksum: il permet de s’assurer que le fichier est exactement le même que le fichier d’origine sans avoir à avoir une copie exacte du fichier d’origine ou ouvrir le fichier de copie.
Notez qu’il existe de très nombreux algos pour déterminer des ADN uniques, comme par exemple le SHA1. PAr habitude j’utilise le MD5, mais aujourd’hui je viens de faire un benckmark et en testant le MD4 j’ai trouvé que je réduisais les temps d’execution d’un facteur de 5!
Notre stratégie
Voici l’idée générale:
- quand je crée une sauvegarde, je vais générer un listing avec tous les MD5 Checksum pour tous mes fichiers copiés.
- Je vais toute de suite après la sauvegarde confirmer que la copie s’est bien passée en vérifiant que les fichiers sur le disque de copie sont absolument identiques aux fichiers originaux.
- Réglulièrement je vais vérifier sur mon disque de sauvegarde que les fichiers enregistrés ont toujours le même MD5 checksum que celui du jour où j’ai fait l’enregistrement (si des secteurs sont corrompus suite à une démagnétisation partielle du disque alors je vais trouver des MD5 modifiés)
Vous me suivez sur la théorie? On peut passer à la pratique?
Utiliser le MD5 Checksum pour s’assurer de l’intégrité des fichiers copiés
Il existe plein de freeware qui vont vous permettre de réaliser ces opérations, soit avec une interface utilisateur ou en ligne de commande. J’en ai trouvé un très très rapide qui utilise tous les coeurs de mon processeur et c’est donc celui-là que je vais vous présenter: ExactFile (testé contre FCIV de Microsoft, et 5 fois plus rapide que FCIV)
Téléchargez ExactFile gratuitement ici
Une fois installé, les 2 fonctions principales sont de
- Créer un listing de MD5 (Create Digest) et
- Tester ce listing contre des fichiers (Test digest)
Créer un listing de MD5 Checksum
Il suffit d’aller dans l’onglet « Create Digest », de sélectionner le répertoire pour lequel on souhaite créer le listing, cocher les 3 options:
- Include Subfolders: inclure tous les sous-répertoires
- Include full paths in output: inclure les chemins de répertoire dans le fichier résultant (le listing)
- Output to file: sauvegarder le fichier
Voilà. C’est tout. Vous laissez tourner pendant qu’il crée le listing. Le temps qu’il met dépend du nombre et taille de fichiers que vous avez. Comptez avec une bonne machine envrion 1 minute par 1000 fichiers pour de très gros fichiers RAW ou 1 minute pour 5000 fichiers avec des petits JPG.
Valider vos fichiers avec le MD5 Checksum
C’est là que ca devient amusant. Avec ce fichier « listing », au fomat fichier.MD5, je vais pouvoir valider l’intégrité de fichiers originaux ou copie où que soient ces fichiers!
Vous utilisez juste l’onglet « Test Digest » et indiquez le répertoires où
- se trouve votre fichier MD5
- se trouve vos fichiers à vérifier
Vous laissez votre ordinateur travailler et il va vous indiquer tous les fichiers corrompus ou modifiés!
Si vous voyez que vous commencez à avoir des fichiers corrompus sans que vous ayez changé les fichiers, alors il est grand temps de changer votre disque dur!
Ma recommandation sur la fréquence de la vérification
Il faut faire cette vérification régulièrement, surtout sur des disques durs pleins qu’on ne touche plus.
Si vous avez vos copies de sauvegarde en double exemplaire, vous ferez cette vérification moins souvent que si vous avez une seule copie de chaque fichier.
Je vous recommande une vérification au moins mensuelle de vos données sur disques durs externes.
Le processus d’utilisation du MD5 Checksum
Voici comment j’opère.
Lors d’une nouvelle sauvegarde
1. Copier les fichiers vers le disque dur externe
2. Pendant la copie, faire tourner Exactfile (ou équivalent) sur les fichiers originaux pour se créer son listing MD5.
3. Une fois la copie et le listing MD5 terminés, utiliser « Test Digest » pour vérifier les fichiers copiés avec le listing MD5 nouvellement crée. On valide ainsi une bonne copie des fichiers.
4. Copier le listing .MD5 sur le disque externe de sauvegarde à la racine.
Lors d’ajout de répertoires sur le disque externe
1. Avant même de commencer la sauvegarde, on vérifie l’intégrité des fichiers existants. On lance « Test Digest » à partir du fichier présent à la racine du disque externe (crée à l’étape 4 ci-dessus) sur les répertoires du disque externe.
2. On copie les nouveaux répertoires sur le disque externe
3. On crée un nouveau listing MD5 sur tous les fichiers du disque dur externe qu’on sauvegarde à la racine. Je n’ai pas trouvé une façon facile de créer un listing incrémental. En faisant ceci on valide les fichiers sur le disque de copie comme authentiques et non corrompus, il est donc essentiel de procéder à leur vérification dans l’étape 1 ci-dessus.
Lors de vérifications mensuelles
Là c’est très facile: on lance Exactfile sur le disque externe en utilisant le fichier .MD5 disponible à la racine de sa copie.
Sur Mac ou Linux?
Le module MD5 est intégré nativement en ligne de commande sous Mac (commande: md5) ou Linux (md5sum) mais vous allez devoir un peu vous gratter la tête pour automatiser le processus comme ci-dessus. Avec de la chance des locos viendront à votre rescousse.
Suis-je le loco le plus paranoïaque?
Je viens tout juste de mettre en place cette technique MD5 Checksum dans mon processus de sauvegarde. Avant, je changeais tout simplement les disques durs au bout d’un… moment.
Est-ce qu’il y a au moins un autre loco qui utilise le processus de vérification systématique des données externes avec la MD5 Checksum?
Allez plus loin
Inscrivez-vous gratuitement à fotoloco: Cliquez ici
- Rejoignez 30,000 membres actifs: le plus grand club photo francophone!
- Postez votre photo, les locos la commentent
- Améliorez vos photos, trouvez l’inspiration
En vous inscrivant à fotoloco je vous offre 3 ebooks sur le Studio de Rue, le Strobist et l’utilisation du flash: près de 200 pages de conseils! Cliquez ici
Soutenez fotoloco en cliquant sur mes liens affiliés avant de faire vos achats, même si ce n’est pas pour du matériel photo:
-
La compression intelligente de vos photos
Vos photos réduites de +80% en poids sans perte de qualité visible. Application pour Windows et Mac. Découvrez NanoJPG
Réussir en photographie de mariage: mon système et ma communication aux mariés
Pour les photographes pros: Tous mes modèles d’emails, tous les appels que je passe, tous les SMS, tous les meetings, tous les contrats avec les futurs mariés. Découvrez Réussir en photographie de mariage
La formation fotoloco Drone de loisir : j’apprends à piloter, filmer et photographier
Près de 7 heures de vidéo! Découvrez la formation fotoloco Drone de Loisir
Comprendre la lumière et l’utilisation des flashs TTL:
3 heures de vidéos téléchargeables. Cliquez pour la vidéo de présentation
Méga formation Strobist / Studio de Rue
Utilisez des petits flashs pour créer de la grande lumière! Plus de 5 heures de vidéo téléchargeable. Découvrez le contenu des vidéos
Blaise Retouche Portrait: pack d’actions pour Photoshop pour retoucher les visages.
D’un simple coup de pinceau retouchez vos portraits comme un pro. J’ai inclus les tutos videos pour très facilement maîtriser la retouche portrait. Cliquez pour une démonstration en video des actions photoshop
Le Look Noir et Blanc
Pack d’actions pour Photoshop pour créer de superbes photos noir et blanc. Cliquez pour une démonstration en vidéo du nouveau panneau de contrôle noir et blanc pour Photoshop
Animaphoto
L’extension pour Photoshop qui vous permet de facilement animer vos photos ou de créer des Cinemagraphs à partir de vos videos! Découvrez les animagraphs et cinemagraphs pour une nouvelle dimension pour vos photos
Blaise Fiedler: Je suis photographe spécialisé dans le mariage sur les Alpes-Maritimes (06) et dans la belle photographie sociale.
Quand je trouve le temps j’aime partager ma passion de la photographie sur ce blog afin que tous puissent apprendre.
Photo à la une par emilime.
Ajouter cet article à vos favoris fotoloco
Commentaires
Laisser un commentaire
Pour poster un commentaire, cliquez sur Connexion-Login.
Soutenez moi!
fotoloco coûte cher.
Vous pouvez me soutenir!
Passez par ces liens avant vos achats:
Amazon
Miss Numérique
Devenez Donateur:
Donateur régulier avec privilèges
Faites un don ponctuel
3 ebooks gratuits!
Trois livres sur les techniques Studio de Rue et Strobist - GRATUITS! et plein d'autres bonus pour photographes (contrats, tableaux...).
Rejoignez plus de 20,000 abonnés
Concours photo : Participez
Bébés animaux - du 18/11 au 25/11
Concours photo : Votez
Merci pour cet article intéressant et pour le soft.
Moi j’ai un DD externe et un petit NAS qui sont remplis des données les plus critiques. Je manque d’espace disque alors ma stratégie de sauvegarde boit la tasse en ce moment mais je reviendrai lire cet article quand on cela ira mieux.
Bonjour, personnellement j’utilise Syncback de 2brightsparks. Il possède une vérification de hachage. L’avantage est qu’il est possible de planifier les tâches de sauvegarde.En bonus il fait de la synchro paramétrable. Je vais quand même essayer ce petit soft. Bonne continuation.
bonjour et merci pour tout ce que tu partages. Pour ma part j’utilise un petit logiciel téléchargeable gratuitement sur le net : crystaldiskinfo. Il a la particularité de te donner les infos SMART de ton disque dur(nombre d’heure d’utilisation, secteur instable ou irrécuperable ainsi que les chocs…) à la moindre alerte (il donne un état de santé) du type prudence = changement de disque. Par contre ne pas se servir des autres fonctions et toujours faire une installation personnalisée pour décocher les programmes partenaires (souvent malvaillant).
cordialement
La méthode décrite dans l’article sur des répertoires existant et sauvegardés depuis un certain temps peut induire en erreur : le MD5 stocké peut être celui d’un fichier déjà abîmé alors que le fichier sauvegardé est bon.
Sous Linux (Ubuntu en l’occurrence) j’utilise Grsync en mode simulation, avec ‘contrôle MD5’ activé. Le répertoire source est le répertoire de référence et le répertoire destination est celui de backup (mais en mode simulation il n’y a pas d’inconvénient à faire l’inverse). Il va afficher la liste des fichiers de la destination qui n’ont pas le même MD5 que la source.
En cas de différence détectée ça ne dit pas qui est en « tort », la source ou la destination puisque ce n’est pas une comparaison par rapport à un MD5 élaboré dès la création du fichier source mais ça me paraît plus sain dans le cas que je décris plus haut.
J’ai déjà perdu un disque de 1TO de photos parce-que je n’avais pas fait de sauvegarde, cela m’avait bien fait ch…. ! mais est ce que je suis prêt à faire tout ça ? je ne sais pas, en fait ce ne sont que des photos et je n’en vis pas, alors ?
Si tu n’as pas d’obligation vis à vis d’un client, tes photos n’ont que la valeur que tu leur donne. Si elles ne valent pas plus à tes yeux qu’un disque dur alors aucune sauvegarde n’est nécessaire. Si elles comptent quand même plus tu peux te permettre au moins un backup pour le cas où.
Je ne sais pas si tu es un troll ou pas, mais j’ai rarement entendu ca!
Tes photos tu as pas mal investi pour les faire: matériel, temps, déplacement. Elles sont uniques et irremplaçables.
Maintenant il y a plusieurs niveaux dans la volonté de protéger ses photos et je me rends compte que faire de la vérification régulière des supports de stockage n’est pas la tasse de thé de tout le monde. Il y a plusieurs niveaux dans la volonté de protéger ses photos, mais je suis surpris qu’il existe des gens qui se satisfont du niveau 0 (ie: pas de protection du tout).
A savoir, puisqu’on est dans la sécurité des sauvegardes :
Les clients Amazon Premium disposent désormais du Cloud Amazon de 5Go (extensible en payant) + Stockage photos illimité.
Cordialement.
Oui, un peu comme on en a discuté ici:
https://fotoloco.fr/20141210/amazon-premium-photos-stockage-illimite-de-vos-photos-pour-49e-an/
bjr, j’utilise comme SHUSENSHI Syncback de 2brightsparks, l’utilisation de ce logiciel est assez simple et permet des sauvegardes automatiques par taches planifiées.
j’utilise en parallele un logiciel permettant de vérifier l’intégrité physique de mes disques durs: crystaldiskinfo
je sauvegarde sur un disque dur externe en plus de la sauvegarde sur le PC.
J’utilise également Syncback sur deux disques externes de sauvegarde plus l’historique des fichiers sous windows pour les effacements, écrasements accidentels de la journée. Jusqu’à aujourd’hui je n’ai pas rencontré de problème de récupération.
Question comment être certain de la validité de tous les fichiers sources à sauvegarder juste avant de faire le MD5 et je dirais même juste après ?
Michel,
Oui, j’utilise aussi Syncback. Ils déconseillent en fait d’utiliser la vérification hashtag: si ton fichier d’origine est corrompu, donc avec un hash différent, il va remplacer le fichier destination en bon état!!
bonjour,
personnellement j’utilise aussi Syncback de 2brightsparks depuis plusieurs années sans aucun problème
je sauvegarde mes Raw sur un disque externe je les ais donc 2 fois
et je sauvegarde aussi tous mes fichiers traités séparément sur des disques externes
j’ai dans ma tour du PC 6 disques durs interne soit environ 9To
dont le disque C qui n’a que mon système et mes logiciels en cas de problème de type virus je ne perd aucune donnée:
ses 6 disques sont 1/2 pleins
j’ai en externe 5 disques durs de sauvegarde pour également 9 To.
Donc mes fichiers Raw puis traités sont en 4 exemplaires sur 4 disques durs différents.
Quand je part pour quelques jours mes disques durs externes sont dans un autre local séparé de ma maison.
Je n’ai aucune confiance dans les « Clouds » si pour une raison la société qui fournis le stockage ferme vous perdez tout, et, ça vous n’êtes prévenu qu’après il y a déjà eu des surprises chez des coléges photographes.
Excusez moi mais cette article sur la vérification des disques et des données est très intéressant je vais l’utiliser dès que possible merci à Blaise
J’ai écris plus haut que je n’ai pas assez d’espace de stockage et que mes back up sont en retard… … Ben j’ai mon HDD de travail Western Digital Green 2To qui a claqué hier… 1,2To de donnée dessus dont 80% sans back up… dont une partie de mes catalogues Lr et beaucoup de rush vidéo… ça pique
…
Mince!!!
Je suis vraiment vraiment désolé de lire ca.
Bon courage!
Blaise
Aucun RAW perdus ni aucun psd, par contre les catalogues LR, tous les rush vidéo de ce qui était en cours (tuto y comprit) et toutes mes ressources graphiques sont partis en fumée.
Je viens d’avoir un entretien au tel avec Recoveo, ils estiment vus les symptômes que c’est un soucis de tête de lecture donc salle blanche obligatoire. Devis à partir de 1200 HT.
A ce prix, ça fait un beau NAS…
J’ai déjà testé toutes les solutions software sans succès.
VDM
Wow!
Je pensais justement aux solutions logicielles…
1200 HT bigre! « a partir de »… Pour ce tout petit prix je suis sûr qu’ils ne garantissent pas le résultat :(
Haie! oui ça pique, c’est ce genre d’aventure qui a vraiment déclenché ma politique de sauvegarde. J’en pleure encore. Maintenant c’est vrai que cela demande certain moyens.
Bon courage Jean-Phi.
Alors si à ce prix, il y a obligation de résultat. Le diagnostic est gratuit, ils analysent le disque, chiffre le dépannage puis établissent la liste des fichiers récupérable. Si ensuite tu signes, ils récupèrent les données sous 10 jours ouvrés. (Les frais d’envois, le disque dur de récupération ne sont pas inclus…)
Ca c’est entre 1200€ et 1600€ HT + HDD + envoi.
Si tu refuses le devis, il faut s’acquitter de 35€ de frais pour le retour et le temps de démontage.
La formule premier prix pour particulier c’est 890€ TTC et là tu dois choisir un répertoire cible ou un type de fichier précis qu’ils récupèrent en priorité. Pour le reste, il n’y a pas de garantit de résultat.
Sinon pour le fun le forfait soir et week-end 24h/24 c’est 490€ HT juste le diagnostic/devis puis la récupération entre 4100 et 4900€ HT tout compris ^^
Merci de vos encouragements, il va y en avoir besoin.
.Bonjour,
Je viens d’utiliser Exactfile. Le « Test Digest » m’annonce 14 erreurs.
Les 14 fichiers concernés s’ouvrent parfaitement dans photoshop !
Que dois-je faire ?
Cordialement.
Salut,
Cet outil te permet de vérifier que le fichier n’a pas changé. Tes 14 erreurs veulent juste dire que tu as 14 fichiers qui ont changé. Ce n’est pas pour autant qu’ils sont corrompus.
Merci pour ta réponse.
Le problème c’est que je venais de faire cette sauvegarde sur un disque neuf avec la commande Xcopy. En théorie tout les fichiers devaient être identiques.
Cordialement.