Wie finde ich beschädigte CR2-Dateien?

Heute habe ich "zufällig" herausgefunden, dass einige meiner CR2-Canon-Rohdaten beschädigt sind. Die EXIF-Daten und die Dateistruktur sind in Ordnung, es sind die Rohbilddaten selbst, die fehlerhaft zu sein scheinen. Der Adobe DNG Konverter meldet keine Fehler und ich kann die Dateien auch ohne Vorwarnung in Lightroom importieren. Die Vorschauen sehen zunächst makellos aus, zeigen dann aber Verzerrungen. Ich gehe davon aus, dass die anfängliche Vorschau, die ich sehe, das eingebettete JPG ist, und sobald die Dateien importiert sind, generiert Lightroom neue Miniaturansichten basierend auf den Rohdaten. Mein Problem ist, dass wir über 18.000 Dateien sprechen, die betroffen sein können, und ich keine Ahnung habe, wie ich die defekten Bilder identifizieren kann, außer mir jede einzelne Datei anzusehen. Ich habe ein Programm namens ImageVerifier ausprobiert, aber es meldet auch keinen Fehler. Anziehen' t CR2-Dateien Prüfsummen haben, die verwendet werden können, um beschädigte Dateien zu erkennen? Wenn ja, gibt es ein Programm, das die Integrität überprüfen kann?

Edit: Hier sind einige Bilder, die das Problem zeigen:

Geben Sie hier die Bildbeschreibung ein

Und:

Geben Sie hier die Bildbeschreibung ein

mein Wissen zu diesem Thema ist ziemlich begrenzt. Aber ich verstehe, dass cr2 keine Prüfsumme hat und dass, wenn Sie Adobes dng verwendet haben, eine Prüfsumme erstellt wird, also ein Vorteil bei der Verwendung dieses Dateiformats.
Beim Erstellen einer DNG-Datei aus einer beschädigten .cr2-Datei wird nur eine Prüfsumme ausgegeben, die bestätigt, dass die DNG dieselben Daten enthält wie die beschädigte Datei, aus der sie erstellt wurde.
@smares Können Sie ein Beispiel dafür posten, wie die "Verzerrungen" aussehen, auf die Sie sich beziehen?
@MichaelClark Der Beitrag wurde aktualisiert
Mir ist aufgefallen, dass die Fehler bei Bildern auftreten, die als Teil einer fortlaufenden Serie aufgenommen wurden.
Ich würde wahrscheinlich die Miniaturansichten für die CR2-Dateien separat neu generieren und dann eine Bildvergleichssoftware verwenden, um nach Unterschieden zwischen der ursprünglichen JPG-Miniaturansicht und der neu generierten zu suchen. Wenn der Unterschied größer als sagen wir 5 % ist, ist er wahrscheinlich beschädigt. Ich denke, Sie können imagemagick wahrscheinlich für den Bildvergleich und möglicherweise auch für die Extraktion verwenden
Für das, was es wert ist, habe ich dieselbe Beschädigung von Fotos bemerkt, die ich von einer SD-Karte über einen Angelbird-Leser / Hub gelesen habe, als ich dieselben Fotos erneut über einen SD-Leser einer anderen Marke importierte, wurden alle Fotos einwandfrei importiert.

Antworten (1)

Dies ist lange Zeit unbeantwortet geblieben, also werde ich eine Zusammenfassung machen.

Die meisten RAW-Dateien, einschließlich meines Wissens von Canon, enthalten keine Prüfsumme in der Originaldatei, wie sie von der Kamera geliefert wird, sodass es keine sichere Möglichkeit gibt, festzustellen, ob eine bestimmte Kopie korrekt ist. Einige können so beschädigt sein, dass sie nicht importiert werden können, aber oft sind sie falsch, wenn sie angezeigt werden, aber sie funktionieren immer noch in den meisten Programmen.

Ich glaube, die meisten von uns kommen einer praktikablen Lösung für das Problem am nächsten, wenn sie (1) die Dateien so schnell wie möglich überprüfen und alle Probleme beheben und (2) einen Workflow verwenden, der darauf ausgelegt ist, Fehler zu erkennen und zu korrigieren "bisschen verrotten" danach.

Wenn es früh erkannt wird, während sich noch eine Kopie des Bildes/der Bilder auf der Karte befindet, kann das Problem oft durch Wiederherstellungssoftware oder einfach durch erneutes Herunterladen behoben werden. Offensichtlich wird das Problem schnell bemerkt, und ich habe keine gute Lösung dafür, außer kurz nach der Aufnahme eine Überprüfung vorzunehmen.

Die zweite Hälfte ist meiner Meinung nach noch wichtiger – digitale Bilder können mit der Zeit „verrotten“. Ja, sie können korrupt werden, wenn sie nur dasitzen, während Sie ihnen nichts tun. Das Kopieren auf Ersatzcomputer, Festplatten, fehlerhafte Bearbeitungen, Beschädigungen auf Festplatten (z. B. Indexprobleme, die dazu führen, dass Datei A auch über einem Teil von Datei B gespeichert wird) und nur Festplatten-Lesefehler können Bilder stillschweigend beschädigen. Vielbeschäftigte Fotografen können schnell damit beginnen, die erwartete Fehlerrate von Festplatten zu erhöhen, wenn sie Terabytes an Daten sammeln; und einige dieser Fehler werden von der Hardware nicht erkannt, und selbst wenn sie von der Hardware erkannt werden, neigen die von uns verwendeten Desktop-Betriebssysteme dazu, sie nicht zuverlässig zu behandeln (oder sie manchmal sogar zu melden).

Eine Reihe von Techniken kann dies angehen:

1) Verwenden Sie Tools, die nach dem Laden Prüfsummen der Datei erstellen und sie später mit neu berechneten Prüfsummen vergleichen. Image Verifier war ein kommerzielles Tool dafür, und andere haben Public-Domain-Tools beigesteuert (ich habe eines namens LR Validate für Windows/Lightroom geschrieben).

2) Verwenden Sie Dateisysteme, die eine solche Erkennung einbauen, z. B. zfs und btrfs, und die neuen Refs von Microsoft (ich persönlich finde es zu unausgereift). Ein "zfs-Scrub" zum Beispiel überprüft jede Datei, um zu sehen, ob sie immer noch die gleichen Prüfsummen hat.

3) Konvertieren Sie in DNG und verwenden Sie die Prüfsummenvalidierung (dies ist nur eine teilweise Validierung des Dateiinhalts; es überprüft den Bildteil, aber nicht alle Metadaten, sodass es im Laufe der Zeit möglicherweise Bildbeschädigungen erkennt, aber Ihre Entwicklungseinstellungen nicht meldet wir sind verloren). Dies ist die einfachste Technik für die meisten Menschen (obwohl die Verwendung von DNG mit Kosten verbunden ist - ich persönlich tue dies nicht).

All dies basiert auf der Idee, dass Sie Backups erstellen und, wenn eine „faule“ Situation erkannt wird, von einer von (vermutlich) mehreren gesicherten Kopien wiederherstellen können.

Mir ist jedoch klar, dass dies nicht das Kernproblem anspricht: „Wenn ich Korruption zugelassen habe, wie kann ich sie jetzt finden?“. Der beste Vorschlag, den ich habe, ist, mit einer Massen-DNG-Konvertierung zu beginnen (Sie müssen dies nicht tun, um sie beizubehalten, Sie können das Programm einfach eigenständig für Ordner in einem Ausgabeordner ausführen, den Sie in den Papierkorb verschieben möchten). Wenn ich mich recht erinnere, macht Image Verifier das intern. Dies wird nicht alle Fehler abfangen, aber es kann einige finden.

Den Rest, glaube ich, müssen Sie durch Überprüfung mit dem Auge finden. Sie können Lightroom (falls Sie es verwenden) einfach die Vorschauen neu erstellen lassen und sie mit dem Auge scannen. Grobe Probleme können herausspringen, kleinere wahrscheinlich nicht.