Welche Verarbeitung erfolgt bei RAW-Dateien in der Kamera?

Kürzlich stieß ich auf eine Debatte darüber, ob es fair ist, RAW als „unverarbeitete“ oder „unveränderte“ Sensordaten einer DSLR zu bezeichnen. Soweit ich weiß, werden die analogen Sensordaten mit der ISO-Einstellung zu einer digitalen RAW-Datei verarbeitet, ein Prozess, bei dem auch die Bayer-Sensordaten demosaikiert werden. Dies sind jedoch nur die notwendigen Schritte, um eine digitale Datei bei maximaler Qualität zu speichern.

Sind diese Annahmen richtig? Wenn ja, gibt es zusätzliche Schritte, die zwischen dem Lichtempfang des Sensors und dem Speichern der RAW-Datei durchgeführt werden müssen? Und können diese vernünftigerweise als „Änderung“ der Sensordaten bezeichnet werden, oder kann man fairerweise sagen, dass eine RAW-Datei die unveränderten Sensordaten enthält?

Die Diskussion von RAW-Daten im Vergleich zu Bildern auf dieser Website scheint ein bisschen wie ein Beharren darauf zu bestehen, dass belichteter Film eine Suspension von Silberhalogenidkristallen, aber keine Bilder enthält. Für mich gibt es in beiden Fällen ein latentes Bild [oder philosophisch gesehen ein Kontinuum möglicher latenter Bilder], und die 10. Ausgabe des Handbuchs der Fotografie verwendet manchmal "RAW-Bild". Jedenfalls bin ich eindeutig eher ein Fan davon, zu untersuchen, wie Begriffe verwendet werden, als zu versuchen, Begriffe zu standardisieren, die keinen technischen Standard haben. Und aus dieser Perspektive (der praktischen) ist RAW alles, was eine Kamera mit einem Minimum an willkürlicher Interpretation produzieren wird.
@benrudgers Das ist auch meine Haltung zu dem Thema. Trotzdem versuche ich besser zu verstehen, was zwischen dem Sensor und der RAW-Datei passiert und auf welche Weise dieser Prozess theoretisch geändert werden könnte (letzteres ist jedoch nicht Teil meiner ursprünglichen Frage) ... das heißt, wenn die Schritte Die von mir in meiner Frage beschriebenen sind korrekt und ob es noch weitere wichtige Punkte für die Generierung der RAW-Datei gibt
Demosaicing wird während dieser Operation nicht durchgeführt, zumindest nicht für Kameras, die ich besessen habe.
Das Hinzufügen von Metadaten zu den quantisierten Sensormessungen ermöglicht den algorithmischen Besitz des latenten Bildes in den Daten, wenn sie in die Pixelpipeline geleitet werden. Es sind die Metadaten, die angeben, ob das latente Bild eine Demosialisierung erfordert.
@benrudgers und jedes Bild von einer Kamera mit einer Bayer-Maske (die überwiegende Mehrheit der Kameras, die für die Fotografie verwendet werden, wie hier definiert) verfügt über Metadaten, die darauf hinweisen, dass es demosaikiert werden muss.
@MichaelClark Ich stimme zu, dass Bayer-Filterarrays am häufigsten vorkommen. Für Demosiacing sind „It is a Bayer filter array“ natürlich nicht genug Metadaten. Die Farbe des ersten Filters im Array-Element muss bekannt sein; ob die Daten Zeile für Zeile oder Spalte für Spalte oder auf andere Weise aufgezeichnet werden; wie die Daten komprimiert werden; die Bittiefe der Quantisierung; usw. Glücklicherweise ist dies durch Referenz verfügbar, und das Platzieren des Kameramodells und ähnlicher Beschreibungen auf hoher Ebene in den Metadaten ermöglicht das Nachschlagen und die algorithmische Verarbeitung des latenten RAW-Bildes.
Niemand sagte, dass keine dieser Informationen nicht für das Demosaicing benötigt würden. Niemand hat gesagt, dass Kameras mit Bayer-Masken diese Informationen nicht liefern. Was wir gesagt haben, war, dass jedes Bild, das von einer Kamera mit einer Bayer-Maske erstellt wird, demosaikiert werden muss .
Ich stimme zu, dass wir das gesagt haben. Ich entschuldige mich für meine Erweiterung der notwendigen Metadaten im Zusammenhang mit dem Demosaikieren, was impliziert, dass jemand etwas gesagt hat, von dem niemand gesagt hat, wie. Wie auch immer, ich habe in keiner Weise so etwas gemeint.

Antworten (2)

Das ist von Kamera zu Kamera sehr unterschiedlich. Einige Designs verarbeiten den Bildsensor selbst nur minimal, andere etwas mehr. Diejenigen, die mehr tun, tun dies hauptsächlich im Bereich der Rauschunterdrückung, entweder vor oder nach dem Senden der analogen Daten, die in digitale Daten umgewandelt werden sollen. Ein Verfahren ist die relative Verstärkung des Signals von Pixeln, die für Rot, Grün oder Blau maskiert sind (was aus Gründen im Zusammenhang mit den unterschiedlichen Rauscheigenschaften von Pixeln erfolgt, die für die verschiedenen Farben der Bayer-Maske gefiltert werden). Ein weiteres Verfahren, das nach der Analog-Digital-Umwandlung verwendet wird, besteht darin, Pixel mit einem viel höheren Luminanzwert als ihre Nachbarn auf einen Wert zu mitteln, der viel näher an den umgebenden Pixeln liegt.

Sogar unterschiedliche Kameramodelle mit demselben Sensordesign können die Ausgabe des Sensors unterschiedlich verarbeiten, entweder vor oder nach der Umwandlung in digitale Informationen, bevor sie als Rohdatendatei gespeichert werden. Informationen über die Bedingungen, unter denen die Daten erhalten wurden (Kameramodell, Sensoreigenschaften, ISO, WB usw.), werden an die Datei angehängt, sodass die Anwendung, die die Daten schließlich in ein sichtbares Bild umwandelt, (hoffentlich) weiß, wie sie es umwandelt . Demosaicing wird normalerweise nicht an Sensordaten durchgeführt, bevor sie als Rohdatei gespeichert werden. Dies geschieht, wenn die Rohdaten in etwas anderes konvertiert werden, z. B. ein Bild, das von einer Rohkonvertierungsanwendung auf einem Monitor angezeigt wird, oder als JPEG- oder TIFF-Ausgabe konvertiert werden.

Es gibt einige Gedanken im Internet, dass einige Kameras eine Linsenkorrektur direkt auf die Daten anstelle von Metadaten anwenden. Einige Kameras wenden auch eine WB-Vorkonditionierung an, bei der sie einige der Farbkanäle digital skalieren
@MirekE Das ist alles erledigt, wenn die Rohdaten in der Kamera in JPEG konvertiert werden, entweder für die in die Rohdatei eingebettete JPEG-Bildvorschau oder zum Speichern als JPEG-Bild. Rohdaten haben im Wesentlichen keine Farbe, bis sie demosaikiert werden.
Dies kann mit nicht demosaikierten Rohdateien durchgeführt werden, so funktioniert CornerFix anscheinend. sites.google.com/site/cornerfix Ich habe einige Zeit damit verbracht, dies zu recherchieren, als ich eine Kamera hatte, die anscheinend davon betroffen war (Leica M9), neben Leica gab es auch Diskussionen, dass dies möglicherweise bei einer Sony-Kamera mit FF-Festobjektiv durchgeführt wird. aber das war vor einigen Jahren und ich habe keine Links mehr zu teilen, außer denen, die ich unter Birfls Antwort erwähne.
Dies gilt auch für die digitale Objektivoptimierung für Canon-Rohdateien, was zu einer Rohdatei führt, die doppelt so groß ist wie das Original. Aber nichts davon wird in der Kamera von der Verarbeitungspipeline der Kamera erledigt, worum es in dieser Frage geht.
Ich habe keine Informationen über das Canon-Ding - es kann als Metadaten zur Objektivkalibrierung angewendet werden. Worüber ich gesprochen habe, war die direkte Manipulation mit den Rohdaten.
Da das Konvertieren von .cr2-Dateien in .dng dazu führt, dass Weißpunkt und Schwarzpunkt "eingebrannt" werden und die Informationen von maskierten Pixeln zusammen mit den Herstellernotizen in den Metadaten weggeworfen werden, betrachte ich eine solche Datei nicht als "roh". Es ist so etwas wie ein High-Bit-TIFF - irgendwo zwischen RAW und JPEG/PNG/etc.
@MirekE Aber keines der von Ihnen zitierten Beispiele wird von der Kamera in der Kamera ausgeführt , was in der Frage angegeben ist. Sie werden von Post-Camera-Anwendungen durchgeführt, die Daten aus einer bereits vorhandenen "Rohdatei" konvertieren, die von der Kamera erstellt wurde. Jedes Ergebnis dieser Manipulation, selbst wenn es im selben Dateiformat .cr2, .nef usw. gespeichert wird, ist keine echte Rohdatei mehr .
Auch hier spreche ich von direkter Konvertierung der RGBG-Daten . Ich habe keine Zeit, Leica M9-Rohdateien zurückzuentwickeln. Wenn Sie also sagen, dass Leica M8 / 9 Rohdaten in der Kamera definitiv nicht mit Objektivkorrekturen (nämlich Vignettierung) modifiziert, dann vertraue ich Ihnen.
@MirekE Anders als das, was Sie als Farbvorkonditionierung bezeichnen , was einige Kameras tun, wenn sie das elektrische Signal von Pixeln, die durch verschiedene Farben gefiltert werden, um geringfügig unterschiedliche Beträge verstärken und in der Antwort so ziemlich bereits behandelt wurden. Aber ich habe es bearbeitet, um es deutlicher zu machen.
Wo steht in meiner Antwort so etwas wie "... Leica M8 / 9 modifiziert Rohdaten in der Kamera definitiv nicht mit Objektivkorrekturen (nämlich Vignettierung) ..."? Sie müssen die beiden ersten Sätze genauer lesen! Wörter wie „variiert stark“ und „einige tun ... minimal ..., andere tun ... mehr ...“ bedeuten nicht das, was Sie zu meinen scheinen.
„Hauptsächlich“ bedeutet nicht dasselbe wie „nur“ genauso wenig wie „viele“ oder „die meisten“ dasselbe wie „alle“ bedeuten!

In den 1980er Jahren schrieb Craig Anderton ein Buch mit dem Titel „ Home Recording for Musicians “ , in dem er feststellte, dass ein Aufnahmestudio kein Realitätsfänger, sondern ein Realitätsprozessor ist. Genauso sollten Sie auch an Ihre Kamera denken. Das Licht, aus dem ein Bild besteht, tritt in das Objektiv ein, das es verändert, erreicht den Sensor, der es verändert, wird durch verschiedene Teile der analogen Schaltung geleitet, die es verändern, und wird schließlich über einen Analog-Digital-Wandler zu digitalen Daten (ADC), was, wie Sie vielleicht erraten haben, es ändert.

Jede Änderung ist eine Änderung, und es kann sinnvoll sein, eine Änderung zu nennen, die mit einer zweckgebundenen Verarbeitung durchgeführt wurde . Es gibt zweifellos einige Dinge, die in den analogen Stufen Ihrer Kamera absichtlich gemacht werden. Die ISO-Einstellung ist der Elefant in diesem Raum, da eine analoge Verstärkung notwendig ist, um das Beste aus dem ADC herauszuholen.

Sie erhalten Informationen nicht direkt vom Sensor, da es sich um ein analoges Signal handelt, und analoge Signale sind notorisch schwer zu speichern und gut zu reproduzieren. Ob Sie das, was dazwischen passiert und wann Sie digitale Informationen verändern oder verarbeiten, nennen, ist trivial zu diskutieren. Wenn Sie diese Haare spalten wollen, ist die Antwort, dass es wahrscheinlich etwas von beidem ist.

Der ideale Ort zum Erfassen von Daten für Rohdateien ist die Ausgabe des ADC, da alles, was darüber hinaus geschieht, algorithmisch ist und außerhalb der Kamera erfolgen kann. Wenn Sie einen besseren Weg finden, etwas zu tun (Demosaikieren, Anwenden von Kurven usw.), ist es viel wirtschaftlicher, einen Rohkonverter zu aktualisieren, der auf einem Computer ausgeführt wird, als eine neue Kamera-Firmware zu erstellen, zu testen und zu verteilen. Die Bereitstellung von Rohdaten ist auch eine Art Eingeständnis, dass die Entscheidungen des Herstellers nicht allen gefallen werden. So wenig wie möglich mit den Daten nach dem ADC zu verändern, gibt dem Fotografen die gleiche Flexibilität, die er in einer Dunkelkammer gehabt hätte.

Ob der Inhalt einer Rohdatei direkt vom ADC stammt oder irgendwie verfälscht ist, ist nur den Herstellern bekannt. Einer impliziert, dass dies nicht der Fall ist, und ich selbst neige dazu, dies aus Gründen zu glauben, die über den Rahmen der Beantwortung dieser Frage hinausgehen.

Wie Michael Clark in seiner Antwort betont, handelt es sich bei allem in einer Rohdatei, bei dem es sich nicht um Bilddaten handelt, um Bonusinformationen, die bei Entscheidungen über die Verarbeitung verwendet werden können.

Es sei denn, Sie entwerfen Ihre Sensor- und Verarbeitungspipeline mit der primären Absicht, bei DxO Mark so gut wie möglich zu punkten. Dann wenden Sie eine Rauschunterdrückung an, bevor Sie die "Rohdaten" speichern. Durch Reduzieren des Grundrauschens vor dem Testen der Daten scheint es das SNR und somit DR zu verbessern. Was also, wenn Punktlichtquellen wie schwache Sterne mit dem Rauschen verschwinden? Es ist ein besserer Sensor, oder? DxO sagt es!
@MichaelClark: Gut, dass Volkswagen keine Kameras baut. ;-)
Wenn ein Unternehmen WB-Vorbedingungen verwendet, das zweite Unternehmen Rauschunterdrückung und verlustbehaftete Komprimierung und das dritte Objektivkorrekturen direkt auf die Daten anwendet, kann ich Ihrer Aussage nicht zustimmen, dass „die Chancen sehr gut stehen, dass das, was Sie in einer Rohdatei erhalten, direkt vom ADC stammt ". Es ist nicht in allen Kameramodellen vorhanden, aber viele Leute wurden von einer Überraschung überrascht ...
@MirekE: Ohne Beweis, dass das tatsächlich passiert, kann keiner von uns sagen, also habe ich meine Antwort entsprechend aktualisiert.
@MirekE: (1) Die Art der Rauschunterdrückung, die das erzeugen würde, was DXO beobachtet hat, liegt bei modernen Sensoren völlig im Bereich des Möglichen, und sie erheben keinen Anspruch darauf, auf welcher Seite des ADC sie glauben, dass es passiert ist. (2) Ob Kompressionsartefakte als gezielte Veränderung gelten, ist umstritten. (3) Auf der Adobe-Seite wird nur darauf hingewiesen, dass viele Kameras Objektivkorrekturen auf Nicht-Rohformate anwenden und dass einige andere das Objektivprofil als Metadaten einbetten, die dann von Adobe und nicht von der Kamera angewendet werden. (4) Wieder sehr wahrscheinlich im analogen Bereich.
Kommentare sind wirklich kein guter Ort für ausführliche Diskussionen. Ich werde Ihre Kommentare unbeantwortet lassen und es dem Leser überlassen, zu entscheiden.