Warum können Digitalkamerasensoren nicht jede Fotostelle einzeln belichten?

Wer entscheidet, welche Pixel wie viel Gewinn bekommen? Vieles, was im menschlichen visuellen System vor sich geht, passiert im Kortex, nicht im Auge, und hängt davon ab, was wir für wichtig halten, basierend auf einer Kombination aus intellektueller Entscheidung und dem (etwas außer Kraft zu setzenden) instinktiven Antrieb zur Selbsterhaltung . Während es in gewissem Sinne wahr ist, dass wir sehen, was da ist, ist es in einem anderen Sinne ebenso wahr, dass wir sehen, was wir sehen wollen (oder müssen).

Es wäre fastEs ist trivial, einen Sensor mit relativ geringer Pixeldichte mit großen Fotoseiten zu erstellen, die einen enormen Dynamikbereich und (unter der Annahme einer CCD-Technologie, da die aktuelle CMOS-Sensortechnologie auf diese Weise nicht funktionieren kann) zusätzlich einen elektronischen Verschluss pro Pixel ermöglichen der mechanische Verschluss. Also was würde dir das bringen? Ein flaches Bild mit viel Bittiefe und sehr niedrigem lokalem Kontrast (wenn die gesamte Bittiefe unverändert für die Anzeige oder den Druck konvertiert wird) zusammen mit einer Reihe von Pixeln, die fast, aber nicht ganz, durch die Sensorsättigung beschnitten sind ( obwohl sie tatsächlich durch die Begrenzungswirkung des elektronischen Verschlusses kurz vor dem Sättigungspunkt abgeschnitten werden). Sagen wir der Argumentation halber, dass dieser Sensor und der zugehörige Computer die Clipping-Daten aufzeichnen könnten (der Grund, warum er die Aufzeichnung an diesem Sensor beendet hat, was so einfach sein könnte wie das Aufzeichnen der tatsächlichen Expositionsdauer an diesem Standort). Damit könnte die Elektronik der Kamera rekonstruieren, wie die Zahlen ausgefallen wären, wenn die Fotoseite bis zum Schlusspfiff im Spiel hätte bleiben können. Jetzt haben wir also ein noch flacheres Bild mit größerer Bittiefe. Und wo zieht man die Grenze? 32 Bit? 64?

Jetzt kommt der schwierige Teil – die Umwandlung dieser flachen Bilddaten mit hohem Dynamikbereich in ein überzeugendes Foto. Der einfachste Ansatz besteht darin, die acht Bits (oder was auch immer die Ausgabebittiefe sein würde) zu nehmen, die das primäre gemessene Bild darstellen, und den Rest wegzuwerfen. Es wäre wahrscheinlich nicht viel schwieriger, die Daten an eine S-Kurve anzupassen und die extremen Schatten und/oder Lichter zu komprimieren – was die erweiterten Dynamikbereichseinstellungen bei neueren Kameras mehr oder weniger bereits tun. Aber es sind nur so viele Ausgabebits pro Pixel verfügbar, und die meisten der erweiterten Hervorhebungswerte werden auf Weiß aufgerundet (oder zumindest eine Mischung aus 254 und 255). Sie haben also sehr wenig gewonnen, indem Sie das System dramatisch verkomplizieren.

Aber es bleibt noch eine Option offen – selektive Gebietskartierung. Warum nicht beispielsweise den Himmel oder nur die Wolken an diesem Himmel im Wert verringern, damit Details erhalten bleiben, während der gewünschte Kontrast im Vordergrund erhalten bleibt? Hier lebt das schwierige Problem. Was ist wichtig? Soll die Kamera für Sie entscheiden? Wenn die Kamera entscheidet, dann haben wir einen großen Fortschritt in der maschinellen Bildverarbeitung und der künstlichen Intelligenz, um den wir zuerst herumkommen müssen. Wenn nicht, möchten Sie dann wirklich für jedes Bild, das Sie aufnehmen, diese Art von Entscheidung nach der Aufnahme treffen? Ja, ich weiß, dass es einige Foto-Techno-Weinies geben wird, die wirklich so praktisch sein wollen, aber können wir akzeptieren, dass es sich um einen pathologischen Zustand handelt und dass Fachleute und die überwiegende Mehrheit der Verbraucher an der Bearbeitungszeit interessiert sind nicht so?

Sie brauchen also einen neuen Sensor, eine wesentlich kompliziertere Elektronik um den Sensor herum, eine riesige Bilddatei für projizierte Rohdaten (was größere Karten und längere Schreibzeiten / langsamere Bildraten erfordert), um Daten zu sammeln, die am meisten weggeworfen werden der Zeit, so dass Sie gelegentlich One-Shot-HDR-Bilder aufnehmen können, die viel menschliches Eingreifen in der Nachbearbeitung erfordern (oder einen großen Sprung in MV/AI). Sie könnten wahrscheinlich ein paar davon verkaufen, aber ich würde erwarten, dass der Markt viel mehr dem Mittelformatmarkt ähnelt als dem bestehenden 35-mm-/APS-C-Markt. Das heißt, Sie würden an eine ausgewählte Gruppe gut betuchter Fotografen verkaufen, die die Fähigkeiten entweder aus beruflichen Gründen oder zur Erfüllung ihrer künstlerischen Vision benötigen, und an einige wenige, die gerade genug Spaß an der Nachbearbeitung haben, um zu bezahlen die Technologiesteuer.

Es gibt eine Sache, die nur wenige Leute erwähnen, und das ist, dass eine Szene nicht gleich aussehen würde, wenn verschiedene Bereiche unterschiedlich mit anderen Bereichen belichtet würden. Eine Szene sieht so aus, wie sie aussieht, weil es Variationen gibt. Ja, es könnte eine Möglichkeit sein, Glanzlichter zu speichern und Schatten zu verstärken, aber was Sie wirklich wollen, ist ein größerer Dynamikbereich, der den Dynamikbereich in der Szene mit einer Belichtungseinstellung erfassen kann.

Unsere Augen sind großartig darin, uns einen weitaus größeren Dynamikbereich zu bieten als die aktuelle Consumer-Kameratechnologie. Ich kann mich schnell umsehen und gleichzeitig genaue Details in schattigen Bereichen und in hellen, sonnenbeschienenen Bereichen wahrnehmen.

Eine Möglichkeit, wie Kamerahersteller dieses Problem umgehen, besteht darin, sowohl hoch- als auch niedrigempfindliche Pixel in einem Sensor zu verwenden und dann das Ergebnis pro Pixel zu kombinieren. Die neueren digitalen Kinokameras von RED verfügen über eine Matrix aus Sensorpixeln mit normaler und niedriger Empfindlichkeit, HDRx genannt. Die kleinen Sensorpixel mit geringer Empfindlichkeit werden zu hellen Pixeln kombiniert, um den Dynamikbereich zu erhöhen.

Erstens ist der Dynamikbereich des menschlichen Auges nicht so groß. Es scheint nur besser zu sein als unsere aktuellen High-End-Kameras, weil unser Gehirn ständig „Schnappschüsse“ zusammenfügt, die mit unterschiedlichen Belichtungseinstellungen aufgenommen wurden. Unsere Augen können extrem helle und extrem dunkle Objekte nicht gleichzeitig registrieren (obwohl das Gehirn dies kann). Wahres Wunderwerk der Bildverarbeitung, aber nur mittelmäßige Optik/Aufnahmegerät.

Es gibt mehrere Vorschläge/Prototypen, die zeigen, wie der Dynamikbereich von Bildsensoren erheblich verbessert werden könnte:

• Modulo-Kamera von MIT

  Jede Fotodiode setzt ihren Zustand beim Erreichen der maximalen Ladung zurück und merkt sich, wie oft dies passiert ist

• Quanta Image Sensor von Eric Fossum

  verwendet viel kleinere und schnellere Photonen zählende Pixel anstelle von "analogen" Ladungsbehältern + A/D-Wandlern

Hier fehlt etwas grundlegende Physik. Das Hauptproblem besteht darin, dass reale Szenen große Kontrastverhältnisse aufweisen. Unsere Augen haben sich entwickelt, um damit umzugehen, indem sie Lichtpegel logarithmisch statt linear wahrnehmen. Leider misst die aktuelle Sensortechnologie Licht von Natur aus linear. Genauer gesagt wird das Rauschen auf einer linearen Lichtskala fixiert.

Bei der aktuellen Technologie ist die maximale Kontrastgrenze im Wesentlichen eine Funktion des Rauschpegels. Lassen Sie uns der Argumentation halber eine Lichtskala von 0-1000 verwenden, was bedeutet, dass ein Sensor Ihnen die Lichtstärke von 0 bis 1000 mitteilen kann. Was ist das höchste Verhältnis, das er daher messen kann? Es kommt auf den Geräuschpegel an. Der Rauschpegel ist im Grunde das, was Sie anstelle von echtem Schwarz erhalten, was in diesem Beispiel 0 wäre. Wenn der Rauschpegel ungefähr 2 beträgt, erhalten Sie ungefähr ein Helligkeitsverhältnis von 1000: 2 = 500: 1. Solange die Szene das nicht überschreitet (fast alle würden aber, in Wirklichkeit ist 500:1 nicht so viel), können Sie später jede logarithmische Abbildung machen, die Sie wollen.

Angesichts der Tatsache, dass die Stromsensoren von Natur aus linear sind, besteht die aktuelle Strategie darin, zu versuchen, das Signal-Rausch-Verhältnis zu erhöhen und genügend Bits bereitzustellen, damit das Quantisierungsrauschen unter dem inhärenten Zufallsrauschen liegt. Je geringer das Rauschen des Sensors ist, desto größer ist der dynamische Bereich, den Sie aufnehmen können, ohne entweder die Lichter zu beschneiden oder die Schatten zu verwischen.

Es gibt eine völlig andere Sensortechnologie, die von Natur aus den Log der Helligkeit misst. Manchmal werden diese als "CMOS"-Sensoren bezeichnet, weil sie dynamischen CMOS-RAMs mit abgenommenem Deckel sehr ähnlich sind (ich vereinfache zu stark, aber der erste Test im Labor wurde tatsächlich auf diese Weise durchgeführt). Sie erhalten eine Spannung, die proportional zum Log des Lichts ist, aber diese haben derzeit viel niedrigere Signal-Rausch-Verhältnisse. Mitsubishi war der erste, der diese Sensoren kommerzialisierte, aber für High-End-Kameras sind sie noch lange nicht gut genug.

Zweifellos wird es an mehreren Fronten Fortschritte geben, und ich bin sicher, dass wir in den kommenden Jahren stetige Fortschritte sehen werden. Dass es so ist, hat aber gute Gründe, nicht nur, weil sich niemand etwas Besseres vorstellen kann. Wenn jemand eine Technologie hätte, die einen großen Dynamikbereich genau und zu einem Preis, den die Leute zu zahlen bereit sind, messen könnte, würde er da draußen reich werden.

Ich glaube, dass es einfach zu kompliziert ist.

Grundsätzlich gäbe es zwei mögliche Ansätze; Entweder könnte jeder Fotosensor die Zeit verfolgen und sich selbst ausschalten, oder die CPU könnte die Daten von den Fotosensoren verfolgen und sie ausschalten.

Für den ersten Ansatz würde dies bedeuten, dass jeder Fotosensor ein Taktsignal und einen Zähler benötigt, damit er verfolgen kann, wie lange es dauert, bis er sich selbst abschaltet. Das sind viel mehr Schaltungen, die auf den Chip passen, und es wird viel mehr Strom benötigt, um ihn zu betreiben, was das Signalrauschen erhöht. Wahrscheinlich so sehr, dass der erhöhte Dynamikumfang sinnlos wäre.

Für den zweiten Ansatz müsste die CPU etwa alle 1/10000 Sekunde alle Daten vom Sensor lesen. Das ist etwa 1000-mal schneller, als es die aktuelle Technologie leisten kann, also Jahrzehnte in die Zukunft, wenn überhaupt möglich.

Außerdem gibt es bei einer solchen Lösung andere Komplikationen, z. B. dass jedes Pixel eine andere Belichtungszeit erhalten würde. Sie würden ziemlich seltsame Artefakte erhalten, wenn Sie etwas fotografieren, das sich bewegt.

Es stimmt zwar, dass DSLRs digital sind, Objektive jedoch nicht. Alle Zellensensoren unterliegen der gleichen Blende, egal wie intelligent das DSLR-Gehäuse wird, da die Blende am Objektiv eingestellt wird. Daher denke ich, dass das Variieren der Blende pro Sensorzelle zumindest bei der aktuellen Objektivtechnologie out ist.

Was die Verschlusszeit betrifft, wird diese von der Kamera gesteuert, aber wenn wir uns eine Kamera vorstellen, die die Verschlusszeit an verschiedenen Stellen des Bildes variieren kann, um eine Über-/Unterbelichtung zu steuern, erhalten Sie am Ende eine ungleichmäßige Bewegungsunschärfe. Die dunkleren Teile der Szene müssen länger belichtet werden und sind verschwommener als die helleren Teile. Ich denke, eine Lösung, die die Verschlusszeit ändert, wird aus diesem Grund nicht funktionieren.

Bleibt also nur die ISO. Das Variieren der ISO würde unterschiedliche Rauschpegel in verschiedenen Teilen des Bildes bedeuten. Das klingt gar nicht so schlecht, wenn man bedenkt, dass man dafür einen deutlich gesteigerten Dynamikumfang bekommen würde. Ich weiß nicht viel darüber, wie Sensoren funktionieren, aber ich könnte mir vorstellen, dass die ISO-Einstellung in Sensoren als eine Art „Abstimmung“ auf eine bestimmte Teilmenge der Helligkeitsskala implementiert ist. Es scheint mir unerschwinglich teuer zu sein, eine unabhängige Messung und ISO-Steuerung an jeder Sensorzelle zu haben, aber vielleicht kann das Bild in Bereiche aufgeteilt und jeder Bereich separat gemessen werden. Dann muss die Kamera über eine Art Algorithmus verfügen, um die unterschiedlich belichteten Bereiche zu mischen, ähnlich wie "enblend", wenn sie ein Panorama zusammenstellt, bei dem jedes Bild eine andere Belichtung hat. Das klingt für mich machbar.

Eine andere Option wäre eine Kamera mit mehreren Sensoren, die jeweils auf eine andere ISO konfiguriert sind. In der Videotechnik gibt es 3 CCD-Kameras, wobei jede CCD eine von Rot, Grün und Blau aufzeichnet. Ich verstehe nicht, warum es nicht ein ähnliches Konzept für DSLRs geben könnte, bei denen mehrere Sensoren das Bild mit unterschiedlichen ISO-Werten aufnehmen und ein HDR-Bild erzeugen.

Ich kann die Informationen im Moment nicht finden, aber ich erinnere mich, dass ich eine Beschreibung einer ähnlichen Technologie gelesen habe. Die Idee war ungefähr so: Das einzige, worum man sich kümmern muss, sind übertriebene Highlights. Wenn Sie dies verhindern können, können dunkle Bereiche durch eine erhöhte Belichtung des gesamten Bildes gepflegt werden. Um übertriebene Glanzlichter zu vermeiden, verfolgt jeder Sensor sein angesammeltes Licht, und wenn das Maximum erreicht wird, schaltet sich der Sensor aus. Das allein würde nichts verbessern, es würde die Sache sogar verschlimmern, anstatt ein paar hellweiße überblasene Lichter zu haben, würde man am Ende noch mehr etwas dunklere Lichter haben. Anstatt also nur abzuschalten, würde die Zelle auch Zellen in einer Nachbarschaft abschalten, wodurch einige Details in hellen Bereichen erhalten bleiben würden.

Wie ich geschrieben habe, kann ich den Text jetzt nicht finden, aber irgendwie hängt er in meinem Kopf mit HP-Digitalkameras zusammen.

Es kann mathematisch (theoretisch) durchgeführt werden: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.9692&rep=rep1&type=pdf