Könnte eine "Universalbelichtung"-Einstellung praktisch möglich sein?

Ein digitaler Sensor lässt sich nicht wirklich am besten mit „Daten lesen“ beschreiben. Eine viel bessere Art, es zu beschreiben, ist das „Sammeln von Photonen“, die dann in Daten umgewandelt werden, indem die mikroskopischen elektrischen Ladungen gemessen werden, die sie nach Ablauf der Sammelperiode erzeugen . Sie haben nicht die Fähigkeit, den sich ändernden Zustand jedes Pixels kontinuierlich aufzuzeichnen, während sie Licht sammeln. Und je nachdem, wie wenig oder wie viel Licht auf den Sensor fällt, kann es lange dauern, bis genügend Photonen auf den Sensor treffen, bevor mehr als zufällige Daten generiert werden. Andererseits können sich bei sehr hellem Licht manchmal alle Pixelmulden so schnell füllen, dass alle zusätzlich auf den Sensor fallenden Photonen verloren gehen.

Im ersten Szenario werden nicht genug Photonen gesammelt, um ein erkennbares Muster durch das "Rauschen" zu erzeugen, das durch die durch den Sensor fließende Energie erzeugt wird, das verwendet wird, um die Spannungen zu sammeln, die durch die in die Pixelmulden fallenden Photonen erzeugt werden. Somit werden keine verwertbaren Informationen gesammelt. Ihr gesamtes Foto ist dunkel mit zufälligen Farb- und Lichtflecken.

Im zweiten Szenario werden so viele Photonen gesammelt, dass jedes Pixel mit dem gleichen Maximalwert ausgelesen wird, der als volle Sättigung bezeichnet wird, und da jedes Pixel im Bild den gleichen Wert hat, sind keine verwertbaren Informationen erhalten geblieben. Ihr gesamtes Foto ist durchgehend hellweiß.

Erst wenn genügend Photonen auf einen Sensor treffen, haben die Bereiche mit mehr Photonen pro Zeiteinheit einen höheren Auslesewert als Bereiche mit weniger Photonen, die pro Zeiteinheit auftreffen. Erst dann hat der Sensor aussagekräftige Informationen gesammelt, die Bereiche unterschiedlicher Helligkeit unterscheiden können.

Stellen Sie sich vor, Sie stellen eine Reihe von Wassereimern in Ihrem Garten auf, um Regentropfen zu sammeln. Stellen Sie sich vor, dass sie alle etwas Wasser enthalten, aber Sie schütten es aus, bevor Sie sie platzieren. Einige werden unter der Dachtraufe Ihres Hauses platziert. Einige werden unter großen Bäumen in Ihrem Garten platziert. Einige werden im Freien aufgestellt. Einige werden unter dem Ausguss platziert, der das Wasser aus Ihren Dachrinnen in den Hof leitet. Dann beginnt es zu regnen.

Nehmen wir an, es regnet nur ganz kurz: 15 Sekunden. In jedem Eimer sind ein paar Tropfen Wasser. Aber es ist nicht genug Wasser in jedem Eimer, um sagen zu können, ob in jeden Eimer mehr Regenwasser gefallen ist oder ob nur ein paar Tropfen mehr im Eimer geblieben sind, als Sie das Wasser ausgeschüttet haben, bevor Sie die Eimer gestellt haben auf dem Hof. Da Sie nicht genügend Daten haben, um festzustellen, wie viel Regen auf welche Teile des Hofes gefallen ist, schütten Sie alle Eimer aus und warten, bis es wieder regnet.

Diesmal regnet es mehrere Tage. Wenn es aufhört zu regnen, ist jeder Eimer im Hof ​​überfüllt. Auch wenn Sie ziemlich sicher sind, dass einige Buckets schneller gefüllt sind als andere Buckets, haben Sie keine Möglichkeit zu wissen, welche Buckets am schnellsten gefüllt wurden und welche Buckets zuletzt gefüllt wurden. Sie müssen also die Eimer wieder ausschütten und auf mehr Regen warten.

Beim dritten Versuch regnet es drei Stunden lang und hört dann auf zu regnen. Du gehst auf den Hof und inspizierst deine Eimer. Einige sind fast voll! Einige haben kaum Wasser in ihnen! Die meisten haben unterschiedliche Wassermengen zwischen den beiden Extremen. Jetzt können Sie die Position jedes Eimers verwenden, um festzustellen, wie viel Regen auf jeden Bereich Ihres Gartens gefallen ist.

Der Grund, warum wir die Belichtung in Digitalkameras ändern, ist der Versuch, genug Licht zu sammeln, damit die hellsten Bereiche fast, aber nicht ganz gesättigt sind.Idealerweise geschieht dies mit der Kamera bei der Basis-ISO-Empfindlichkeit. Manchmal reicht das Licht dafür aber nicht aus. Selbst bei der größten verfügbaren Blende können wir in der längsten Zeit, in der wir es wagen, den Verschluss offen zu lassen (aufgrund der Bewegung unserer Motive), nicht genug Licht sammeln. In diesem Fall passen wir die ISO-Einstellung in unserer Kamera so an, dass alle vom Sensor kommenden Werte mit einem Faktor multipliziert werden, der die höchsten Werte auf einen Punkt bringt, an dem sie fast, aber nicht ganz gesättigt sind. Wenn wir das Signal verstärken (die Spannungen, die durch Photonen erzeugt werden, die in Pixelmulden landen), verstärken wir leider auch das Rauschen (die zufälligen ungleichmäßigen Spannungen, die durch den Strom erzeugt werden, der zum Sammeln der Spannungen von jeder Pixelmulde verwendet wird). Dies führt zu einem geringeren Signal-Rausch-VerhältnisDadurch verringert sich die Menge an Details, die wir aus den vom Sensor gesammelten Daten erstellen können.

Es gibt andere technische Einschränkungen, die verhindern, dass Kameras eine "laufende Summe" der Anzahl von Photonen halten, die in verschiedenen Intervallen gesammelt werden, während der Verschluss geöffnet ist. Werfen Sie genug Geld auf das Problem und einige dieser Einschränkungen können zumindest teilweise überwunden werden. Aber entweder müssten die Gesetze der Physik geändert werden, oder wir müssten die Art und Weise, wie Sensoren Photonen zählen, komplett ändern, bevor andere dieser Einschränkungen überwunden werden könnten. Letztendlich könnte die Technologie in einigen oder allen dieser Geräte die Art und Weise ersetzen, wie wir derzeit Bilder in sehr hoher Qualität aufnehmen, aber so weit sind wir noch lange nicht.

Einen Teil der Technik dafür haben wir bereits. Unser Begriff für das Speichern der Sensormesswerte an jedem Belichtungspunkt ist „Video“, und was Sie verlangen, ist die Rekonstruktion eines optimalen Standbilds aus mehreren Videoframes.

Einen Überblick über die diesbezügliche Arbeit von Microsoft Research finden Sie hier: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Ein verfügbares Beispiel finden Sie in der Synthcam-App, die zum Reduzieren von Rauschen bei schlechten Lichtverhältnissen verwendet werden kann, indem mit einer Telefonkamera aufgenommene Videobilder kombiniert werden: https://sites.google.com/site/marclevoy/

Für die Alltagsfotografie ist dies alles andere als praktikabel, aber es ist denkbar, dass zukünftige Kameras viele Bilder von hochauflösenden Videos mit hoher Bildrate aufnehmen, sodass der Fotograf das gewünschte Ergebnis durch spätere Auswahl und Kombination erzielen kann.

Update Ende 2016: Als ich die ursprüngliche Antwort schrieb, war dies ein Stück weit vom Markt entfernt. Ende 2016 scheint es viel näher. Die „See In The Dark“ -App von Marc Levoy integriert mehrere Videoframes mit Stabilisierung auf einem Consumer-Smartphone, um brauchbare Bilder aus dem Mondlicht zu erzeugen. Siehe auch die Light L16 -Kamera, die mehrere kleine Sensoren in einem einzigen Bild integriert.

Die ursprüngliche Frage basiert auf einer falschen Annahme (dass der Zustand des digitalen Sensors während der Belichtung nicht geändert wird), aber das Konzept hängt mit der von Eric Fossum erforschten Idee des Quanta Image Sensor (QIS) zusammen .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

Das QIS ist eine revolutionäre Änderung in der Art und Weise, wie wir Bilder in einer Kamera erfassen, die in Dartmouth erfunden wird. Beim QIS besteht das Ziel darin, jedes Photon zu zählen, das auf den Bildsensor trifft, und eine Auflösung von 1 Milliarde oder mehr spezialisierter Fotoelemente (als Jots bezeichnet) pro Sensor bereitzustellen und die resultierenden Jot-Bit-Ebenen hundert- oder tausendmal pro Sekunde auszulesen in Terabit/s an Daten.

Ein solches Gerät würde (Zitat der Frage)

"Erinnern" Sie sich, was die Sensorwerte an jedem Belichtungspunkt waren

und mit dem vollständigen Datensatz könnten wir zum Beispiel die effektive Belichtungszeit "ändern", nachdem das "Foto" aufgenommen wurde.

Heutzutage kann dies angenähert werden, indem ein Video aufgenommen und Frames in der Nachbearbeitung kombiniert werden, um längere Belichtungszeiten zu simulieren (begrenzt durch Kameraleistung, Videomodusauflösung und Verschlusszeit, aber es zeigt die Idee).

Wenn das QIS wie versprochen funktioniert, würde es auch andere coole Funktionen einführen, wie bessere Leistung bei schlechten Lichtverhältnissen, erhöhter Dynamikbereich, kein Aliasing, vollständig anpassbare Empfindlichkeit (z. B. filmähnlich), keine ISO-Einstellungen, einstellbare Auflösung vs. Rauschen

Aktuelle Ankündigung: http://phys.org/news/2015-09-breakthrough-photography.html

Der Film verändert sich im Laufe der Zeit, in der er belichtet wird, physikalisch. Ein digitaler Sensor tut dies jedoch nicht; Es liest nur Daten.

Das hängt wirklich von der Art des Sensors ab. Die Art von CMOS-Sensoren, die in heutigen DSLRs verwendet werden, akkumulieren im Laufe der Zeit eine elektrische Ladung in jedem Pixel, sodass sie sich im Laufe der Zeit tatsächlich ähnlich wie ein Film ändern. Wenn sie nicht so funktionieren würden, würde das Bild nur so lange existieren, wie der Verschluss geöffnet ist. CCD-Sensoren (die andere gängige Technologie für Bildsensoren in Kameras) funktionieren ebenfalls auf diese Weise und sammeln mit der Zeit Licht an.

Gibt es einen Grund, warum die Kamera nicht dazu gebracht werden kann, sich an die Sensorwerte an jedem Belichtungspunkt zu "erinnern"?

Genau das macht die Kamera, wenn sie ein Bild aufnimmt. Ich denke, Sie meinen jedoch, dass Sie die Belichtung nachträglich auf jeden gewünschten Wert einstellen könnten, wenn der Sensor die momentane Lichtintensität lesen könnte. Wie oben erläutert, funktionieren die meisten Bildsensoren nicht wirklich so. Auf der anderen Seite können wir die Belichtung in der Nachbearbeitung ziemlich stark anpassen und tun dies auch oft .

Wenn die Datenspeicherung kein Problem wäre, gibt es einen Grund, warum dies nicht die Norm sein könnte, zumindest für die professionelle und künstlerische Fotografie?

Das „Erinnern“ der Daten des Sensors ist für viele Fotografen die Norm. Mit den meisten Kameras können Sie Bilder im "RAW"-Format aufnehmen, und dies sind so ziemlich die Daten, die vom Sensor gelesen werden, plus ein bisschen mehr Daten über die damaligen Kameraeinstellungen. RAW-Bilder nehmen viel mehr Platz ein als andere Formate wie JPEG, aber sie geben dem Fotografen die Freiheit, die Daten später neu zu interpretieren, sodass Sie Einstellungen wie Farbtemperatur und Weißabgleich in der Nachbearbeitung problemlos ändern können.

Andere haben bereits erklärt, warum dies technisch nicht funktionieren wird. Ich möchte ansprechen, warum es praktisch nicht funktionieren würde .

Wenn die Datenspeicherung kein Problem wäre, gibt es einen Grund, warum dies nicht die Norm sein könnte, zumindest für die professionelle und künstlerische Fotografie?

Berücksichtigen Sie die Größe der unterschiedlichen Lichtverhältnisse, die wir möglicherweise fotografieren möchten. Selbst wenn man Extreme wie die Astrofotografie ignoriert (bei der Sie oft kleine Lichtflecken umgeben von fast völligem Schwarz fotografieren), haben Sie immer noch terrestrische Abend- oder Nachtaufnahmen und hell erleuchtete schneebedeckte Winterlandschaften. Ich werde die letzten beiden als Beispiele verwenden.

Außerdem gehe ich davon aus, dass wir den Sensor bis zum Punkt der vollen Sättigung belichten müssen, um jede gewünschte Belichtung genau nachzubilden.

Außerdem gehe ich davon aus, dass wir die Sensorwerte zerstörungsfrei auslesen können. (Dies ist wahrscheinlich eines dieser Probleme, die in die Kategorie "werfen Sie genug Geld auf das Problem und es könnte lösbar sein") fallen.)

Im Fall der Nachtfotografie müssten wir den Sensor sehr lange belichten, um alle Pixel zu sättigen, was bedeutet, dass jedes Foto, egal wovon wir eigentlich ein Bild haben wollen , absurd lange dauern wird. Das klassische Touristenbild von Tänzern in einer Bar im Freien wird fast unmöglich, weil Sie vielleicht während eines ganzen Abends ein paar davon knipsen können. Nicht gut. Wir können uns also nicht der Sättigung aussetzen, zumindest nicht wahllos. (Es ist ebenso nutzlos, einen gewissen Prozentsatz gesättigter Pixel zu belichten, aber aus anderen Gründen; versuchen Sie, die Belichtung genau richtig zu machen, wenn Sie ein Foto von einem Kamin mit einem brennenden Feuer machen. Das ist fast unmöglich; egal wie sehr Sie es versuchen, einigePixel werden überbelichtet oder riesige Bildbereiche werden schrecklich unterbelichtet.)

Beim Fotografieren einer hell erleuchteten, schneebedeckten Landschaft, wie z. B. einer Winterlandschaft tagsüber, wenn die Sonne scheint, ist die Belichtung, die das automatische Belichtungssystem der Kamera anstrebt ("18 % Grau"), völlig unzureichend. Aus diesem Grund sehen Sie oft Fotos von Schnee, die dunkel sind und auf denen der Schnee eher hellgrau als weiß erscheint. Aus diesem Grund verwenden wir häufig eine positive Belichtungskorrektureinstellung, die dazu führt, dass der Schnee als nahezu gesättigtes Weiß belichtet wird. Dies bedeutet jedoch, dass wir uns nicht auf das AE-System der Kamera verlassen können, um zu bestimmen, wann die Belichtung beendet werden soll: Wenn wir dies tun, werden solche Bilder unweigerlich unterbelichtet .

Mit anderen Worten, eine Belichtung mit voller Sättigung ist in vielen Fällen unpraktisch, und eine Belichtung, um das AE-System glücklich zu machen, ist in vielen Fällen unzureichend. Das bedeutet, dass der Fotograf immer noch eine Art Auswahl treffen muss, und an diesem Punkt sind wir mindestens genauso gut dran, bei dem zu bleiben, was wir haben und woran Fotografen gewöhnt sind, die AE-Systeme besser zu machen und dem Fotografen zu erleichtern ( einfacher?) Zugriff auf Belichtungskorrektureinstellungen. Durch die Erhöhung des praktisch nutzbaren Dynamikbereichs des Sensors können wir in der Nachbearbeitung (noch) mehr Spielraum bei Belichtungsänderungen zulassen; Die ursprünglichen digitalen Spiegelreflexkameras waren horrend teuer, aber in dieser Hinsicht im Vergleich zu den heutigen Einstiegsmodellen wirklich schrecklich.

All dies kann vollständig im Rahmen dessen geschehen, was wir bereits haben. Das soll nicht heißen, dass es einfach ist, den nutzbaren Dynamikbereich des Sensors dramatisch zu verbessern , aber es ist wahrscheinlich viel einfacher als das, was Sie vorschlagen, und es ist ein Problem, mit dem Anbieter Erfahrung haben.

Profis wissen fast per Definition, wie man die Ausrüstung ihres Fachs benutzt. Es ist nicht wirklich anders, ob sie Fotografen oder Space-Shuttle-Piloten sind . Besonders wenn dies ohne Informationsüberflutung möglich ist, ist es normalerweise besser, dem Benutzer die volle Kontrolle über professionelle Geräte zu geben. Meiner Meinung nach sind aktuelle High-End-DSLRs ziemlich gut darin, den Sweet Spot zu treffen.

Vereinfachen wir das Problem, um zu verstehen, warum wir immer Kompromisse eingehen müssen.

Lassen Sie uns die Kamera erfinden, die Sie wollen, aber mit nur einem monochromen Pixel. Es muss in der Lage sein, ein einzelnes Photon zuverlässig zu empfangen und den Prozessor über den Empfang zu informieren. Es muss auch in der Lage sein, praktisch unabzählbar unendliche Photonen zu empfangen und den Prozessor über den Empfang zu informieren.

Der erste Fall in einer Situation, in der es kein Licht gibt. Die zweite schon bei mäßigem Lichteinfall.

Das Hauptproblem ist, dass wir einfach nicht über die Technologie verfügen, um einen Sensor mit einem so großen Dynamikbereich zu entwickeln. Wir werden immer Kompromisse eingehen müssen, und im Moment gehen wir Kompromisse ein, indem wir einen höheren Bereich auswählen, in dem der Sensor nahezu unendlich viele Photonen aufnehmen kann und uns einen Messwert liefert, der eine relative Lichtmenge anzeigt, die auf den Sensor trifft. Es zählt sie überhaupt nicht, sondern verhält sich wie unsere Augen - sie geben lediglich eine Ausgabe ab, die relativ zur Menge der auf sie treffenden Photonen ist, ohne zu versuchen, Photonen zu zählen.

Dies wird durch die Tatsache weiter erschwert, dass diese im Laufe der Zeit gesammelt werden.

Ein idealer Sensor wäre eigentlich eher wie ein Geigerzähler - der die Zeit zwischen Photonen misst, um uns eine nahezu sofortige Messung der auf den Sensor fallenden Lichtmenge zu geben, vorausgesetzt, dass die Photonen relativ gleichmäßig beabstandet sind (was nicht stimmt, aber ist eine bequeme Annahme und warum Geigerzähler im Laufe der Zeit mitteln, genau wie Kameras).

Quantensensoren hätten im Wesentlichen das gleiche Problem. Sicher, sie können ein einzelnes Photon wahrnehmen, aber irgendwann kommen sie so schnell, dass man einfach nicht mehr die Zeit zwischen ihnen messen oder sogar zählen kann, wie viele pro Belichtungszeit kommen.

Wir haben also diesen Kompromiss, der erfordert, dass wir entweder mehrere Bilder mit mehreren Belichtungen aufnehmen oder mehrere Bilder mit derselben hohen Belichtung zusammenfügen, um die schwach beleuchteten Bereiche hervorzuheben, oder das einfallende Licht mit verschiedenen Sensoren unterschiedlicher Dynamik in zwei oder mehr Pfade aufteilen Reichweite, oder Sensoren bauen, die Pixel gruppieren oder Lichtsensoren stapeln können, oder, oder, oder - es gibt buchstäblich Tausende von Möglichkeiten, wie Fotografen dieses grundlegende Problem im Laufe der Jahrzehnte mit einer Vielzahl von Medien gelöst haben.

Es ist eine physikalische Einschränkung, die wahrscheinlich nicht überwunden werden kann. Wir werden niemals eine Kamera* ohne Input des Fotografen haben, mit der alle Entscheidungen in der Nachbearbeitung getroffen werden können.

* _{Wenn Sie die Definition der Kamera ändern, sind Sie möglicherweise mit den Ergebnissen eines anderen Prozesses zufrieden, aber dies ist weitgehend subjektiv. Die Realität ist, dass, wenn Sie eine Szene mit Ihrer Kamera abbilden, dann einer Person die Szene zeigen und dann das von Ihnen aufgenommene Bild, diese aufgrund der inhärenten Unterschiede zwischen ihren Augen, Ihrem Bildsensor und dem Prozess, den Sie zum Drucken verwendet haben, Unterschiede wahrnehmen das Bild. Bei der Fotografie geht es genauso um Interpretation und Kunst wie um das Einfangen von Licht, und daher ist eine fanatische Konzentration auf die "perfekte Kamera" wahrscheinlich nicht sehr nützlich.}