Gibt es eine Software, die die Beleuchtung in einem vorhandenen Foto erkennen kann?

Gibt es eine Anwendung, die einen ausgewählten Bereich eines Fotos aufnimmt und ihre Schätzung der Beleuchtungsparameter zurückgibt, die erforderlich sind, um die Beleuchtungsbedingungen in dem ausgewählten Bereich des Fotos zu emulieren?

Meine Vermutung zu den Parametern, die es zurückgeben würde, umfasst: Lichtquellen, Quellendiffusität, Quellenfarbe, Quellendauer, reflektierende/einfallende Lichtquelle, Quellenbewegung usw. (Ich freue mich über Feedback zu diesen Vermutungen und zur Wahrscheinlichkeit dass es möglich ist, sie statisch zu modellieren.)

Das scheint eine große Aufgabe zu sein. Wenn wir uns ein Foto ansehen, wenden wir ein kontextbewusstes Wissen darüber an, was wir sehen (mit anderen Worten, wir haben eine Version von „normal“ in unserem Kopf, die wir mit dem Foto vergleichen können). Ich werde beeindruckt sein, wenn es da draußen etwas gibt, das dies tun kann.
@D. Lambert: Stimme zu, obwohl ich glaube, dass einige der Algorithmen in PhotoShop Berechnungen für solche Dinge durchführen, aber soweit ich weiß, gibt es keine Ausgabe, die für externe Verwendung lesbar ist; Das bedeutet, dass diese Berechnungen als Eingabe für andere Berechnungen verwendet werden.
Die Arbeit, die erforderlich ist, um eine solche Software zu erstellen, ist millionenfach im Vergleich zu den 2-3 Stunden Schulung, die jemand benötigen würde, um die meisten Parameter ziemlich genau zu erraten. Außerdem sind einige dieser Dinge unmöglich herauszufinden ... Quellendauer?
+1 @Jędrek Kostecki: Guter Punkt in Bezug darauf, dass Menschen es schneller machen könnten (derzeit), aber was ist der Spaß daran ... :-) ... "Quellendauer" zum Beispiel wurde ein Blitz verwendet.
Ah, die beste Software der Welt ist wahrscheinlich das menschliche Gehirn. Dafür könnten Algorithmen entwickelt werden, die basierend auf Lichtern und Schatten vernünftige Näherungen machen könnten, aber warum sollte man das tun? Das menschliche Gehirn wird mit der heutigen Technologie wahrscheinlich schneller zur Antwort springen als ein Computer.
Sie können die Länge eines Blitzes in einem Stillleben praktisch nicht bestimmen.

Antworten (2)

In diesem Bereich wurde tatsächlich viel geforscht:

Die Ergebnisse sind jedoch begrenzt, da das Problem massiv unterbestimmt ist, da es weit mehr Unbekannte als Daten gibt. Dies bedeutet, dass exakte Lösungen unmöglich sind und jede Antwort, die Sie erhalten, mehrdeutig ist.

Ein weiteres Problem für das, was Sie vorschlagen, ist, dass die Forschung in diesem Bereich auf das maschinelle Verständnis visueller Bilder ausgerichtet ist. Die Möglichkeit, die Beleuchtung einzuschätzen, wäre wichtig, damit Roboter visuell durch ein Labyrinth navigieren können, da sie den Winkel von Wänden usw. beurteilen könnten. Diese Anwendungen stellen andere Anforderungen an die Software als das künstlerische Ziel, die Beleuchtung in einem guten Porträt nachzubilden Beispiel.

Apropos Unterschied zwischen Forschungs- und kommerzieller Software: Die Forschung von heute bildet die Grundlage für die Software von morgen (einer der Gründe, warum ich jedes Jahr die Proceedings von SIGGRAPH durchforste). Automatisches Panorama-Stitching war einst ein Forschungsprojekt und ist heute selbstverständlich. Ich erinnere mich, dass ich über inhaltsbewusste Größenänderung gelesen habe, als es auf einer Computervisionskonferenz veröffentlicht wurde (damals hieß es „Seam Carving“), und es dauerte nur ein paar Jahre, bis es zu einer Standardfunktion in Photoshop wurde.

Es gibt jedoch einen Unterschied zwischen etwas inhaltsbewusstem Füllen und dem, was Sie vorschlagen, und das ist, dass inhaltsbewusstes Füllen Stunden der Retusche sparen kann und daher eine große Nachfrage besteht. Das Abschätzen der Beleuchtungsbedingungen eines Fotos ist für jemanden, der sich mit Beleuchtung auskennt, ein sehr schneller Vorgang.

Ein letzter Hoffnungsschimmer liegt im Bereich der Video-Postproduktion. Das Abschätzen/Modellieren der ursprünglichen Lichtverhältnisse ist wichtig, um computergenerierte Animationen realistisch in echtes Filmmaterial einzufügen (Beleuchtungsinkonsistenzen werden in bewegten Bildern viel wahrscheinlicher bemerkt als in einem Standbild). Das plus die zusätzliche Datenmenge, die in einem Videostream verfügbar ist, und ich könnte mir vorstellen, dass Sie die Funktion sehen würden, nachdem Sie zuerst in einer Videobearbeitungssoftware erschienen sind.

+1 @Matt Grum: Danke, die Forschung hilft, die Probleme bei der Lösung dieses Problems zu "beleuchten". Meine Vermutung ist, dass Robotersensoren und KI höchstwahrscheinlich die Korrelation von Längsbeobachtungen über Zeit und Raum nutzen würden, möglicherweise einschließlich Filter für unterschiedliche Lichtwellenlängen; zum Beispiel Infrarot, um Wärme zu erkennen. Was künstlerische Ziele betrifft, meinen Sie, dass sie höchstwahrscheinlich Schlussfolgerungen erfordern würden, die über die Position der Kamera, der Lichter und der Objekte hinausgehen würden?
Ich denke, man sollte darauf hinweisen, wenn es um automatisches Pano geht. Zusammenfügen haben Sie alle notwendigen Informationen in den Bildern, die Sie zusammenfügen. Dies steht in starkem Gegensatz dazu, die Beleuchtung einer Szene zu erraten, da Sie (außerhalb eines Lichts IN der Szene) nie wirklich wissen können, was die Lichtquelle war. Beim Pano-Stitching sind Sie reich an Informationen ... beim Erraten von Lichtquellen sind Sie anämisch an Informationen. Wenn es um Video und CG geht, haben Sie die Möglichkeit, EXAKTE Beleuchtungsinformationen explizit einzugeben, und das Raten ist unnötig.
@jrista das stimmt, aber in der inhaltsbewussten Füllung haben Sie keine Informationen über den Bereich, den Sie zu füllen versuchen, es ist alles eine Inferenz - wie das Problem der Beleuchtungsschätzung schien es früher ziemlich unwahrscheinlich zu sein, aber jetzt ist es eine Standardfunktion in Photoshop, GIMP
+1 @Matt Grum: Inhaltsbewusstes Füllen war das, was ich mir als grobes Beispiel dafür vorgestellt hatte. Hier ist ein Video, das ein Beispiel für seine Verwendung zeigt .
@MattGrum: Wenn Sie untersuchen, wie inhaltsbewusstes Füllen funktioniert, ist es bei weitem nicht so informationsanämisch wie die Gastanimationsbeleuchtung. Ein wesentlicher Teil der inhaltsbewussten Füllung ist das Klonen von Inhalten in der Nähe, zusammen mit einigen grundlegenden intelligenten Algorithmen und Musterabgleich, um die gefüllten Inhalte kongruent und musterkonsistent zu machen. Sie haben VIELE Informationen zur Verfügung, um inhaltsbewusste Füllarbeiten zu ermöglichen ... wie Panorama-Stitching. Die einzige Information, die Sie benötigen, um die Beleuchtung zu erraten, ist das, was von der Szene reflektiert wird. Die Menge an verfügbaren nützlichen Informationen ist um Größenordnungen unterschiedlich.
@jrista Ich bin mir nicht sicher, was du meinst. Ich sage nicht, dass die Beleuchtungsschätzung einfach ist oder sogar in derselben Liga wie die inhaltsbewusste Füllung liegt, nur dass beide zu wenig eingeschränkt sind und daher Annahmen getroffen werden müssen. Beide können niemals genau das reproduzieren, was nicht im Bild erfasst wurde. beide waren früher undenkbar, und eines ist jetzt eine Standardfunktion von Photoshop.

Ehrlich gesagt, nein - nicht mit derzeit verfügbarer Software. Hier wird vielleicht geforscht und wer weiß, was die Zukunft bringt, aber im Moment nein.

Es gibt viel zu viele Informationen, als dass die Software sie verarbeiten könnte, um sie zu verarbeiten – insbesondere auf Verbraucherebene. Zumindest müssten Sie der Software irgendwie mitteilen können, wie das Objekt aussah wie UNLIT. Das ist der Vorteil, den ein Mensch hat – wir haben eine Vorab-Visualisierung in unseren Köpfen, wie das Motiv normalerweise aussehen würde. Dies ermöglicht es einer Person zu sagen: "Nun, er hat normalerweise keinen verblassenden dunklen Bereich dort oder einen hellen Fleck dort drüben".

Darüber hinaus gibt es VIELE verschiedene Möglichkeiten, denselben Effekt in der Beleuchtung zu erzeugen (obwohl viele häufiger sind als andere).

@rfusca: Ja, das "Vorbewusstsein" der reflektierenden Eigenschaften von Objekten und die Kamerabeziehung zu den Lichtern und Objekten würden die Wahrscheinlichkeit erhöhen, dass dies möglich wäre, denke immer noch, dass dies möglich ist; Schätzungen sind schließlich nicht perfekt.
@blunders: Die Schätzungen könnten Ihnen bestenfalls grobe Informationen darüber geben, wie viel REFLEXION in einer Szene beobachtet werden kann ... aber ich betone grob . Der Versuch, mehr als eine grobe Annahme über die Anzahl der Lichtquellen, Quellenattribute (Farbe, Diffusion, Emissionsdauer) usw. zu erhalten, erfordert wirklich nur eine Menge Vermutungen, die auf einer auf Beobachtung basierenden Beurteilung basieren. Wenn es eine Sache gibt, in der Computer scheiße sind, dann ist es das. Um eine genaue, fundierte Vermutung darüber anzustellen, welche Beleuchtung eine Szene beleuchtet haben könnte, ist ein erfahrener Verstand erforderlich .
Man könnte argumentieren, dass eine ausreichend fortgeschrittene künstliche Intelligenz genug lernen könnte, um ein erfahrener Geist in Bezug auf die Beobachtung der Beleuchtung von Fotografien zu werden ... aber im Moment bezweifle ich, dass es so etwas auch nur im Ansatz gibt, geschweige denn etwas das könnte durchweg brauchbare Ergebnisse liefern.
@jrista - Richtig, meine Antwort spiegelt wider, ob es wahrscheinlich etwas mit aktueller Technologie gibt, das realistische, brauchbare und genaue Ergebnisse liefert.
Ich denke, das ist wahrscheinlich der Fall. Es würde mich jedoch nicht wundern, wenn es Forschungen auf diesem Gebiet gäbe. Es scheint ein interessantes Problem zu sein. Also würde ich zögern, ohne etwas Studieren "nein" zu sagen.
@jrista: Als extremes Beispiel könnte die Silhouette dies einfacher machen; aber zum Beispiel dieses Foto Das Licht auf dem Foto ist nicht die "direkte" Quelle, sondern eine, die eine "passive oder reflektierende" Lichtquelle ist.
@mattdm Ich meine, ich habe mich umgesehen und nichts verfügbares gefunden. Und die Forschung ist weit entfernt von einer Anwendung, die derzeit verfügbar ist. Mit der Art und Weise, wie sich die Technologie heutzutage entwickelt, kann man sagen, was in 5-10 Jahren verfügbar ist oder nicht, aber ich bin mir ziemlich sicher, dass Sie im Moment so etwas nicht kaufen können, das bei irgendetwas mehr einen vernünftigen Job machen würde als das absolut einfachste Foto (wenn Sie das überhaupt bekommen können!).
@rfusca: ja. Ich meine nur, es gibt einen großen Unterschied zwischen "Auf keinen Fall" und "Ich glaube nicht, dass das mit aktueller kommerzieller Software möglich ist."
@mattdm @rfusca: Ich glaube nicht, dass wir diese Art von Technologie in den nächsten 10 Jahren haben könnten. Dies ist genau die Art von Problem, für dessen Lösung eine fortgeschrittene Intelligenz erforderlich ist, und selbst mit dem Intelligenzniveau eines erfahrenen Menschen, der sich mit Beleuchtung bis zur Perfektion auskennt, wird er NOCH nur in der Lage sein, fundierte Vermutungen anzustellen, und wird NOCH eine ganze Menge falsch einschätzen die Zeit. Die einfache Tatsache des Problems ist, dass Sie stark an Informationen leiden, und egal, wie intelligent der Algorithmus ist ... Fehlschläge werden im Allgemeinen höher sein als Treffer.
@jrista - das glaube ich auch nicht - nicht mit realistischen Ergebnissen, aber ich werde nicht unmöglich sagen
@rfusca: Nun, wie sie sagen ... genug Zeit ... Angenommen, wir hatten unbegrenzte Zeit und immense Rechenressourcen und einen Lernalgorithmus, der eine Basis von Millionen verschiedener Szenen hatte, sowohl unbeleuchtet als auch von einer Vielzahl von beleuchtet verschiedene Beleuchtungskonfigurationen, sowohl natürliche als auch künstliche, sowie die Fähigkeit, aus jeder verarbeiteten Szene weiter zu lernen ... Sie können sich möglicherweise der Fähigkeit eines Menschen annähern, die Beleuchtungskonfiguration zu beurteilen, die eine Szene beleuchtet. Also nicht unmöglich ... nur unwahrscheinlich innerhalb des nächsten Jahrzehnts und wahrscheinlich nicht viel mehr als ein Forschungsprojekt. Wie für eine aktuelle App ... keine. ;)
Gibt es eine Software, die die Beleuchtung in einem vorhandenen Foto erkennen kann?
AntwortenHierDatenschutz-Bestimmungen1y, 0v