Emulieren Sie die Verschlusszeit auf RAW-Fotos mit Belichtungsstapelung

Also ich habe dieses Problem jetzt seit ungefähr einem Jahr und konnte es nicht lösen. Ich habe es vor einer Weile aufgegeben, aber jetzt habe ich recherchiert und bin bereit, eine Antwort zu bekommen.

Ich versuche, eine Langzeitbelichtung vorzutäuschen, indem ich mehrere RAW-Fotos mache und etwas mit den Bayer-Filterwerten mache , um den Effekt zu erzielen, den Verschluss so lange offen zu lassen.

Die Idee, die ich im Kopf habe, ist, dass Langzeitbelichtung intuitiv funktioniert, indem der Verschluss länger geöffnet bleibt, und daher sind die Lichtsensorwerte (die RAW-Bilder speichern) einfach eine Ansammlung von mehreren kürzeren Fotowerten .

Wenn ich beispielsweise drei 1/3-Sekunden-lange Fotos aufgenommen habe, ohne die Kamera zu bewegen, sollten sie die gleichen Informationen wie ein 1-Sekunden-langes Foto speichern.

Das Problem, das ich bekomme, ist, wie ich diese Aggregation quantifizieren kann. Ich habe festgestellt, dass viele verschiedene Methoden fehlschlagen, und ich bin mir nicht sicher, warum. Wenn ich einfach die mehreren Fotos mittele, bekomme ich eine Menge Rauschunterdrückung . Also das Teil ist schön zu haben. Ich kann Camera Raw später verwenden, um das Foto aufzuhellen , und ich bekomme eine gute Annäherung an das, was ich mit einer 1-Sekunden-Langzeitbelichtung bekommen hätte. Das Problem ist, ich möchte das auf dem Gerät machen. Ich verwende derzeit ein iPhone zum Testen, aber ich denke nicht, dass das eine Rolle spielen sollte.

Aktuelles Setup & Formel

Ich verwende drei 1/3-Sekunden-Belichtungen, um zu versuchen, ein 1-Sekunden-Foto zu fälschen. Meine aktuelle Formel ist einfach:

out_picture[x][y] = picture1[x][y] + picture2[x][y] + picture3[x][y]

Das Problem ist, dass ich dadurch wirklich pinke Bilder wie folgt bekomme:

Ich habe mehrere verschiedene Variationen der obigen Formel ausprobiert. Eine, die ich für vielversprechend hielt, war die Ableitung der Sigmoidfunktion . Der Grund, warum ich die Ableitung des Sigmoids verwendet habe, ist, dass ich eine Fallstudie durchgeführt habe, in der ich die Wirkung der endgültigen RGB-Ausgaben als Funktion des „EV“-Schiebereglerwerts in Photoshop Camera Raw untersucht und ein Sigmoid-ähnliches Muster gefunden habe. So sieht das aus, wenn ich es für einige Pixel zeichne:

Also dachte ich, dass vielleicht die Ableitung des Sigmoids (hohe Änderungen für mittlere Werte, niedrige Änderungen für niedrige und hohe Filterwerte) die Dinge beheben würde. Ich habe die Filterwerte auf einen Bereich von 0-1 normalisiert, indem ich den Schwarzwert und den maximalen Bitwert der Kamera verwendet habe. Ich habe einige Änderungen an der Ableitung vorgenommen, damit sie in den Wertebereich 0-1 passt, das ist die Funktion, die ich am Ende hatte. Ich habe dann mit der Anzahl der aufgenommenen Bilder multipliziert, um den EVSchieberegler in Camera Raw zu emulieren.

Hier ist die Formel dafür (in Python):

def exposureAdjust(x):
   black_level = 528    ## iPhone RAW Photos have a black_level of 528
   max_pixel_value = 2**14 - 1    ## 14-bit depth
   normalized = (x - black_level)/max_pixel_value    ## now x is between [0,1]
   EV = num_pics    ## faking EV value
   adjustment = EV * (np.exp(-10 *(x - 0.25)))/(np.exp(-10*(x - 0.25)) + 1)^2

   return min(x * (1+adjustment), max_pixel_value)    ## Cap at 2**14 


num_pics = 3
out_picture[x][y] = picture1[x][y] + picture2[x][y] + picture3[x][y]
out_picture[x][y] = exposureAdjust(out_picture[x][y]/3)

Wenn ich diese Formel ausführe, erhalte ich ein ähnliches Ergebnis:

Fazit & Beobachtungen

Wie Sie sehen können, ist es immer noch rosa. Die obigen Bilder sind JPEGs, ja, aber ich arbeite tatsächlich mit den RAWs. Ich musste sie nur als JPEG hochladen, damit sie inline angehängt werden können.

Pink entsteht, wenn Grün fehlt. Die Kamera hat ein Bayer-Filterlayout von RGGB, aber ich sehe wirklich nicht, wie ich diesen Effekt erzielen könnte. Hat jemand eine Ahnung was hier schuld ist und wie ich das programmatisch anpassen kann. Ich habe die gesamte Pipeline eingerichtet. Ich brauche nur die Formel, aber irgendwie funktioniert es nicht. Ich habe dies in Python und Swift codiert, und die Ergebnisse sind die gleichen. Es gibt definitiv ein Problem mit der Formel, die die RAW-Bayer-Filterwerte verwendet. Ich denke, das ist eine coole Herausforderung, aber ich bin mit meiner Weisheit am Ende.

Irgendwelche Gedanken?

UPDATE: Hier sind die Histogrammergebnisse für das Bild vor und nachexposureAdjust Anwendung der Funktion. Es scheint, als müsste der grüne Kanal anders eingestellt werden?