Können wir Telefonkameras mit separaten Sensoren für jedes RGB verbessern?

Ich habe also alles über das Multikamerasystem des neuen Huawei P20 Pro gelesen, was mich wirklich zum Nachdenken darüber gebracht hat, wie wir mehrere Kameras verwenden können, um die Bildqualität zu verbessern, insbesondere in einer so kompakten Form wie einem Telefon.

Ich habe in den Bayer-Filter geschaut und festgestellt, dass wir, wenn jede Fotoseite die Intensität einer der RGB-Komponenten erfasst, auch die Intensitäten der beiden anderen RGB-Komponenten verwerfen. Also müssen wir die verworfenen Intensitäten durch Demosaicing approximieren.

Anstatt auf Demosaikierung zurückzugreifen, was wäre, wenn wir ein Kamerasystem mit 3 Kameras erstellen, von denen jede nur für eine von RGB verantwortlich ist? Kein Demosaicing mehr erforderlich. Würde es die Qualität des endgültigen Bildes nicht drastisch verbessern, da es keine Farbannäherungen mehr gibt?

Wäre es wirklich teuer, wenn man bedenkt, dass das P20 Pro bereits mit 3 Kameras ok zu sein scheint?

Mit einem maskierten Sensor von Bayer verlieren Sie nicht so viel, wie Sie denken. Die Reaktion der Sinne unter jedem Farbfilter zeichnet immer noch etwas von dem anderen farbigen Licht auf. Es ähnelt der Verwendung von Farbfiltern bei Schwarzweißfilmen, um drei verschiedene Tonwertbereiche zu erhalten. Es ist der Unterschied , wie jedes Raster mit einem auf eine andere Farbe zentrierten Filter reagiert, der es ermöglicht, "Farb" -Informationen zu interpolieren (was auch genau so ist, wie das menschliche Sehen "Farbe erzeugt"). Weitere Informationen finden Sie unter: RAW-Dateien speichern 3 Farben pro Pixel oder nur eine?
Sie verlieren ungefähr 2/3 des Lichts - nein, nicht, weil es 3 Kanäle gibt und sie unbedingt 1/3 des Spektrums beschneiden müssen, damit es für Mathematiker gut aussieht. Die Filter versuchen, das menschliche Sehvermögen nachzuahmen und gleichzeitig die Effizienz zu maximieren, und der häufigste Kompromiss besteht darin, etwa 1/2 bis 2/3 des Lichts herauszufiltern, was durch Messen der Fläche unter der Filtertransmission genau berechnet werden kann Kurven. für diejenigen, die den seelenlosen Zahlen nicht trauen ;-) Hier entfernt ein mutiger Typ physisch die Bayer-Filter und erhöht die Empfindlichkeit des exponierten Bereichs: goo.gl/tbCdMA
@szulat für einige der besten Sensoren, die einen Wirkungsgrad im oberen 50er-Bereich haben, geht tatsächlich weniger als die Hälfte des Lichts verloren, nicht 2/3.
@MichaelClark nein, da die gemeldete QE normalerweise die Spitzeneffizienz für die "beste" Einzelwellenlänge (z. B. grün) bedeutet. die wellenlängentransmission des bayer-filters kommt noch hinzu.
@szulat Das bedeutet immer noch, dass die "roten" und "grünen" Pixelbrunnen beitragen. Wenn nur die "grünen" Pixelmulden eine bestimmte "grüne" Wellenlänge detektieren würden, könnte kein maskierter Bayer-Sensor jemals 50 % überschreiten. Viele tun es. Es ist der Unterschied zwischen dem, was die drei verschiedenen Filter durchlaufen, der es Rohkonvertern ermöglicht, "Farbe" aus monochromatischen Luminanzwerten zu erzeugen. Diese zusätzlichen 10 % mögen Ihnen unbedeutend erscheinen, aber ohne sie gibt es keine "Farbe" von Bildern (digital oder Film). Tatsächlich gibt es in unserem Auge/Gehirn-System keine „Farbe“ ohne sie.
Wenn das Konzept von Multikamerageräten (Bildwissenschaftler nennen sie allgemein Multi-Array-Imager) für Sie von Interesse ist, könnten Sie an der Lektüre des Light L16 interessiert sein
@MichaelClark, obwohl ich nicht sagen kann, wie die Leistung Ihres speziellen Kamerasensors mit über 50% QE gemessen wurde, besteht die Standardmethode darin, sie für jeden Filter separat zu berechnen. also bedeutet zum Beispiel 55%, dass grüne Pixel auf 55 von 100 grünen Photonen reagieren - was überhaupt nichts über die Rot- und Blaueffizienz für grünes Licht aussagt (die nahe bei Null liegt, das ist der Zweck des Bayer-Filters an erster Stelle). Fazit: Der einzelne QE-Wert allein ist hier fast völlig nutzlos. Suchen Sie besser nach den Transmissionskurven von Bayer CFA und den Kurven der absoluten Quanteneffizienz im Vergleich zur Wellenlänge
@MichaelClark was die Farben betrifft - ja! Sie könnten einen "verdünnten" Bayer-Filter herstellen, der sehr wenig filtert, viel Licht in den Sensor lässt und die Empfindlichkeit erhöht. Die Farbinformationen müssten jedoch durch Verstärkung der Kanaldifferenz berechnet werden, was eine Verstärkung des Rauschens bedeutet. Das ist einer der Gründe, warum der Foveon-Sensor oder die CMY-Sensoren bei schwachem Licht so schlecht versagen – obwohl sie den theoretischen Vorteil haben, mehr Licht als ein normaler Bayer-Sensor zu verwenden. also greifen am ende alle zum guten alten bayer.

Antworten (4)

Ihre Idee ist sehr interessant. Aber es gibt einige sehr ernste Probleme.

  1. Parallaxe. Da die Sensoren zueinander verschoben werden, "sehen" sie ein anderes Bild. Und der Prozess, ein Foto aus diesen 3 zu erstellen, wird eine ernsthafte Herausforderung sein und viel Rechenleistung erfordern
  2. Platz. In Mobiltelefonen haben Sie nicht viel Platz, daher kann das Hinzufügen eines weiteren Sensors, einer Optik oder eines Kabels nicht machbar sein
  3. Preis. Das Hinzufügen von mehr Zensoren und Optiken erhöht den Preis. Und gerade dieser Markt ist in dieser Richtung sehr sensibel. Am Ende ist das Telefon hauptsächlich zum Reden (IMHO)
  4. Marktbedürfnisse. Wie viele Menschen wollen noch bessere Fotos vom Telefon?
  5. Reinigung. Jetzt reinigen Sie (vielleicht) eine Linse, dann reinigen Sie 3. Richtig, sie sind klein, aber Sie behalten Ihr Telefon (normalerweise) in der Tasche

Natürlich kann diese Liste erweitert werden, aber ich hoffe, das reicht

BEARBEITEN: Bezogen auf Punkt 1, wenn sich Sensoren in einer Ebene befinden, werden die von ihnen aufgenommenen Bilder zusätzlich "verzerrt". Und das bedeutet, dass Sie bei Nahaufnahmen 3 verschiedene Fokussiersysteme haben sollten.

Parallaxe: Viele Telefonkameras kombinieren bereits Bilder von mehreren Sensoren, wie z. B. P20 Pro.
Aber nicht nach Farbe getrennt...

Die Bildqualität moderner Smartphones wird durch ihre winzige Sensorgröße, Linsenqualität und Beugung begrenzt, nicht durch den Demosaikierungsprozess.

Daher scheint die Idee nicht sinnvoll zu sein.

Beachten Sie, dass der oben erwähnte P20 über eine Monochromkamera verfügt, die die gleichen Probleme bei der Bildregistrierung mit sich bringt wie die hypothetischen separaten R-, G- und B-Kameras (Parallaxe, inkonsistente Bilder zwischen den Kanälen). Und das Ziel war eher die Erhöhung der Schwachlichtempfindlichkeit als die Farbauflösung. Denn die Farbauflösung ist kein Problem und niemand kümmert sich darum.

Viele Videokameras tun bereits genau das, was Sie vorschlagen. Aber sie verwenden ein Strahlteilersystem zwischen der Linse und den Sensoren, das im Wesentlichen die Lichtmenge, die jeden Sensor erreicht, um ungefähr den gleichen Anteil schneidet wie die Verwendung eines maskierten Bayer-Filters.

Das größte Problem dabei, dies mit drei verschiedenen Objektiven zu tun und gleichzeitig ein sehr hohes Maß an Präzision beizubehalten, ist die Komplexität und die Kosten für die Erstellung von Sätzen perfekt aufeinander abgestimmter Objektive. Dies ist nicht unlösbar, aber die Lösung ist wahrscheinlich teurer und rechnerisch komplexer als die Verwendung einer Bayer-Maske und Demosaikierung.

Anstatt auf Demosaikierung zurückzugreifen, was wäre, wenn wir ein Kamerasystem mit 3 Kameras erstellen, von denen jede nur für eine von RGB verantwortlich ist? Kein Demosaicing mehr erforderlich. Würde es die Qualität des endgültigen Bildes nicht drastisch verbessern, da es keine Farbannäherungen mehr gibt?

Jede dieser drei Kameras würde einen einfarbigen Filter davor benötigen, um die relativen Unterschiede von jeder zu verwenden, um ein "farbiges" Bild zu erzeugen. Das bedeutet, dass derselbe Lichtanteil, der von den winzigen Filtern auf einem maskierten Bayer-Sensor absorbiert/reflektiert wird, immer noch von den großen Einzelfarbfiltern vor jedem der drei unabhängigen Sensoren absorbiert/reflektiert wird. Ohne einen andersfarbigen Filter vor jeder wären sie alle identische Monochromkameras, die die gleichen Daten produzieren.

Hier ist die Sache mit "Farbe": Es gibt keine "Farbe" in der Natur. Licht hat nur Wellenlängen. Auch elektromagnetische Strahlungsquellen an beiden Enden des sichtbaren Spektrums haben Wellenlängen. Der einzige Unterschied zwischen sichtbarem Licht und anderen Formen elektromagnetischer Strahlung, wie z. B. Radiowellen, besteht darin, dass unsere Augen chemisch auf bestimmte Wellenlängen elektromagnetischer Strahlung reagieren und nicht auf andere Wellenlängen . Darüber hinaus gibt es keinen wesentlichen Unterschied zwischen "Licht" und "Radiowellen" oder "Röntgenstrahlen". Gar nichts.

Die Zapfen in unserer Netzhaut bestehen aus drei verschiedenen Größen, die jeweils am stärksten auf eine andere Wellenlänge elektromagnetischer Strahlung reagieren. Im Fall unserer "roten" und "grünen" Zapfen gibt es sehr wenig Unterschied in der Reaktion auf die meisten Lichtwellenlängen. Aber durch den Vergleich der Differenz und was eine höhere Reaktion hat, die roten oder die grünen Zapfen, kann unser Gehirn interpolieren, wie weit und in welche Richtung zu Rot oder zu Blau die Lichtquelle am stärksten ist.

Farbe ist ein Konstrukt unseres Augen-Gehirn-Systems, das die relative Reaktion der drei unterschiedlich großen Zapfen in unserer Netzhaut vergleicht und eine Wahrnehmung von „Farbe“ erzeugt, basierend auf den unterschiedlichen Mengen, die jeder Zapfensatz auf dasselbe Licht reagiert. Es gibt viele Farben, die Menschen wahrnehmen, die nicht durch eine einzige Lichtwellenlänge erzeugt werden können. „Magenta“ zum Beispiel ist das, was unser Gehirn erzeugt, wenn wir gleichzeitig rotem Licht am einen Ende des sichtbaren Spektrums und blauem Licht am anderen Ende des sichtbaren Spektrums ausgesetzt sind.

Ja, es ist gut zu wissen, dass es bereits ähnliche Systeme gibt. Aber das "größte Problem", das Sie erwähnen, ist kein wirkliches Problem mehr, jetzt, wo alles einfach in der Software korrigiert werden kann. wie Telefone wie das P20 pro oder das noch extravagantere „Light 16“ beweisen. Eigentlich kann es das perfekt abgestimmte Objektiv gar nicht geben, weil es immer eine Parallaxe gibt und solche Bilder jedes Mal schwer bearbeitet werden müssten.
Und ein weiteres Problem im Sinne des Telefons wird die Größe sein. Ein solches Split-System erfordert eine gewisse Tiefe, die in Telefonen normalerweise nicht verfügbar ist
Das Tiefenproblem für den Strahlteiler sollte selbstverständlich sein. Aber der Hauptpunkt ist, dass der Strahlteiler auch die Lichtmenge reduziert, die jeden Sensor erreicht. Die Anzahl der Fotos, die es um ein Pixel gut schaffen, oder die Gesamtempfindlichkeit des Systems mit einem System mit einer Linse und drei Sensoren steigt also nicht gegenüber einem maskierten Bayer-Sensor.

Diese Technologie existiert in Form einer 3ccd / 3-Chip-Kamera . Es würde einige Probleme geben, das Prisma in den verfügbaren Platz in einem Telefon einzupassen. Ich denke, Sie würden am Ende etwas haben, das mindestens so dick ist wie ein iPhone der 1. Generation, aber etwas, das näher an der Dicke eines Kartenspiels liegt, könnte erforderlich sein. Ich nehme an, der Markt könnte stark genug sein, um ein solches Gerät zu unterstützen. Es gab genug Interesse für Vorbestellungen, um für den 1200-Dollar-Wasserstoff ausverkauft zu sein . Ich weiß, ich hätte fast einen gekauft.