Verbesserung der CSI-Bildauflösung: Wie real ist es?

Kurze Antwort: Sie können einige sehr gute Ergebnisse erzielen, aber nur unter bestimmten Bedingungen und absolut nicht annähernd dem, was im verlinkten Videoclip gezeigt wird.

Meine Firma, Amped Software , entwickelt Bild- und Videoverarbeitungssoftware für forensische und nachrichtendienstliche Anwendungen, also sind wir im Grunde das reale Gegenstück zur CSI-Software.

Zum allgemeinen Problem der Qualitätssteigerung kann ich Ihnen sagen, dass es für unseren Markt ein großes Problem ist, den Erwartungen gerecht zu werden, die durch Fernsehserien und Hollywood-Filme geweckt werden. Sie können auf unserer Beispielseite sehen , dass die Ergebnisse, die wir erzielen können, manchmal wirklich erstaunlich sind, aber es ist wichtig zu verstehen, dass wir sie nur unter bestimmten Bedingungen erhalten können: wenn es Informationen gibt, die von Störungen verdeckt werden, aber vorhanden sind , wir können es wiederherstellen. Wenn es keine Informationen gibt, können und dürfen wir sie nicht nachstellen. Bei dieser speziellen Anwendung ist es wichtig, die Ergebnisse nicht nur aus visueller Sicht zu erhalten, sondern auch einem wissenschaftlichen Arbeitsablauf zu folgen, der vom Gericht akzeptiert werden muss .

Letztes Jahr habe ich eine Studie vorgestellt , in der Probleme und Ergebnisse von fast 200 Fällen beschrieben wurden, an denen ich gearbeitet habe, und das Endergebnis war das folgende:

• in mehr als 50 % der Fälle gibt es nichts zu tun (z. B. ist die Wiederherstellung eines Nummernschilds mit 5 x 2 Pixeln mit keiner Software der Welt völlig unmöglich);
• in etwa 30 % der Fälle können wir ein kleines Ergebnis erzielen (z. B. die Wiederherstellung eines Buchstabens eines Nummernschilds oder die Verbesserung des Gesamterscheinungsbilds eines Gesichts);
• In 10 % der Fälle erhalten Sie gute Ergebnisse (Sie erhalten zum Beispiel den größten Teil des Nummernschilds).

Bitte beachten Sie, dass all diese Fälle schwerwiegende Qualitätsprobleme aufwiesen. Wenn ihre Qualität gut war, wurden wir nicht gebeten, daran zu arbeiten.

Was speziell die Auflösungsverbesserung betrifft :

• Wenn Sie auf ein Bild zoomen, interpolieren Sie fehlende Pixel: Aus einem einzelnen Bild können Sie das Erscheinungsbild des Bildes visuell verbessern, aber Sie werden keine wirklichen Details hinzufügen ;
• Superauflösungstechniken können unter bestimmten Bedingungen zu guten Ergebnissen führen: Sie sollten genügend Frames haben, die um eine nicht ganzzahlige Anzahl von Pixeln verschoben sind und vorzugsweise wenige Komprimierungsartefakte aufweisen. Im besten Fall können Sie gute Ergebnisse innerhalb von 2x und 3x Zoom erwarten.

Was im Videoclip gezeigt wird, kann nur möglich sein, wenn das Originalvideo mit mehreren Megapixeln aufgenommen wurde und Sie dann die Auflösung haben, sehr nah heranzuzoomen (mehr oder weniger wie bei Google Maps). Natürlich gäbe es dann noch andere Probleme, wie der richtige Fokus, schlechte Lichtverhältnisse, die Tatsache, dass die Perspektive des Auges anders ist als die des gesamten Motivs im Video, um nur einige zu nennen.

Man kann nichts aus nichts machen, man muss einige Informationen haben (oder erraten), um ein Bild in irgendeiner Weise verbessern zu können. Wenn Sie beispielsweise die Eigenschaften der Unschärfefunktion kennen (und kein Bildrauschen vorhanden ist), können Sie ein Foto tatsächlich unscharf machen. Sie kennen jedoch selten die Unschärfefunktion und Rauschen ist immer vorhanden, so dass die Wiederherstellung stark eingeschränkt ist (Adobe hat kürzlich einen Unblur-Filter demonstriert, aber ihre Demo war mit synthetischer Unschärfe).

Kurz gesagt, CSI ist fast reine Fiktion - die Gewinne, die im wirklichen Leben möglich sind, sind marginal, nichts wie die 5-fache Erhöhung der Auflösung, die im Fernsehen präsentiert wird.

Plausibilitätsprüfung: Wenn sie das alles könnten, würden die Leute nicht Zehntausende für Hasselblad-Kameras mit 40+ MP bezahlen, es wäre billiger, die Software einfach zu duplizieren!

Bearbeiten: Ich habe die ursprüngliche Frage, die Superauflösung aus dem Video erwähnt, irgendwie nicht bemerkt. Eine Mehrbild-Superauflösung ist in der Realität möglich, aber nur bis zu den Grenzen des Sensors. Es funktioniert, indem es eine Reihe von Bildern mit Subpixelverschiebungen verwendet. Dadurch erhalten Sie Informationen zu den Werten zwischen den Pixeln, sodass Sie ein Bild mit höherer Auflösung erstellen können. Die Superauflösung von Videos funktioniert, weil ein sich bewegendes Motiv die gleiche Art von Verschiebungen erzeugt, jedoch darf sich das Aussehen von Objekten zwischen den Einzelbildern nicht so stark ändern. Die Technik liefert Ihnen bestenfalls nur die Ergebnisse eines Sensors mit höherer Auflösung, Sie können die Grenzen des Auflösungsvermögens des Objektivs nicht überwinden, die mit Objektiven mit CCTV-Spezifikation ziemlich begrenzt wären.

Hier ist ein Beispiel für Superauflösung unter guten Bedingungen:

_{(Quelle: wikimedia.org )}

Bild von photoacute.com

eine Verbesserung der Auflösung, ja, aber immer noch nicht annähernd die Leistung auf CSI-Niveau.

Um auf meinen obigen Kommentar zu verweisen, implementieren die neuesten Hasselblads tatsächlich Sensor-Shift-Superauflösung unter dem Namen "Multi-Shot-Capture", sodass Sie die Mittelformathersteller mit cleverer Software immer noch nicht in ihrem eigenen Spiel schlagen können ...

Also das habe ich bisher:

Der Bereich des Auges, in dem sie den Basketball sehen, ist etwa 1 Quadratmillimeter groß. Basierend auf der Größe des Mädchens können wir zuversichtlich schätzen, dass dies höchstens 1 Millionstel der Gesamtzahl der Pixel auf dem Bildschirm sein sollte. (Die Breite und Höhe des Bildes sind zwar für Fotos nicht gut definiert, da etwas näher sein kann, sehen jedoch ungefähr 3 x 3 Meter aus, was 10 Millionen Quadratmillimeter bedeuten würde. Das Auge könnte jedoch näher an der eigentlichen Kameralinse sein Ich schätze ungefähr und teile durch 10 $.)

Wenn die Aufnahme in HD-Qualität wäre, wären das immer noch nur 2 Megapixel, also sollte dort, wo wir den Basketball sehen, die Größe eines einzelnen Pixels sein.

Ich denke, dass die Argumentation zweifellos zeigt, dass es nicht wahr ist, aber ich frage mich immer noch, was sind die Obergrenzen für die Bildverbesserung?

Es gibt einige im Handel erhältliche Software mit Super Resolution. Ich habe selbst nichts davon ausprobiert, aber das Werbematerial ist ziemlich gut. Die Software ist auf Überwachung, Sicherheit und Streitkräfte ausgerichtet, aber ich denke, einige forensische Einheiten werden Zugriff auf dieses Zeug haben.

Zwei Beispiele sind: Ikena von MotionDSP und TacitView von 2d3

Eine Bild-/Videoverbesserung auf das in Fernsehsendungen vorgeschlagene Niveau ist einfach nicht möglich und wird tatsächlich durch das Bilderfassungsgerät begrenzt. Das ist die Technologie, die sich zuerst entwickeln müsste.

Es ist unmöglich, Informationen aus einer Ansammlung von 10 Pixeln in ein erkennbares Objekt zu verwandeln. Auf Pixelebene ist dies die endgültige Menge an Informationen, die im Bild bereitgestellt werden. Sie haben nur 100 Farbblöcke in diesem endlichen Zoom. Sie können einen Bereich von 10 x 10 Pixeln durch Interpolation auf 100 x 100 Pixel vergrößern, aber die Informationen in den 10 x 10 Pixeln reichen aus, und die Interpolation beruht auf fundierten Schätzungen der Software, die auf diesen 10 x 10 Pixeln basieren. Das Ergebnis wäre eine Unschärfe von 100 x 100 Pixeln. Nehmen Sie alternativ ein Bild mit 2000 x 2000 Pixeln und interpolieren Sie es auf 4000 x 4000 Pixel, und einige Unschärfen, die im Originalbild nicht so klar sind, können im größeren Bild rein durch Pareidolie klarer als mögliche Objekte aussehen - aber selbst dann ist das eine Vermutung oder Vermutung. Das interpolierte Bild würde die "Illusion" von mehr Details vermitteln,

Die Bildverbesserung beruht ausschließlich auf der maximalen Menge an Informationen, die über die ursprüngliche Bildquelle erfasst werden, und das Zoomen in Pixel ist alles, was es gibt. Einige Kameras können Bilder mit sehr guter Auflösung aufnehmen, aber keine Software kann Details hervorheben, die nicht im Originalbild aufgezeichnet sind.

Nun, um auf die CSI-Shows zurückzukommen, die meisten von ihnen schnappen sich Ihre Standard-Überwachungskamera-Aufnahmen, die im wirklichen Leben sowieso nicht besonders hoch aufgelöst sind. Wenn ich also diese Art von Verbesserung bei Shows sehe, bringt mich das nur zum Lachen - wie es selbst mit der fortschrittlichsten Form von Bildbearbeitungssoftware unmöglich ist (und PhotoShop ist wirklich am oberen Ende der fortgeschrittenen Skala). Die Bildverbesserung und das Zoomen hängen zu 100 % von den vom Bildgebungsgerät erfassten Informationen ab. Eine Überwachungskamera, die beispielsweise eine Reflexion des Gesichts einer Person auf der Seite der Hornhaut des Auges einer Person erfassen kann, müsste also sehr leistungsstark und unverschämt teuer sein . Das Filmmaterial müsste eine unverschämt hohe Pixelauflösung pro Bild haben (z. B. 100 Megapixel oder ca. 9,5 Terabyte, um 1 Sekunde Filmmaterial zu speichern). Dies würde die Dateigröße des Filmmaterials so weit sprengen, dass jede Überwachungskamera eine kleine Serverfarm benötigen würde, um 24 Stunden Filmmaterial zu speichern. Sehr teuer. Die resultierende Verbesserungstechnologie würde sich auf Bilderfassungsgeräte stützen, die in der Lage sind, dieses Maß an detaillierter Video- und Bilderfassung zuerst durchzuführen, um die Daten auf bequeme Weise zu speichern und an einem Punkt zu sein, an dem dies kostengünstig in Städten eingeführt werden kann. Die Dateigröße auf dem Videomaterial wäre so enorm groß (denken Sie daran, etwa 9,5 Terabyte pro Sekunde), dass die Software, die dazu in der Lage wäre, einen (nach heutigen Maßstäben) extrem leistungsfähigen Supercomputer zum Laufen benötigen würde. Mit der Geschwindigkeit, mit der die Technologie zunimmt, könnte dies irgendwann in der Zukunft möglich sein, wahrscheinlich zu unseren Lebzeiten. Nur dann könnten sie es tun, aber die Bilder würden nicht verbessert, Sie würden nur auf superdetaillierte Bilder zoomen. Ich weiß das, da ich mein ganzes Leben lang mit digitalen Bildern arbeite.