Kameras ersetzen menschliches Auge nach einem Unfall: Gibt es eine Grenze für die Auflösung, die das Gehirn verarbeiten kann?

Nehmen wir an, meine Augen wurden bei einem schrecklichen Unfall herausgerissen und durch Kameras ersetzt. Im Laufe der Jahre werden die Kameras immer besser ... 4k ... 8k ... 16k ... usw. Gibt es eine Grenze dafür, wie hoch die Auflösung ist, die unser Gehirn verarbeiten kann?

Sie würden wahrscheinlich mehr "Überwachung" aus Kameras mit extrem schnellem Zoom / Fokussieren als aus erhöhter Auflösung herausholen. Unser Gehirn könnte wahrscheinlich besser damit umgehen, als es mit Rohdaten zuzuschlagen. Eine Zoom-Funktion würde wahrscheinlich „das Gefühl“ haben, dass wir alles detaillierter sehen (obwohl wir jeweils nur einen kleinen Fleck sehen).
Einfach verkabeln und der Rest ist Software, richtig?
Dies könnte eine Vorstellung von den visuellen Verarbeitungsgrenzen des Unterbewusstseins geben: newatlas.com/us-army-eeg-brainwave-image-analysis/40309

Antworten (4)

Ja, es gibt eine Grenze.

Die Kamera müsste dasselbe Kommunikationsprotokoll verwenden, das die natürliche Netzhaut verwendet, um in den Sehnerv einzuspeisen.

Der Sehnerv ist nicht nur ein Draht wie ein USB-Kabel.

Vision

Vielmehr handelt es sich um eine Verarbeitungspipeline. Es ist tatsächlich ein Teil des Gehirns , nur in einem langen Streifen angeordnet, so dass die Arbeit, die getan werden muss, in dem physischen Raum ausgeführt wird, der gefüllt werden muss.

Wir erhalten keine Pixel , sondern eher eine Vektorbeschreibung mit Wahrnehmungs-Tags.

Aber vielleicht können wir trotzdem eine höhere Auflösung verwenden?

Was wäre, wenn Sie den Sehnerv und so viel des visuellen Verarbeitungskortex wie nötig auch ersetzen würden?

Das Ergebnis des gesamten Prozesses könnte beispielsweise sein, zu „sehen“ (dh nach der Analyse wahrzunehmen ), dass zwei Kanten nebeneinander liegen. Die ursprüngliche Netzhaut konnte nicht erkennen, dass es zwei unterschiedliche Kanten gab, sodass die Analyse nur eine dicke Linie findet.

Aber die hochauflösende Augenprothese mit angepassten aktualisierten Analyseschaltkreisen löst zwei eng beieinander liegende Merkmale auf und gibt diese Informationen („es gibt zwei eng beieinander liegende parallele Linien in einem solchen Winkel relativ zu anderen Merkmalen“) an den visuellen Kortex aus .

Gefälschte Vergrößerung

Aber vielleicht ist die Wissenschaft noch nicht bereit, diese Gehirnstrukturen zu ersetzen. Der andere (bessere) Netzhautersatz kann intern eine eigene Verarbeitung haben, die dann verwendet wird, um gefälschte Daten zu erzeugen, die mit dem Sehnerveneingang kompatibel sind. Vielleicht „sehen“ Sie die zwei Linien vorverstärkt oder die Trennung übertrieben; mit einer allgemeinen Smart-Zoom-Funktion, die Ihren visuellen Input mit dem füllt, was interessant ist.

Der hochauflösende Sensor könnte zoomen , indem er eine Teilmenge der räumlichen Ausdehnung nimmt, anstatt alles davon zu unterabtasten. Es könnte eine bewegliche Fovea bereitstellen; Das Gehirn kann nicht mehr Daten verarbeiten, aber Sie können auswählen, welcher Bereich der interessierende Bereich ist.

Beachten Sie auch, dass die Zapfen und Stäbchen auf der Netzhaut zufällig angeordnet sind und nicht in einem ordentlichen 2D-Raster aufgereiht sind! Dies ist wichtig, da es Aliasing reduziert . Wenn es sich bei den Maschinen um ordentliche Gitter handelt, benötigen Sie möglicherweise eine höhere Auflösung, um den gleichen Effekt zu erzielen. Um Kompatibilität bereitzustellen, würde die Verarbeitung im Auge echte Pixel verklumpen, um zufällig positionierte (größere) Pixel zu emulieren. Und es könnte sich selbst anpassen, um Artefakte noch besser zu verhindern und die Wahrnehmung echter Details zu verbessern.

Ich denke, es gibt eine Lücke, die diese Einschränkung umgehen könnte. Das Gehirn ist plastisch und kann Funktionen neuen Zwecken zuweisen. So könnten Sie beispielsweise einen Teil Ihres Gehörs oder Ihres Tastsinns opfern, damit die Teile Ihres Gehirns, die früher diese verarbeiteten, jetzt zusätzliche visuelle Informationen verarbeiten. Etwas Ähnliches geschah, als sich das Farbsehen entwickelte. Es präzipitierte Teile des Gehirns, die zuvor verwendet wurden, um den Geruchssinn zu verarbeiten.
Die Verarbeitungszellen sind ziemlich spezifisch und bereits entwickelt. Das Implantieren eines Geräts in einen ausgereiften Organismus ist nicht dasselbe wie das schrittweise Entwickeln einer neuen Funktion. IAC, die (Hauptmasse des) Gehirns, bekommt die Rohpixel nicht!
Aber es gibt Präzedenzfälle für die Anpassung an Erwachsene, wie zum Beispiel Menschen, die blind geboren wurden und denen Implantate gegeben wurden, um das Sehen zu ermöglichen. Umfunktionierte Neuronen sind möglicherweise nicht so effizient, können aber funktionieren. Um ein weiteres extremes Beispiel für die Umnutzung zu nennen: Es gibt wirklich Menschen, die im Laufe des Lebens das Augenlicht verlieren und stattdessen eine Echoortung entwickeln.
Ja, es gibt eine gewisse Plastizität , insbesondere in der tieferen Mustererkennungshardware und beim „Mapping“. Das ist den spezialisierten sensorischen Eingabefunktionen nachgelagert. Und denken Sie daran, dass das Gehirn keine Pixel erhält . Wenn Sie eine neue Netzhaut am Sehnerv anbringen, wo würden Sie die neuen zusätzlichen Pixel anschließen?
Beantwortet dies die Frage des OP?
Dies ist sicherlich eine Antwort auf die Frage des OP. Wenn Sie eine spezifischere Kritik haben, dann äußern Sie sie bitte.
Sie sind kurz zuvor zu höher / besser gesprungen, um zu sagen, was die aktuelle Auflösung ist, mit der wir laut Wiki mit dem natürlichen Auge arbeiten - es gibt 7 Millionen Zapfen und 100 Millionen Stäbchen im menschlichen Auge. Ich bin einfach zu faul Antworten zu schreiben, nur weil jemand vergessen hat ein paar Zahlen zu erwähnen. Wir sprechen also von einer 8-100 MPixel-Kamera. Es muss beachtet werden, dass der dynamische Bereich der Lichtintensitäten für Stäbe viel besser ist als für aktuelle Kameras (nicht sicher, Meinung), Stäbe können die Lichtempfindlichkeit in einem weiten Bereich einstellen, erinnern Sie sich nicht an genau 4-6 Größenordnungen mby.
Haben Sie eine Quelle für Ihre Behauptung, dass der Sehnerv nicht einfach ein Nerv ist, der die Impulse von den Netzhautganglien zum Rest des Gehirns überträgt, sondern tatsächlich eine Verarbeitung darin hat? In den Netzhautganglien findet eine gewisse Verarbeitung statt, aber der größte Teil der "Pipeline", von der Sie sprechen, befindet sich im eigentlichen Gehirn, und soweit ich weiß, befindet sich keine im Nerv selbst.

Menschliche Augen sind keine Kameras

Wir „sehen“ einfach nicht so wie Kameras. Was wir tatsächlich in jedem Moment sehen, ist eine sehr kleine Menge. Unser Gehirn leistet eine unglaubliche Arbeit, indem es die Lücken unserer momentanen Wahrnehmung füllt und uns eine Vision des Ganzen gibt.

Deshalb sind wir so anfällig für optische Täuschungen und erklären, warum sie hervorheben, wie unsere Wahrnehmung funktioniert.

Kameras gegen das menschliche Auge

Diese „lückenfüllende“ Funktion des Gehirns ermöglicht uns eine enorme Menge an Fähigkeiten, die uns glauben machen, wir hätten Superkameras in unseren Köpfen

Wir sind in der Lage: * eine nahezu unendliche Schärfentiefe zu haben * eine Szene mit einem riesigen Tonalitätsbereich augenblicklich zu "sehen" (sagen wir, Sie befinden sich in einer dunklen Kirche und blicken aus der Tür in den gleißenden Sonnenschein) * haben einen riesigen Bereich von Sensibilität - wir können in einem fast dunklen Raum sitzen und trotzdem genug sehen, um nicht in Tische zu laufen.

Wenn wir unsere Augen durch hochauflösende Kameras ersetzen würden, wäre unser Gehirn wahrscheinlich nicht in der Lage, die hinzugefügten Informationen zu verarbeiten. Wir müssten das Sehen komplett neu lernen.

schöner Link, den du bereitgestellt hast.

Bandbreitenbeschränkungen gibt es zuhauf. Es wird geschätzt , dass der menschliche Sehnerv in der Lage ist, etwa 8,75 Mb/s zu übertragen, mehr oder weniger. Unsere "Flickerrate" von etwa 30 fps würde uns etwa 291 kb/f für jedes Bild geben. Bei Verwendung von 8 Bit pro Kanal bedeutet dies, dass wir mit 36500 Pixeln arbeiten können. Das ist weit entfernt von den Millionen von Pixeln in einer modernen Kamera.

Das menschliche Gehirn und die optischen Kanäle sind hervorragend darauf ausgelegt, den Wert des gesamten Systems zu maximieren. Sie sind nicht für die Eingabe von Rohdaten konzipiert, sondern für Finesse .

Wir könnten den Sehnerv durch Drähte ersetzen, um mehr Bandbreite zu bekommen. Offensichtlich hat das Gehirn mehr Bandbreite zum Spielen als der Sehnerv. Es ist jedoch nicht klar, ob wir es wirklich nutzen könnten. Wir verbringen bereits 20 % unseres gesamten Stoffwechsels mit unserem Gehirn. Rechnen kostet Energie. Während die Berechnungen auf einem vollständigen Kamerabild einfacher sind als auf unseren organischen Bildern, würden sie das Gehirn dennoch schnell überschwemmen. Das sind nicht die Art von Entscheidungen, in denen das Gehirn gut ist.

Interessanterweise sind diese Energiekosten so ausgeprägt, dass wir unsere retinalen Gangelone tatsächlich in zwei Klassen einteilen. Ein kleiner Teil ist darauf ausgelegt, schnelle Bewegungen zu erfassen, und wird mit hoher Geschwindigkeit aktualisiert, während die Mehrheit „träge“ ist und darauf ausgelegt ist, langsam zu aktualisieren und die gesamte Szene zu erfassen.

Aber der Sehnerv trägt überhaupt keine Pixel (wie ein HDMI-Kabel) . Es ist eine Verarbeitungspipeline, die physisch im Raum ausgestreckt ist. IT trägt Daten nicht in der von Ihnen vorgeschlagenen Weise; Es nimmt an einem Ende Eingaben entgegen und liefert am anderen Ergebnisse, wobei jeder Hop entlang der Kette einen Berechnungsschritt durchführt.
@JDługosz Haben Sie Ressourcen, die darauf hinweisen, welche Art von Verarbeitung im Sehnerv erfolgt? Es macht Sinn, dass der Körper sich dafür entscheidet, aber ich habe keine Links gefunden, die darauf hindeuten, dass dies geschieht. Ich liebe es herauszufinden, dass meine Nerven schlauer sind als ich!
Ich weiß zwar, dass Bitraten nicht mit dem übereinstimmen, was das Gehirn verwendet, aber wenn wir anfangen, über Kameras zu sprechen, sprechen sie nur in Bitraten, daher ist es sinnvoll, sie zu verwenden, auch wenn wir kreativ sein müssen, wie wir das Gehirn messen. Die Moral der Geschichte ändert sich nicht: Verwenden Sie Neuronen für das, wofür Neuronen gut sind, nicht für das, worin sie schlecht sind.
sie sprechen nur in Bitraten - wegen der Ergebnisse, die wir von ihnen brauchen. Wenn wir sie mit einem Gehirn koppeln möchten, muss diese Position von Bitratenergebnissen/Ansatz für eine erfolgreiche Gehirnkopplung geändert werden. Zwischen der Kamera, die in Bitraten spricht, und dem Gehirn muss es ein Decoder/Encoder-Gerät geben, das das Gehirn mit Informationen versorgt, die es verarbeiten kann, so wie es früher diese Informationen erhalten hat. Wenn Sie nicht meinen, den visuellen Kortex zu ersetzen, und als Ergebnis ein größeres Problem und einen größeren Bedarf an diesem Encoder haben. In beiden Fällen ist die visuelle Pfadbandbreite irrelevant. Oder Sie sollten sagen, warum es nicht irrelevant ist

Aus Wikipedia erfahren wir, dass das Gesichtsfeld für ein Auge (vom Mittelpunkt) etwa 60° nach oben, 60° zur Nase, 75° nach unten und 110° zur Seite weg und für zwei Augen 135° vertikal und 200° beträgt ° waagrecht. Wir lernen auch, dass 1 Bogenminute eine vernünftige Auflösung ist, für Berechnungszwecke, warum nicht 0,1. Ich überlasse es Ihnen, die Mathematik zu machen ( Anmerkung der Redaktion: etwa 97 MPixel, nah an den physikalischen Grenzen des Auges ).

Natürlich ignoriert dies die Reaktionsgeschwindigkeit, die Fähigkeit der Linse, auf verschiedene Entfernungen zu fokussieren, die Fähigkeit der Iris, die Menge (Intensität) des auf die Netzhaut auftreffenden Lichts zu erhöhen, die Empfindlichkeit der Netzhaut und die Farbunterscheidung der Kegel & Stäbchen. Ich habe die Zahl vergessen, aber es waren ungefähr 3 oder 4. Das Gehirn sendet 3- oder 4-mal so viele Daten an das Auge, wie das Auge an das Gehirn zurücksendet.

Mit anderen Worten, das Sehen ist ein sehr rechenintensiver Prozess. Ich habe in meinem Leben zwei Dinge gesehen, die mich erstaunt haben und die hier relevant sind, denke ich. Ich kannte einen Typen, der ein Tempolimit-Schild aus einer Entfernung lesen konnte, wo das Schild (rechteckig weiß) für mich kaum mehr als ein Punkt war. Er hatte eine unglaubliche Entschlossenheit. Ich kannte einen anderen Typen (ich habe es mehrfach bemerkt), der eine ganze Szene mit einem einzigen Blick „aufnehmen“ konnte (und tat). Das heißt zum Beispiel, er und ich gingen an einem Raum vorbei, in dem gerade eine Besprechung stattfand, und wir schauten beide hinein. Ich würde ein paar Leute und ein paar andere Details erkennen, während er mir sagen konnte, wer dort war und was genau die PowerPoint-Folie eines angezeigten Excel-Arbeitsblatts hatte. (nicht alles, aber erstaunlich viele Details). Im ersten Fall, die Auflösung ist physikalisch (höchstwahrscheinlich); im zweiten Fall musste er sowohl hervorragende Augen als auch ein neuronales System haben, das all diese Informationen viel effizienter verarbeiten konnte als ich.

Die Erkenntnis aus all dem ist, dass es alle möglichen Grenzen des menschlichen Sehvermögens gibt. Ein Teil davon ist auf die Physik des Auges zurückzuführen, ein Teil davon auf die Verarbeitung im Sehnerv und ein Teil davon zweifellos auf die Effizienz (Effektivität) des visuellen Volumens / Bereichs des Gehirns . Dabei ist zu beachten, dass die Verarbeitungsleistung des Gehirns begrenzt ist. Je mehr Informationen Sie aus einem „Augenblick“ von Reizen extrahieren, desto weniger „Augenblicke“ können Sie verarbeiten (alle anderen sind gleich). Dies bedeutet, dass das perfekte System eines ist, das sich nur auf die Dinge konzentriert, die Sie behalten möchten. Der Nachteil dabei ist, dass Sie, während Sie sich auf die Erdbeeren konzentrieren, den Leoparden im Baum übersehen.