Augen? Nein. Menschen? Ja.

Sie würden sich schwer tun, 60 fps aus dem menschlichen Auge herauszuholen.

Unter Laborbedingungen dauert es etwa 150 ms, bis Neuronen im visuellen System beginnen, einen neu auftretenden visuellen Input zu erkennen und zu kategorisieren.

Dieses kleine Faktum ist jedoch nicht die Bildratenspezifikation für das menschliche Sehen.

Wenn die Wahrnehmung in der realen Welt diesem gleichen Muster folgen würde, würden wir nach jeder Sakkade für eine beträchtliche Zeit immer noch den alten Netzhauteingang wahrnehmen und nicht die Informationen, die sich derzeit auf der Netzhaut befinden. Tatsächlich müssten wir etwa 150 ms warten, um zu „sehen“, was sich nach jeder Sakkade vor unseren Augen befindet. Zu diesem Zeitpunkt hat das okulomotorische System bereits begonnen, das nächste sakkadische Ziel auszuwählen.

Das wäre scheiße.

Glücklicherweise ist das menschliche Auge mehr als eine Kamera* mit fetter Röhrenverbindung zum Gehirn.

Während wir beispielsweise einen Stift halten, ist der sensorische Input auf die Rezeptoren einiger Finger beschränkt, sodass der Großteil der Oberfläche des Stifts außerhalb unseres direkten sensorischen Bereichs bleibt. Trotzdem nehmen wir ein vollständiges Objekt wahr, keinen Stift mit Löchern, die unsere Finger nicht berühren. In ähnlicher Weise nimmt unser visuelles System die Welt aktiv wahr, indem es die Fovea, den Bereich der Netzhaut, in dem die Auflösung am besten ist, jeweils auf einen einzelnen Teil der Szene richtet.

Das menschliche Sehen hat keine Eigenschaften wie Bildrate, Latenz, Auflösung usw.

Visuelle Konstanz kann auch als zeitliches Phänomen angesehen werden: Objekte scheinen über die Zeit kontinuierlich präsent zu sein. Die Dauer externer Ereignisse ist jedoch typischerweise länger als die einer einzelnen sensorischen „Probe“ wie einer Fixierung. Obwohl Bewegungen der Augen, des Kopfes und des Körpers unseren ständigen Zugang zu diesen Objekten und Ereignissen stören, setzt sich der Bewusstseinsstrom über diese sensorischen Unterbrechungen hinweg reibungslos fort. Dies ist eine erstaunliche Leistung, da jede sakkadische Augenbewegung eine zeitliche Unterbrechung des Informationsflusses von der Netzhaut zu höheren Wahrnehmungsbereichen erzeugt. Der motorische Abstrich auf der Netzhaut während der Sakkade wird unterdrückt, sodass wir uns der Netzhautstimulation während dieser Zeitspanne weitgehend nicht bewusst sind. Darüber hinaus erfordert jede Sakkade, dass das visuelle System die Informationen einer neuen Fixierung „wieder wahrnimmt“.

Zeit ist relativ...

... die wahrgenommene Zeit scheint sich nach vorne zu verschieben, in Richtung des Beginns der neuen Fixierung, wodurch die Zeit unmittelbar vor und während der sakkadischen Augenbewegung im Wesentlichen komprimiert wird. Eine mögliche Interpretation ist, dass Raum und Zeit im Gehirn untrennbar miteinander verbunden sind, wobei das Muster seltsamer Wahrnehmungseffekte, die für Reize berichtet wurden, die um die Zeit von Sakkaden herum aufblitzten, eine räumlich-zeitliche Transformation zwischen Fixierungen widerspiegeln.

Das Endergebnis ...

Das menschliche Sehen ist nicht an die Bildrate gebunden.

Quelle aller Zitate: Visuelle Stabilität , Referenzen

Mehr...
Blick nach vorne: Die wahrgenommene Blickrichtung ändert sich, bevor sich die Augen bewegen
Wie das menschliche Sehen schnelle Veränderungen wahrnimmt
Von Augenbewegungen zu Aktionen: Wie Schlagmänner den Ball schlagen
Sehen und die Repräsentation der Umgebung im räumlichen Gedächtnis

* Tatsächlich ist der Vergleich des menschlichen Auges mit einer Kamera wie der Vergleich einer thermonuklearen Waffe mit einem Taschenmesser.

Ja, das Auge kann Bildraten über 60 Hz unterscheiden. Das Gehirn kann es auch. Wir sind uns dessen normalerweise nicht bewusst.

Die bewusste Wahrnehmung von Flimmern wird in Labors anhand der kritischen Flimmerfrequenzschwelle (CFF) gemessen , die die niedrigste Frequenz von flackerndem Licht (Hz) ist, die bei einer Person den Anschein von Dauerlicht erzeugt. Es ist eine probabilistische Statistik, die durch Testen einer Person geschätzt wird – sie hängt von der Person und den Testmethoden ab. Und die gleiche Person wird eine andere CFF haben, abhängig von Faktoren wie Müdigkeit.

Hier ist ein ziemlich typischer CFF-Plot (von Hartmann, E., B. Lachenmayr und H. Brettel. "The Peripheral Critical Flicker Frequency." Vision Research 19.9 (1979): 1019-1023.), der zeigt, wie der CFF einer Person (der y-Achse) variiert bei verschiedenen visuellen Exzentrizitäten (die x-Achse, größere Exzentrizitäten bedeuten, dass man immer weniger direkt darauf blickt) und Beleuchtungsstärken (die verschiedenen Punkte und Linien.)

Wie Sie sehen können, hat diese Person bei heller Beleuchtung etwa 60 Hz CFF, wenn das Flimmern etwa 15 Grad vom Sehzentrum entfernt ist. Dies deutet darauf hin, dass viele Menschen in der Lage sein sollten, das Flimmern von CRT-Monitoren mit 60-Hz-Bildwiederholfrequenzen zu sehen. Sie können. (Wie andere hier angemerkt haben, ist dies bei LCD-Monitoren nicht möglich, da LCD-Monitore nicht flackern.)

Warum ist CFF bei diesen Spitzenbedingungen nicht noch höher? Gute Frage. Der Engpass beim bewussten Sehen von Flimmern ist nicht unbedingt das menschliche Auge oder sogar der Thalamus oder der Kortex. Das Auge kann Flimmern weit über 60 Hz an den Thalamus und Kortex übertragen. Viele Neuronen können weit über 100 Hz feuern. Und wir können sogar die neuronale Reaktion auf hochfrequentes Flimmern messen. Hier sind ein paar Papiere, die dies tun:

Herrmann, Christoph S. "Menschliche EEG-Reaktionen auf 1–100 Hz-Flimmern: Resonanzphänomene im visuellen Kortex und ihre mögliche Korrelation mit kognitiven Phänomenen." Experimentelle Hirnforschung 137.3 (2001): 346-353. :

Es ist auch bekannt, dass Neuronen im visuellen Kortex auf flackernde Reize mit der Frequenz des flimmernden Lichts reagieren. .... Wir führten ein Experiment durch, bei dem zehn Versuchspersonen flackerndes Licht mit Frequenzen von 1 bis 100 Hz in 1-Hz-Schritten präsentiert wurde. Die ereignisbezogenen Potentiale zeigten stationäre Oszillationen bei allen Frequenzen bis mindestens 90 Hz.

Williams, Patrick E., et al. "Entrainment zu Videoanzeigen im primären visuellen Kortex von Makaken und Menschen." The Journal of Neuroscience 24.38 (2004): 8278-8288 :

Makaken: Von 92 Zellen im primären visuellen Kortex, die einer 100-Hz-Auffrischung ausgesetzt waren, zeigten 21 (23 %) eine signifikante Phasenkopplung gegenüber kontrastreichen Stimuli.

Menschen: Bei einigen, aber nicht allen Beobachtern wurden Reaktionen gemessen, die mit einem Kopfhaut-EEG bei 72 Hz gemessen wurden.

Krolak-Salmon, Pierre, et al. „Der menschliche seitliche Kniekehlenkern und der visuelle Kortex reagieren auf Bildschirmflimmern.“ Annalen der Neurologie 53.1 (2003): 73-80. :

Die erste elektrophysiologische Untersuchung des humanen Nucleus lateralis geniculatum (LGN), der optischen Bestrahlung, der gestreiften und extrastriären Sehbereiche wird im Zusammenhang mit der präoperativen Untersuchung von drei Epilepsiepatienten (Patienten 1, 2 und 3) vorgestellt. ... Eine periodische sinusförmige Aktivität wurde bei Patient 1 an Kontakten aufgezeichnet, die in der Nähe von LGN und optischer Strahlung (G2 und G3) im Schachbrett-Umkehrparadigma lagen ... Seine Frequenz war 70 Hz, identisch mit der Bildwiederholfrequenz des Videodisplays ... In Bei gleichem Schachbrettmuster wurde eine ähnliche periodische sinusförmige Aktivität bei den Patienten 2 und 3 an den okzipitalen Elektrodenkontakten (O1 bis O6) aufgezeichnet, die den Kalkarinbereich erkundeten. Es war in den anderen untersuchten Strukturen nicht vorhanden, insbesondere nicht im Gyrus fusiformis (Kontakte F1 bis F6 bei den Patienten 1, 2 und 3

Wenn also die Informationen im Gehirn sind, warum können wir sie dann nicht wahrnehmen? Wir wissen es nicht wirklich. Die einfachste Theorie könnte sein, dass diese Signale einfach zu schwach sind. Aber es scheint unwahrscheinlich, dass wir mit Elektroden auf der Kopfhaut etwas aufzeichnen könnten, das im Gehirn nicht stark ist.

Es ist auch erwähnenswert, dass unsere Fähigkeit, Flimmern wahrzunehmen, ein Nebeneffekt unserer Fähigkeit ist, Bewegung wahrzunehmen. Die meiste Bewegungswahrnehmung findet in Situationen statt, in denen wir andere Informationen über die sich bewegenden Objekte haben. Die Flimmerwahrnehmung, gemessen mit dem CFF-Schwellenwert oder beobachtet mit Monitor-Aktualisierungsraten, ist ein seltsamer Grenzfall. Es machte wahrscheinlich wenig evolutionären Sinn, diese Fähigkeit zu optimieren, wenn wir zum Beispiel die meisten sich schnell bewegenden natürlichen Objekte bereits gut genug sehen konnten, um sie zu fangen. Sie könnten also das Argument umkehren und fragen, warum wir Menschen uns die Mühe gemacht haben sollten, schnelles Flimmern zu sehen?

Die vielleicht interessanteste Möglichkeit ist, dass dies eine Einschränkung des Bewusstseins selbst sein könnte. Eine anfängliche Intuition ist, dass die bewusste Wahrnehmung wahrscheinlich langsamer sein wird als die Prozesse auf niedriger Ebene, auf die sie sich stützt. Da unterschiedliche Arten von Wahrnehmungsprozessen unterschiedliche Rechenanforderungen haben, benötigen sie unterschiedliche Rechenzeiten. Somit kann das Kombinieren der Wahrnehmungsverarbeitung im Bewusstsein durch ratenbegrenzende Schritte verlangsamt werden. Alex Holcombe hat vor ein paar Jahren einen netten Aufsatz geschrieben, in dem er die Literatur über zeitliche Grenzen der visuellen Wahrnehmung verschiedener Arten von Stimuli zusammenfasst. Darüber hinaus haben Rufin VanRullen und Christof Koch argumentiert, dass die bewusste Wahrnehmung in diskreten Schüben erfolgt . Sie glauben nicht, dass es vollkommen regelmäßig ist, sondern eher quasi-periodisch und durch die anstehende Aufgabe bestimmt.Dennoch argumentieren sie im Wesentlichen, dass das Bewusstsein selbst eine Aktualisierungsrate hat.

Der Wikipedia-Artikel zur Bildrate legt meiner Meinung nach nahe, dass 60 Hz nicht wirklich das andere Ende des Spektrums sind.

Große Institutionen wie Snell haben 720p72-Bilder als Ergebnis früherer analoger Experimente demonstriert, bei denen 768-Zeilen-Fernseher mit 75 FPS subjektiv besser aussahen als 1150-Zeilen-50-FPS-Progressivbilder mit höheren verfügbaren Verschlusszeiten (und einer entsprechend niedrigeren Datenrate).

Der Link zum zitierten Artikel ist jedoch defekt.

Auch aus demselben Artikel und relevanter:

Höhere Bildraten, einschließlich 300 FPS, wurden von BBC Research aufgrund von Bedenken bei Sport- und anderen Sendungen getestet, bei denen schnelle Bewegungen mit großen HD-Displays eine verwirrende Wirkung auf die Zuschauer haben könnten. Whitepaper-Link

Ein höherer FPS-Wert führt auch zu einer natürlichen Bewegungsunschärfe, die normalerweise selbst bei niedrigeren FPS rechenintensiv zu rendern ist.

Das menschliche Auge kann beim reinen Zusehen nicht zwischen 60 Hz und 100 Hz unterscheiden (noch weniger könnte ausreichen, wenn das Bild richtig aufbereitet ist, wie Filme zeigen, die mit 24 Hz im Kino projiziert werden), aber es gibt einen Unterschied bei der Interaktion - Sie können feststellen, dass die Reaktion sogar über 60 Hz hinaus schneller ist. Dies wird durch die Tatsache verstärkt, dass die Reaktionszeit (Latenz zwischen der Eingabe und dem angezeigten Bild) aufgrund der Pipeline-Natur der Rendering-Technologie oft mehrere Frames beträgt, daher beträgt die Latenz von 60-Hz-Spielen typischerweise über 60 ms, wie durch Gamasutra-Messreaktion belegt bei Videospielen .

Die kritische Flimmerfrequenz (die Rate, bei der Sie ein flackerndes Licht nicht mehr von einem konstanten unterscheiden können) ist nicht alles. Forschungen während des Zweiten Weltkriegs und die anschließende Verwendung eines Tachistoskops zeigten, dass Menschen Flugzeuge identifizieren oder korrekte Entscheidungen zum Schießen/nicht Schießen treffen können, basierend auf Bildern, die nur 1/100 Sekunde lang gesehen wurden.

Ich habe einmal einen Spieler darauf angesprochen, warum er versucht hat, seine Frameraten auf Hunderte zu steigern (wobei er natürlich die Bildqualität stark beeinträchtigte). Am Ende stellte sich heraus, dass es daran lag, dass einige Spiele mit extremen Frameraten nicht richtig umgehen konnten und Exploits auftauchten (z. B. Feinde, die Ihre Schritte nicht hören und dergleichen).

Das gilt natürlich nicht für alle Spiele oder alle Leute, aber es ist ein Grund, so viel wie möglich aus Ihrem VGA herauszuholen.

Um dies weniger anekdotisch zu machen, habe ich etwas gegoogelt. Hier ist eine Analyse des 125-fps-Jumping-Bugs von Quake 3 . Anscheinend werden ähnliche Fehler auf andere Spiele übertragen, die eine von Quake abgeleitete Engine verwenden. Hier ist eine weitere Analyse sowohl für Quake3 als auch für Call of Duty, die sich auf Sprung- und Laufgeräusche konzentriert. Die magische Anzahl von 333 fps fällt auf.

Beim Googeln bin ich auf viele Foren-Threads gestoßen, und ich entnehme ihnen, dass offizielle Turniere FPS-Limits haben, um Spieler daran zu hindern, diese Exploits zu verwenden. In vielen Threads wurde jedoch erwähnt, dass "jeder dies tut", was darauf hindeutet, dass dies für einfache Spieleserver eine weit verbreitete Praxis ist. Das ist durchaus verständlich, denn wenn einer das tut, dann werden andere ungerechtfertigt benachteiligt.

Es gibt spürbare Qualitätsverbesserungen, wenn Sie über 60 Hz gehen.

Viele Fernseher unterstützen die Konvertierung eines 60-Hz-Eingangssignals mit 120 Hz oder höher, um Bewegungen flüssiger erscheinen zu lassen: https://en.wikipedia.org/wiki/Motion_interpolation

Einer der Gründer des Unternehmens hinter dem Oculus Rift behauptet, dass es spürbare Verbesserungen gibt, wenn er für VR-Anwendungen über 60 Hz geht: http://www.pcgamer.com/oculus-founder-palmer-luckey-thinks-30-frames-per -Sekunde-ist-ein-Fehler/

Ultra High Definition-Video (8k) ist für die Verwendung von 120 Hz für eine verbesserte Bewegungsqualität spezifiziert: https://en.wikipedia.org/wiki/Ultra-high-definition_television

Wie viel Unterschied eine höhere Bildrate macht, scheint von der Anzeige und dem Quellmaterial abzuhängen.

Wenn das Auge eines Betrachters in Bezug auf eine Bildanzeigevorrichtung stationär ist, nimmt die Fähigkeit des Betrachters, eine bestimmte Bildrate von einer unendlichen Bildrate zu unterscheiden, stark ab, wenn die Rate über etwa 12 Hz hinaus ansteigt (die Rate, mit der viele Zeichentrickfilme gezeichnet werden). . Wenn sich jedoch das Auge des Betrachters in Bezug auf die Vorrichtung oder das von ihr gezeigte Bild bewegt, bewirkt eine solche Bewegung, dass jeder Teil des von der Vorrichtung gezeigten Bilds zu unterschiedlichen Zeiten auf verschiedene Teile der Retina fokussiert wird. Selbst wenn irgendein bestimmter Teil der Netzhaut nicht in der Lage wäre zu erkennen, dass sich das darauf fokussierte Bild Dutzende oder Hunderte Male pro Sekunde ändert, kann das sich bewegende Auge als Ganzes eine viel größere scheinbare zeitliche Auflösung erreichen.

Als einfaches Beispiel: Wenn die Augen die Bewegung eines Objekts verfolgen, das durch einen dunklen Lattenzaun gesehen wird, werden verschiedene Teile des Objekts zu unterschiedlichen Zeiten sichtbar sein, aber die Beharrlichkeit des Sehens führt dazu, dass alle Teile zu einer Einheit kombiniert werden, um eine Einheit zu bilden Bild. Wenn man stattdessen eine stationäre 60-fps-Videokamera verwenden würde, um das Objekt durch den Zaun aufzunehmen, könnte die Kamera nicht annähernd so viele Informationen erfassen, und eine Person, die das Video ansieht, hätte keine Möglichkeit, Details des Objekts zu sehen die die Kamera nie eingefangen hat.

Ferner neigt diskretes räumliches oder zeitliches Abtasten als allgemeineres Prinzip dazu, Artefakte einzuführen, die am Ende unabhängig von der Abtastrate sichtbar sein können. Angenommen, eine 60-Hz-Kamera nimmt ein Video eines Objekts auf, das 29 Mal pro Sekunde flimmert. Es gibt keine Möglichkeit für ein 60-Hz-Video, 29 gleichmäßig aussehende Blitze pro Sekunde zu zeigen. Wenn man die Videorate auf 120 Hz erhöht, würde das ein 29-Hz-Objekt besser aussehen lassen, aber ein 59-Hz-Objekt würde dann Probleme verursachen. Wenn man die Videorate auf 1200 Hz erhöht, würde das 59-Hz-Objekt gut aussehen, aber ein 599-Hz-Objekt würde Probleme verursachen. Wenn man mit 1200 Hz aufnehmen, dann aber alles mit einer Unschärfe von 1/60 Sekunde versehen würde, könnte man ziemlich gut sicherstellen, dass jede Frequenz von Blitzlicht entweder langsam genug ist, um als gleichmäßiger Blitz zu erscheinen, oder schnell genug, um als gleichmäßiger Festkörper zu erscheinen Erleuchtung,