Wann spielt die Audiolatenz eine Rolle und wann keine Rolle?

Anscheinend hat sich die AES irgendwann das gleiche gefragt und diese Studie durchgeführt: http://lsbaudio.com/publications/AES_Latency.pdf

Sie ließen eine Stichprobe aus verschiedenen Instrumentalisten einem mit einer bestimmten Latenz konfigurierten Monitoring-System eine subjektive Note geben,

Während der Titel "in Live-Sound-Monitoring" sagt, werden Sie beim Lesen feststellen, dass die In-Ear-Monitor-Tests Ihre Frage auch in einer Studioumgebung perfekt beantworten (die Wedge-Tests sind immer noch interessant, wenn auch weniger relevant).

Vielleicht finden Sie auch diese Tabelle - von einem angesehenen Autor - nützlich: http://www.soundonsound.com/sos/jan05/articles/pcmusician.htm#7

Es läuft ungefähr auf optimale Werte von etwa:

• Gesang < 3 ms;
• Schlagzeug < 6ms;
• Gitarren < 12ms;
• Klavier < 10 ms;
• Tastaturen (Pads usw.) < 20 ms

Beachten Sie, wie laut dem Autor

„Die Schallgeschwindigkeit in der Luft beträgt ungefähr 1000 Fuß pro Sekunde, jede Millisekunde Verzögerung entspricht dem Hören des Klangs von einem Punkt, der einen Fuß weiter entfernt ist. Wenn Sie also eine E-Gitarre in 12 Fuß Entfernung von Ihrem Verstärker spielen können, können Sie das problemlos mit einer Latenzzeit von 12 ms fertig werden."

und

„Gesang: Dies ist das schwierigste Beispiel, da jeder, der seinen Gesang in ‚Echtzeit‘ hört, Kopfhörer aufhat und daher die Geräusche ‚in seinem Kopf‘ hat. Eine Latenz von sogar 3 ms kann unter diesen Bedingungen beunruhigend sein.“

Oberhalb dieser Werte denke ich, dass es alles eine Frage dessen ist, wie sehr es für Sie persönlich (wie wählerisch Sie sind) und für Ihre Arbeit akzeptabel ist.

Wenn Sie mehr als 100 Vokal-Overdubs (oder geschichtete Percussion) machen, ist ein Wert nahe 0 ein guter Wert – Sie möchten nur nicht, dass sich die Verzögerung der Konsonanten häuft.

Dasselbe gilt, wenn Sie Mariah Carey sind und sich nur das Beste leisten können.

Wenn Sie in einem Heimstudio eine schnelle Demo machen - was auch immer -, bewegen Sie die "s" mit der Maus, richtig?

Ich kann nur aus eigener Erfahrung als elektronischer Live-Musiker sprechen.

Die ms-Werte sind das, was ich in meiner Computersoftware gelesen habe. Ich weiß nicht, wie genau es ist, aber sie werden auf mehreren Geräten und Softwarepaketen repliziert. Also neige ich dazu, diese Werte zu verwenden.

Ich habe festgestellt, dass alles, was höher als 100 ms ist, genug Verzögerung ist, um davon gestört zu werden, bis zu dem Punkt, an dem es als "unspielbar" bezeichnet wird. Unser Gehirn kann nur begrenzt kompensieren.

Wenn ich zum Beispiel eine Latenz von 100 ms habe, höre ich meine Note erst mindestens 120 ms, nachdem ich sie mit dem Instrument gespielt habe. Ich muss meine Noten nicht nur früher spielen, als ich sie eigentlich spielen muss, um nicht zu klingen, sondern auch, wenn ich eine falsche Note spiele, höre ich sie erst 120 ms später, verarbeite sie und passe sie an und Diese ganze Latenz kann einen 0,5-Sekunden-Rundgang für das Publikum sehr hörbar machen!

Für Live-Musik-Equipment sind 100 ms das absolute obere Mittel und vergleichbar damit, Instrumentenmonitore auf der anderen Seite eines Fußballfelds aufzustellen. Sie spielen bereits eine neue Note, wenn Sie die erste gespielte Note hören. Ist wie das Lesen von Untertiteln und zu sehen, wie die Figur im Fernsehen ein Wort nach dem Wort spricht, das Sie tatsächlich über die Lautsprecher hören. Sehr nervig!

Ich versuche, 32 oder 24 ms anzustreben. Bei modernen Laptops sind sogar Werte von 18 bis 12 ms möglich. Alles unter ~12-10 ms ist nicht von der Eingabe zu unterscheiden. Ich kann zum Beispiel eine Note spielen und während das Instrument beim Spielen der Note ein Klickgeräusch von sich gibt, höre ich die gespielte Note über die Monitore (ohne Verzögerung).

Aus diesem Grund versuche ich als Live-Instrumentenspieler die Latenz so gering wie möglich einzustellen, ohne die CPU zu überlasten. Wenn ich es auf 10 ms einstelle, kann meine CPU anfangen, Knackgeräusche zu hören, und die CPU-Kernauslastung kann auf einem Kern über 100 % liegen!

Sobald ich ein glückliches Medium gefunden habe, zum Beispiel als Beispiel unten (CPU-Auslastung bedeutet den Prozentsatz der verwendeten CPU, abhängig davon, wie viele Threads das Programm tatsächlich verwenden soll):

128ms = 2% CPU utilization
 64ms = 2.5% CPU utilization
 32ms = 3% CPU utilization
 18ms = 5% CPU utilization
 15ms = 10% CPU utilization
 12ms = 22% CPU utilization
 10ms = 85% CPU utilization

Ich kann mich entscheiden, die Werte zwischen 15 und 18 ms einzustellen. Als Live-Instrumentspieler kann ich es mir nicht leisten, auch nur ein Knistern oder Knacken aufgrund von Buffer-Underruns zu haben.

Ich möchte meine Gedanken teilen, die sich auf Ihre Frage zur iOS-Touch-to-Sound-Latenz und „(virtuelle oder MIDI-) musikalische (Instrument-)Übungen oder Darbietungen?“ beziehen.

Ich muss davon ausgehen, dass Ihr Hauptinteresse - Latenz in Bezug auf iOS-Musikinstrumente und -Geräte oder andere "virtuelle und digital erzeugte Musikklänge (MIDI) während "Übungen oder Aufführungen" auf diesen Art von Geräten oder "Instrumenten" ist.

Für die TL;DR zum Ende springen. Um zu verstehen, wie ich am Ende zu den Schlussfolgerungen gekommen bin, lesen Sie weiter.

Die in der Antwort von Some Dude zitierten Studien und einige der in Kommentaren zitierten anekdotischen Informationen beziehen sich auf Musiker, die echte (im Gegensatz zu virtuellen) Instrumenten spielen . Aber was wir aus diesen Studien und Beobachtungen lernen, wird uns zu einigen logischen Schlussfolgerungen führen, da sie sich auf Ihre spezifische Frage beziehen.

Lassen Sie mich zunächst die anekdotischen Beweise aus meiner Perspektive als auftretender Gitarrist und Sänger hinzufügen, der auch etwas Keyboard und Klavier gespielt hat. Ich trete oft in einer rein akustischen Umgebung mit unverstärkter Akustikgitarre und ohne Mikrofon auf. In einem solchen Fall ist die Latenz sehr gering – insbesondere bei Gesang. Wenn ich mit angeschlossenem Mikrofon auftrete und über ein Mikrofon singe, verwende ich im Allgemeinen Bodenkeilmonitore ziemlich nah. Keines dieser Szenarien bereitet mir Probleme.

Wenn ich in größeren Veranstaltungsorten mit einer Haus-PA und Monitoren auftritt, die möglicherweise von der Decke hängen, ist mir die Verzögerung zwischen dem Zupfen einer Saite auf meiner Gitarre und dem Hören über den Monitor ziemlich unangenehm - und das habe ich eine schwierige Zeit, unter diesen Bedingungen aufzutreten. Ich bin mir sicher, dass ich mich irgendwann daran gewöhnen und mich anpassen würde, wenn ich das die ganze Zeit über üben würde.

Schauen wir uns also an, was wir aus der von Some Dude geteilten AES-Studie extrapolieren können . Dann können wir einige Schlussfolgerungen darüber ziehen, was die Ergebnisse für virtuelle Instrumente nahelegen könnten.

In dieser Studie erfahren wir, dass Sänger und Saxophonisten die geringste Toleranz für Latenz haben und Keyboarder und Schlagzeuger die größte Toleranz haben und Gitarristen dazwischen liegen. Die Ergebnisse der Studie zeigen deutlich, dass die Toleranzwerte direkt mit dem Instrument und NICHT mit den Personen zusammenhängen. Dieselbe Person, die verschiedene Instrumente spielt, würde Latenztoleranzniveaus aufweisen, die mit anderen Ergebnissen auf dem gegebenen Instrument übereinstimmen.

Überlegen wir also, warum das wahr sein könnte. Wann immer Sie sprechen oder singen, erwartet Ihr Gehirn eine sofortige Reaktion ohne Latenz auf Geräusche, die genau zur gleichen Zeit aus Ihrem Mund kommen, wenn Ihr Zwerchfell und Ihre Lungen Luft über Ihre Stimmbänder drücken. So war es, seit du schreiend auf die Welt gekommen bist und zum ersten Mal den Klang deiner eigenen Stimme gehört hast. Es ist also leicht zu verstehen, warum ein Sänger eine geringe Latenztoleranz hat. Das Gehirn ist beim Vokalisieren an unmittelbares Feedback gewöhnt.

Beim Saxophonisten hat das Gehirn eine ähnliche Erwartung entwickelt. Das Erzeugen eines Tons mit einem Horn hat eine sehr signifikante Gemeinsamkeit von Ursache und Wirkung mit dem Erzeugen eines Tons mit Ihrer Stimme. Das Einblasen von Luft - erzeugt ein sofortiges Geräusch. Ob beim Singen oder beim Blasen eines Horns, es gibt eine sehr bewusste physiologische Muskelaktion, die eine gleichzeitige und sofortige Reaktion hervorruft. Hornisten sind es gewohnt, durch ihr Instrument zu blasen und sofort einen Ton zu hören.

BEARBEITEN: Community-Mitglied Supercat hat in Kommentaren einen hervorragenden Punkt gemacht, und ich fühlte mich gezwungen, ihn in diese Antwort aufzunehmen. Um eine Note mit Stimme zu singen oder eine Note mit vielen Arten von Hörnern zu spielen – die Gesichts- und Stimmmuskeln steuern den Klang tatsächlich , während er erzeugt wird, und während des Erzeugungsprozesses müssen geringfügige Anpassungen vorgenommen werden, um die gewünschte Tonhöhe zu erreichen. So kann beispielsweise ein Sänger im Monitor hören, ob er etwas zu hoch oder zu tief ist, und sofort die erforderlichen Anpassungen an den Gesichts-/Stimmmuskeln vornehmen, um die Tonhöhe zu korrigieren. Eine weitere gute Erklärung für die geringere Latenztoleranz eines Sängers oder Hornisten.

Lassen Sie uns nun überlegen, warum Keyboarder eine so hohe Latenztoleranz haben. Die meisten Keyboards, einschließlich akustischer Klaviere, haben eine leichte Verzögerung zwischen dem Zeitpunkt, zu dem Sie eine Taste drücken, und dem Zeitpunkt, zu dem Sie einen Ton hören. Bei einem akustischen Klavier löst das Drücken der Taste eine mechanische Aktion aus, die schließlich dazu führt, dass ein Hammer im Inneren des Klaviers auf die Saiten schlägt. Aber es ist kein sofortiger „Schlag drauf und hör es“-Effekt. Synthesizer und Digital- und E-Pianos hatten schon immer ein gewisses Maß an Latenz. Daher mussten Keyboarder lernen, sich an die unvermeidliche Latenz von dem Moment an anzupassen, an dem sie zu spielen begannen. Für einen Keyboarder ist Latenz also normal und zu erwarten – daher gut verträglich. Das haben sie von Anfang an zu erwarten gelernt .

Bei einem Drummer ist es nämlich ein Hit und man hört es an. Wie erklären wir also die Latenztoleranz eines Schlagzeugers in der AES-Studie? Die Studie aus dem Jahr 2007 erwähnte die Verwendung elektronischer Schlagzeuge zum Testen der Latenztoleranz des Schlagzeugers nicht, daher muss ich davon ausgehen, dass die Schlagzeuger im Test ein akustisches Kit verwendeten.

Ein Schlagzeuger, der mit einem Drumstick auf eine akustische Trommel schlägt, braucht ehrlich gesagt keinen Monitor, um den Klang seiner Trommel zu hören. Ein Schlagzeuger benutzt einen Monitor NICHT, um sich selbst zu hören (einige Schlagzeuger tragen sogar Ohrstöpsel, weil sie ihr Schlagzeug ZU gut hören können) , sondern um die anderen Musiker zu hören (und die anderen Musiker drehen ihre Monitore auf, damit sie sich über den Schlagzeuger hinweg hören können). .

Eine logische Schlussfolgerung, die wir auf der Grundlage der Ergebnisse der AES-Studie ziehen können, ist also, dass Toleranz gegenüber Latenz **erlernt wird .** Das Gehirn lernt alle möglichen nützlichen Informationen, die uns bei Verstand halten. Wenn Sie zum Beispiel Ihre Augen öffnen, sehen Sie Ihre Nase, aber das Gehirn hat gelernt, dieses Bild zu ignorieren, weil Ihr Gehirn weiß, dass es nicht wichtig ist.

Das Gehirn hat gelernt, eine sofortige Rückmeldung zu erwarten, wenn wir die notwendigen Muskelkontraktionen ausüben, um Luft zu blasen – entweder durch ein Horn oder unsere Stimmbänder. Wenn wir lernen, ein Klavier oder ein anderes Tasteninstrument zu spielen, hat das Gehirn von Anfang an GELERNT, sich an die eingebaute Latenz der Tastatur anzupassen.

Meine Erwartung wäre also, dass wir bei den meisten virtuellen Instrumenten leicht lernen können, Latenzen zu tolerieren, weil wir nicht vorkonditioniert wurden, etwas anderes zu erwarten . Wenn wir nie lernen, eine sofortige Reaktion von virtuellen Instrumenten zu erwarten, sollte Latenz nicht das gleiche Problem darstellen wie für einen Sänger, Saxophonisten oder Gitarristen.

Ich würde auch erwarten, dass bei iOS-Drums, die auf einem Touchscreen gespielt werden, die Latenz sehr wohl zu Timing-Problemen führen kann. Wenn Sie auf den Bildschirm tippen und keine sofortige Reaktion auf die Trommel hören, kann das Spielen im Takt sehr schwierig werden. Genau das Gegenteil von dem, was Live-Drummer auf echten Akustik-Kits im Latenztoleranztest erlebt haben.

In Wirklichkeit gibt es für einen Schlagzeuger keine Latenztoleranz . Es ist unmöglich, Latenz für einen Schlagzeuger auf einem Live-Akustik-Kit zu erzeugen oder zu simulieren. Aber auf einer iOS-Trommel könnten Sie Latenz einführen – und ich würde vermuten, dass dies der einzige Fall wäre – wo einige Millisekunden Latenz eine Rolle spielen würden.

Das Aufnehmen und Überwachen von Gesang ist nicht im Umfang dieser Antwort enthalten, da Sie in der Frage weder Gesang noch Aufnahme (nur Spielen und Üben von Instrumenten) erwähnt haben. Das ist also eine ganz andere Diskussion.

TL;DR - Die unterm Strich Antwort auf Ihre Fragen:

1. Frage: "In welchen Situationen kommt es wirklich auf wenige Millisekunden Latenz an?" Antwort: Beim Spielen von iOS- oder MIDI-Drums auf einem Silent-Pad oder Touchscreen, wenn Sie mit anderer Musik spielen, bei der das Timing wichtig ist.

2. Frage: „In welchen Situationen können sogar Dutzende von Millisekunden Latenz noch akzeptable (virtuelle oder MIDI-) musikalische (Instrument-)Übungen oder Darbietungen ermöglichen?“

Antwort: Beim Üben oder Aufführen auf einem iOS- oder MIDI- oder virtuellen Instrument außer Schlagzeug.

Die Auswirkungen der Latenz sind eine gleitende Skala, die sich durch Folgendes erstreckt:

• Null
• undenkbar
• wahrnehmbar als "Gefühl" (wie ein Schlagzeuger, der leicht zieht)
• wahrnehmbar als "etwas falsch"
• wahrnehmbar als "etwas völlig falsch"; das Spielen völlig unmöglich machen

Der Effekt hängt auch von der Art des Sounds ab, den Sie erzeugen. Wenn Sie etwas mit einem sanften Attack spielen, wie Synthesizer-Washes, spielt das genaue Timing keine Rolle. Wenn Sie etwas Rhythmisches und Staccato wie Schlagzeug oder einen Rhythmusgitarrenpart spielen, dann ist das Timing entscheidend.

Sogar ein Lead-Gitarren-Part kann ziemlich tolerant gegenüber Timing-Verschiebungen sein, im Vergleich zu den Rhythmus-Parts, die straff sein müssen.

Die von Ihnen erwähnte Verzögerung von 50 ms liegt in der Nähe des "Gefühls" oder "etwas falsch" und würde die Musik nicht vollständig ruinieren oder das Spielen erschweren.

Allerdings kommt es zu Latenzen. 50 ms vom Touchscreen bis zur Tonerzeugung könnten in Ordnung sein. 50 ms für den Tonweg vom Lautsprecher zum Ohr könnten in Ordnung sein. Wenn Sie sie zusammenzählen, haben Sie 100 ms, was nicht in Ordnung ist.

Eine Latenz von 5 ms in einem Effektpedal mag unbedeutend erscheinen – aber einige Gitarristen verketten gerne 10 oder mehr Effekte, sodass jede Millisekunde zählt.

Es gibt alle möglichen Situationen, in denen sich Latenz ansammelt – zum Beispiel beim Overdubbing mehrerer Tracks, und Sie (und/oder Software-Autoren) müssen dies beim Engineering berücksichtigen.

Als die (ISA)Turtle Beach Pinnacle mit 750 ms Audiolatenz der König der PC-Soundkarten war, gelang es uns irgendwie, perfekt synchronisierte Mehrspuraufnahmen zu machen, indem wir direktes Monitoring des Eingangs arrangierten und die bereits aufgezeichneten Spuren vorab holten .

Wenn Sie jedoch einen Software-Sampler in Echtzeit von einem MIDI-Keyboard aus spielen oder eine (vom Computer) verarbeitete Version Ihres Audioeingangs hören möchten, müssen Sie sich um eine niedrige Latenz bemühen.

Alles im Bereich von 10 ms oder weniger wird im Allgemeinen als akzeptabel angesehen. Niedrige einstellige Werte werden ganz einfach erreicht. Wer sich mit 50ms zufrieden gibt, ist entweder sehr anspruchslos oder lässt sich von der iPad-Anbetung täuschen :-)

Wenn für „Zero-Latency-Monitoring“ geworben wird, ist das irreführend. Null ist unerreichbar. Sie sprechen davon, ein Eingangssignal direkt wieder herauszuschleifen, ohne das Audioverarbeitungssystem des Computers zu durchlaufen. Es ist keine Null-Latenz, es wird lediglich Latenz vollständig vermieden. (Wie wir es im ersten Absatz dieser Antwort getan haben.)

Ein Beispiel dafür, wann die Audiolatenz kaum eine Rolle spielt:

Du nimmst cleane Vocals in deinen PC, dein Audio-Interface, auf und singst zu den Tracks, die du bereits aufgenommen hast. Sowohl auf dem Weg in den PC als auch auf dem Weg nach draußen wird es einen Latenzeffekt geben. Der Computer weiß jedoch, wie groß der Audiopuffer auf dem Weg nach draußen ist, und spielt „früh“, um dies auszugleichen; Ebenso weiß die DAW, dass das, was Sie gespielt haben, zeitlich etwas früher gespielt wurde, und zieht es zeitlich um die Pufferlänge nach vorne. Obwohl es in diesem System also zwei Latenzstufen gibt, wird fast alles behandelt; man merkt es kaum (wenn alles funktioniert natürlich)

Ich sage „fast“ erledigt, weil es einige Verzögerungen im System gibt, die nicht so einfach zu quantifizieren sind. Aber in der Praxis scheint es sehr nahe zu kommen.