Hat Pokémon Go Hunderte von Todesfällen verursacht?

Dieser Artikel in The Register behauptet, dass Pokémon Go eine negative Nebenwirkung auf die Verkehrssicherheit haben könnte. Die Überschrift lautet:

Pokémon GO verursachte Hunderte von Todesfällen, vermehrte Abstürze

Und der Artikel fasst die Forschung zusammen:

… verursachte das Spiel „eine unverhältnismäßige Zunahme von Fahrzeugunfällen und damit verbundenen Fahrzeugschäden, Personenschäden und Todesfällen in der Nähe von Orten, sogenannten PokéStops, an denen Benutzer das Spiel während der Fahrt spielen können.“

Die Ergebnisse scheinen auf Beobachtungen in einem begrenzten Gebiet zu beruhen, das auf die USA extrapoliert wurde.

Sind die behaupteten Ergebnisse und ihre Hochrechnung glaubwürdig?

Nun, Sie haben das Forschungspapier, das die Behauptung aufstellt, direkt aus dem Artikel verlinkt. Haben Sie versucht, es zu lesen und Ihre eigene Peer-Review darüber zu machen? Soweit ich das beurteilen kann, haben sie ziemlich wild extrapoliert. Sie betrachteten einen Landkreis ("Tippecanoe County") und extrapolierten von dort auf den Rest der Nation. Klingt für mich nicht sehr solide.
@MichaelKarnerfors Ich kann in ein oder zwei Tagen meine eigene Rezension des Papiers schreiben. In der Zwischenzeit können Sie die Frage gerne auf der Grundlage Ihrer Analyse des Originalpapiers beantworten.
Ich habe. Siehe oben. Eine weitreichende Extrapolation ist naturgemäß problematisch, es sei denn, Sie können Störfaktoren eliminieren. Nehmen Sie also in diesem Sinne nur einen Landkreis mit 172.000 Einwohnern und verwenden Sie diesen als Modell für das ganze Land mit mehr als 2.000-mal so vielen Einwohnern – was bedeutet, dass Tippecanoe County, Indiana, hinreichend analog zu Orten wie Los Angeles ist, und New York am einen Ende des Spektrums und Edwards County, Kansas, Pop. 3037 (ja, es gibt Ingress Portals / Pokestops in Edwards County), andererseits – klingt für mich von Natur aus problematisch.
Denken Sie daran, dass nur ein Unterschied bei den Todesfällen in Tippecanoe County zu einer sehr unterschiedlichen Bewertung für das Land als Ganzes führen würde. Ich würde also sagen, dass diese Hochrechnung nicht ausreicht, um zu sagen „Pokemon GO hat Hunderte von Todesfällen verursacht“. Sie müssten diese Aussage relativieren, indem Sie das vollständige Bild geben und sagen: "Ok, wenn wir das Ergebnis von einem Landkreis auf den gesamten Staatenbund extrapolieren würden ... dann würden wir ein solches Ergebnis erhalten." Aber es ist eine fiktive Zahl, die nicht aus der tatsächlichen Beobachtung des Landes als Ganzes stammt.
Ich weiß nichts über die Zahl der Todesopfer, aber offensichtlich gibt es eine versteckte staatliche Subvention für Pokemon Go.
Aber das ist wohl okay, denn es sollte noch mehr subventioniert werden .
Was ist mit der Veröffentlichung von „Ist diese Arbeit wahr“, wenn die Arbeit noch nicht einmal einem Peer-Review unterzogen wurde? Peer-Reviews sind die beste Antwort auf solche Dinge, aber es scheint, als ob diese Papiere an dem Tag bemerkt werden, an dem sie auf die Websites kommen. Das ist eine gefährliche Sache in der Wissenschaft, denn es bedeutet, dass es wie eine Nachricht gespielt wird: Je sensationeller das Thema, desto mehr hinterlässt es eine Spur im Kopf des Lesers, egal ob es sich um eine starke Zeitung oder einen Müll handelt.
@EdwinBuck Das Problem sind nicht Skeptiker. SE, die die Frage stellen, es sind Zeitungen, die unbestätigte Wissenschaft in ihre Schlagzeilen setzen. Diese Behauptungen wurden weit verbreitet. Ein Teil der Rolle dieser Website besteht darin, diese Schlagzeilen nachdenklich in Frage zu stellen.
@matt_black Danke für die Erklärung. Ich dachte nicht, dass Skeptics.SE dies vorantreibt, aber ich habe mich gefragt, warum ich so viele von ihnen hier gesehen habe. Es scheint, dass das Abkratzen von ungeprüften Papieren für saftige Leckerbissen jetzt das ist, was als „Wissenschaftsberichterstattung“ durchgeht. (seufz) ein weiterer kleiner Tod für Qualitätsjournalismus.

Antworten (2)

Dies ist die fragliche Forschungsarbeit .

Die Forschungsarbeit wurde gerade erst am 18. November 2017 veröffentlicht. Normalerweise dauert es einige Zeit für eine ordnungsgemäße Begutachtung durch Fachkollegen, und bei einer ordnungsgemäßen Begutachtung durch Fachkollegen ist der nächste Schritt für bemerkenswerte Forschungsarbeiten im Allgemeinen die Veröffentlichung.

Im Vergleich zu vielen anderen auffälligen Behauptungen hat diese die Form einer authentischen Behauptung.

  • Die Autoren sind mit einer renommierten Universität (Perdue) verbunden
  • Die abgedeckten Daten sind spezifisch und detailliert (Unfallberichte aus Tippecanoe County, Indiana)
  • Das Papier behauptet, dass ein kleiner Anstieg der Unfälle (25%) mit der Lokalität von Pokemon-Stopps korreliert.
  • Das Papier enthält eine respektable Anzahl von Referenzen.

Das Papier enthält jedoch auch eine Reihe von Hinweisen darauf, dass es sich möglicherweise nicht um eine bahnbrechende oder sogar völlig aussagekräftige Erkenntnis handelt

  • Die Unfälle werden nach Kosten gewichtet, was das Verständnis der Inzidenz verwirrt
  • Die Kosten sind gering, wobei das Delta knapp 500.000 USD wiegt, wobei es kaum Hinweise darauf gibt, ob dies eine statisch signifikante Zahl ist.
  • 85 % ihrer Basisdaten wurden verwendet (weil sie einer Kreuzung zugeordnet werden konnten), der Rest der Daten wurde verworfen. Es wurde kein Kommentar zum Schutz vor Rosinenpicken von Daten abgegeben, die das Ergebnis beeinflussen könnten.
  • Sie treffen Annahmen über Verkehrsmuster während der Schulferien und ändern ihre Analyse gemäß ihren Annahmen, die möglicherweise falsch sind. Sie hätten wahrscheinlich einfach weggeworfen werden sollen
  • Ihre Abschnitte mit alternativen Interpretationen sind Opfer von „Fragestellungen“. Dies setzt voraus, dass die Pokemon-Aktivität in den alternativen Interpretationen vorhanden war, was bedeutet, dass Alternativen nicht wirklich untersucht wurden.
  • Ihre Stichprobengröße ist peinlich gering. Beispielsweise führen sie eine Unteranalyse zu Fußgängerunfällen durch und beschreiben die 36 festgestellten Fußgängerunfälle, von denen 4 während ihres natürlichen Testzeitraums „mit Pokemon“ auftraten. Ein Fehler einer einzelnen Person (durchaus möglich bei einer Poisson-Verteilung) ist ein Fehler von 20 % bis 25 %, was zu eng mit ihrer Behauptung von 25 % übereinstimmt.
  • Ihre Daten, die natürlich Poisson-verteilt sind, werden mit Werkzeugen der Gaußschen Statistik ausgewertet.
  • Sie machen spekulative Projektionen, ohne Hinweis auf die Logik hinter den Projektionen.

Ich bin anständig darin, Forschungsarbeiten zu lesen, und der wirkliche Beweis wird erst kommen, wenn er ordnungsgemäß von Experten begutachtet wurde. aber, wirklich, es wird nicht einmal dann kommen. Viele Artikel, die einem Peer-Review unterzogen werden, hätten niemals bestanden werden dürfen, und manchmal wird sogar Schrott veröffentlicht.

Für mich scheint dies eine interessante Beobachtung zu sein, aber eine, die die Tendenz der Selbstvoreingenommenheit nicht überlebt. Es mag stimmen, aber das Papier scheint es nicht zu beweisen. Zum Beweis würde ich bevorzugen:

  • Ein Papier, das Unfälle bei Pokemon detailliert beschreibt, endet mit der Modellierung einer Poisson-Verteilung der Muster des Unfallgeschehens für diese Kreuzung. Dies ist nicht trivial, da die Anzahl der Vorfälle so gering ist, dass der Fehler des Modells ziemlich hoch wäre.
  • Ein Papier, das die beiden Unfallverteilungen (vor der Veröffentlichung des Spiels und nach der Veröffentlichung des Spiels) an diesen Kreuzungen für Poisson-Verteilungen statistisch signifikant veränderte.

Wenn sie behaupten, dass die Zahl der Unfälle zugenommen hat, dann wäre dies ein stichhaltiges Argument dafür, dass die Zeit bis zum nächsten Unfall über die Zeiträume, die sie vergleichen wollten, abnahm.

Ich glaube, sie haben einen Unterschied gefunden, aber ohne die Domäne des Stichprobenraums angemessen zu berücksichtigen, da so wenige Datenpunkte abgedeckt sind und mit der großen Anzahl von Vorbehalten und strukturierten Überlegungen zu einzubeziehenden und auszuschließenden Daten bin ich es nicht sicher, dass ihre Unterschiede der Kontrollvariablen zugeschrieben werden können (was ein natürliches Experiment ist, das Binden an eine Kontrollvariable ist der schwierige Teil).

Das Papier wird wahrscheinlich von Laien zitiert und von der wissenschaftlichen Gemeinschaft als "möglicherweise wahr, aber wir können es nicht sagen" abgelehnt.

Ich denke, dass die Science- Annahme dazu insofern bemerkenswert ist, als sie die Extrapolation nicht erwähnt, sondern nur

Die spielbedingten Unfälle, die in den ersten 5 Monaten nach der Veröffentlichung des Spiels in der Nähe von Pokéstops um 26,5 % zunahmen, kosteten den Landkreis bis zu 25,5 Millionen US-Dollar an Schäden, einschließlich des Verlusts von zwei Menschenleben.

Und New Scientist bat um die Meinung eines anderen Wissenschaftlers, der sagte:

„Die statistischen Analysen, die sie durchgeführt haben, scheinen solide, korrekt angewendet und tatsächlich statistisch signifikant zu sein“, sagt Brandon Schoettle von der University of Michigan.

Er ist jedoch skeptisch, wie anwendbar die Ergebnisse auf eine breitere Geographie oder Bevölkerung sind. „Ich glaube, dass diese Ergebnisse für Tippecanoe County, Indiana, genau und wahrscheinlich zuverlässig sind. Aber ich bin mir nicht so sicher, ob dieser Bezirk sehr repräsentativ für den Rest des Landes ist“, sagt er. Zum Beispiel ist der Landkreis größtenteils ländlich mit einem großen städtischen Gebiet und einer großen Universität, die viele junge, unerfahrene Fahrer hat. „Die Behauptung, größere finanzielle Auswirkungen für das Land abschätzen zu können, wird durch die analysierten Daten nicht unbedingt gestützt“, sagt Schoettle.

Das einzige, was (fast) sicher ist, ist, dass die Menge an Presseberichten, die dieses Papier erhalten hat, zu mehr Papieren zu diesem Thema führen wird. Nebenbei bemerkt, vor der Veröffentlichung dieser Studie argumentierte ein Wirtschaftswissenschaftler in diesem Blog , dass Pokemon Go subventioniert werden sollte, weil es positive externe Effekte bei der Bekämpfung von Kriminalität und Fettleibigkeit hat. Ich schätze, jetzt müssen sie über das Gleichgewicht streiten/entscheiden. Abgesehen davon ist die Wirksamkeit von AVGs (aktive Videospiele) bei der Reduzierung von Fettleibigkeit bisher nicht sehr klar ... obwohl einige Ärzte argumentiert haben, dass Pokemon Go anders genug ist, um in dieser Hinsicht mehr Potenzial zu haben .

Um auf die hier fragliche Studie zurückzukommen, ist es gut, dass sie nicht auf weltweite Todesfälle hochgerechnet haben, denn in einem Kommentar zu zwei anderen US-Todesfällen von Pokemon Go finden wir das

Aus rechtlicher Sicht ist die Verwendung eines Mobiltelefons für jeden Zweck, einschließlich der Verwendung von Anwendungen, im Vereinigten Königreich und in den meisten westeuropäischen Ländern, einschließlich Frankreich, Deutschland, Spanien und Italien, illegal. In Tucson, Arizona, woher dieser Fallbericht stammt, gibt es eine Beschränkung für Textnachrichten während der Fahrt, aber keine spezifische Beschränkung für die Nutzung von Smartphone-Spielen. Daher ist es möglicherweise nicht illegal, eine App während der Fahrt zu verwenden, auch wenn sich gezeigt hat, dass sie die Konzentration beeinträchtigt.

… aber das ist weniger beruhigend, wenn man bedenkt, dass bei einigen Pokemon Go-Unfällen Fahrer ausweichen mussten, um Fußgängern auszuweichen, die das Spiel spielten .

Es stellt sich jedoch heraus, dass es einen kurzen Bericht (in einem JAMA-Journal) über landesweite US-Vorfälle gab, soweit Twitter und die Nachrichten repräsentativ sind:

Dreiunddreißig Prozent (95 % KI, 31 %–34 %) der Tweets gaben an, dass ein Fahrer, Beifahrer oder Fußgänger von Pokémon GO abgelenkt wurde, was darauf hindeutet, dass es insgesamt 113.993 (95 % KI, 107.084–117.447) Vorfälle gab in nur 10 Tagen auf Twitter gemeldet. Im Gegensatz dazu waren Sicherheitshinweise weniger häufig (13 %; 95 % KI, 12 %–16 %). Der Rest der Postings (54 %) war hypothetisch, unklar oder ohne Zusammenhang (Abbildung). Achtzehn Prozent (95 % KI, 17 %–19 %) der Tweets gaben an, dass eine Person spielte und fuhr („omg, ich fange Pokémon und fahre“), und 11 % (95 % KI, 10 %–11 %) gaben an, dass a Passagier spielte („Ich habe gerade meine Schwester dazu gebracht, mich herumzufahren, um Pokémon zu finden“). Vier Prozent (95 %, KI, 3 %–4 %) gaben an, dass ein Fußgänger abgelenkt war („wäre fast von einem Auto angefahren worden, als er Pokémon GO spielte“).

Dies war für den Zeitraum vom 10. bis 20. Juli 2016. Noch etwas nebenbei: Aus 110.000 Twitter-Vorfällen wurden 110.000 Verkehrsunfälle, als die Daily Mail über diese Studie berichtete.

Eine Extrapolation davon auf andere Zeiträume wäre natürlich problematisch und wurde von den Autoren nicht durchgeführt. Es scheint jedoch sicher anzunehmen, dass dieser Zeitraum während des Höhepunkts von Pokem GO lag. Wenn wir also diese Studie verwenden, um eine Obergrenze für die Anzahl der Pokemon-Abstürze in den USA zu extrapolieren, erhalten wir 1,4/Tag x 148 (die Anzahl der Tage von die Indiana-Studie) = 207 Abstürze.

Demgegenüber lautete die Hochrechnung auf Basis der Indiana-Studie: „Die Zunahme der Abstürze, die auf die Einführung von Pokémon GO zurückzuführen sind, beträgt 145.632 mit einer damit verbundenen Zunahme der Zahl der Verletzungen von 29.370 […] im Zeitraum vom 6. Juli 2016 , bis 30. November 2016" (bundesweit). Diese Extrapolation ist also zwei oder drei Größenordnungen höher als ich aus der JAMA-Studie extrapoliert habe, je nachdem, welche Klasse von Unfällen wir betrachten; vielleicht waren Kotflügel-Bieger ohne Körperverletzung völlig nicht berichtenswert. Die schwierige Frage in diesem Vergleich ist natürlich, wie gut von der Presse über Pokemon-Abstürze in diesem Zeitraum berichtet wurde. Wurden sie wirklich um den Faktor 100 unterbewertet? Zu einer Zeit, als Pokemon GO in den Nachrichten „heiß“ war?

Vielleicht könnten wir das Vereinigte Königreich für Informationen/Hochrechnungen verwenden, das anscheinend landesweit solche Pokemon-Vorfälle gezählt hat„Überfälle, Diebstähle, Überfälle und Verkehrsdelikte gehörten zu den 290 Vorfällen, die im Juli [2016] in ganz England und Wales registriert wurden.“ Da die US-Bevölkerung etwa fünfmal so groß ist, würde das 1.450 Vorfälle pro Monat ergeben … oder etwa 7.250 Vorfälle in ~150 Tagen, wiederum als Obergrenze (da das Spiel nach dem Start an Popularität verlor). Aber diese letztere Schätzung würde viel mehr als Autounfälle umfassen. (Und ich weiß, dass ich das für eine schnelle Berechnung um etwa 15 % unterschätzt habe, weil das Vereinigte Königreich mehr ist als England und Wales, also wäre ein korrekterer Bevölkerungsfaktor 5,76 gewesen, was eine Schätzung von 8.363 US-Vorfällen ergeben würde . Aber auf dieser Ebene der ungefähren Schätzungen spielt es keine allzu große Rolle.)