Wahrscheinlichkeit, dass Random Walk auf Schritt nnn zum ersten Mal den Zustand kkk erreicht

Wir haben einen Random Walk, der im Zustand beginnt 0 . Bei jedem Schritt wird eine Münze mit Wahrscheinlichkeit für Kopf geworfen: P ( H ) = P . Bei Kopf gehen wir in den nächsthöheren Integer-Zustand und bei Zahl in den nächstniedrigeren Integer-Zustand (also state N würde gehen N + 1 auf Köpfe u N 1 am Schwanz).

Jetzt möchte ich wissen, wie wahrscheinlich es ist, dass wir den Zustand erreichen k zum ersten Mal nach genau N Würfe der Münze. Fällt mir überraschend schwer.


Hier mein Versuch:

Ich definiere A N k wie die oben beschriebene Wahrscheinlichkeit und C N k als die Wahrscheinlichkeit, dass der Random Walk im Zustand sein wird k beim Wurf N (unabhängig davon, ob es in einem früheren Wurf vorhanden war).

Es ist klar, dass wir brauchen ( N k 2 ) Schwänze und ( N + k 2 ) Köpfe. Also wenn N k Nicht einmal die Sequenzen für die N ist geworden 0 .

Zu bekommen A N k , müssen wir alle Sequenzen identifizieren, bei denen die kumulative Anzahl von Köpfen kleiner bleibt als k + die kumulative Zahl der Schwänze für alle Würfe bis zu N . Das ist nicht so einfach zu lösen.

Andererseits bekam ich einen Ausdruck für C N k und hoffte, ich könnte es benutzen, um es zu bekommen A N k . Ich argumentierte, dass die Wahrscheinlichkeit, die der Spaziergang erreicht k zum ersten Mal auf Wurf N ist die Wahrscheinlichkeit, dass es sich im Zustand befindet k auf Wurf N subtrahiert von den Wahrscheinlichkeiten, dass es im Zustand war k in jedem vorherigen Wurf. So,

A N k = C N k ich = 1 N 1 C ich k

Das kann aber nicht stimmen, da dieser Ausdruck für viele Werte von negativ wird N .

Ich arbeite immer noch an der Lösung der Frage, aber ich weiß, warum die Argumentation am Ende falsch ist; die Wahrscheinlichkeiten sind nicht unabhängig, also kann man sie nicht einfach voneinander subtrahieren.
Bin dankbar. Ja, das hatte ich schon vermutet. Das ist fast immer der Grund, wenn Sie Wahrscheinlichkeiten addieren / subtrahieren und etwas nicht zwischen 0 und 1 erhalten. Ich dachte, ich würde es trotzdem erwähnen, falls es jemanden dazu inspiriert, einen korrekten Ansatz basierend auf der Idee zu formulieren.
Wenn Sie die Zeit umkehren und die y-Achse umdrehen, zählen Sie Pfade, die k nach n Schritten erreichen, ohne jemals zu 0 zurückzukehren. Dies ist Bertrands Stimmzettelproblem.
Folgen Sie nicht vollständig. Wenn ich die Zeit umkehre, fange ich bei an k , richtig? Wird es also nicht zu Pfaden, die 0 erreichen?
@RohitPandey Entschuldigung, als ich sagte "Flip the y-axis", meinte ich, dass Sie sich austauschen 0 mit k .

Antworten (4)

Nach einigen Nachforschungen scheint es so zu sein, dass es solche gibt

F ( k , ) = k + 1 k + 1 + ( k + 2 )
Wege zum Staat k 0 In k + 2 Schritte, die niemals passieren k Zustand. Dies entspricht der Anzahl der Möglichkeiten, in den Zustand zu wechseln k + 1 zum ersten mal danach k + 1 + 2 Schritte. Durch Substitution und einfache Wahrscheinlichkeit erhalten wir a
k k + ( k 1 + 2 ) P k + Q
Wahrscheinlichkeit, den Zustand zu erreichen k zum ersten mal danach k + 2 Schritte.

Wir können unsere Formel für beweisen F durch Induktion. Für = 0 Die Antwort ist offensichtlich 1 , was mit der gegebenen Formel übereinstimmt. Für k = 1 Die Antwort ist offensichtlich 0 , was auch mit der gegebenen Formel übereinstimmt. Für > 0 Und k 0 Wir haben zwei Optionen für den ersten Zug: rechts oder links. Wenn wir nach links gehen, gibt es F ( k + 1 , 1 ) Optionen, und wenn wir richtig gehen, gibt es F ( k 1 , ) Optionen. Insgesamt haben wir also

F ( k + 1 , 1 ) + F ( k 1 , ) = k + 2 k + 2 + 1 ( k + 1 + 2 ( 1 ) 1 ) + k k + ( k 1 + 2 ) = ( k + 2 ) ( k + 2 1 ) ! ( k + + 1 ) ( 1 ) ! ( k + ) ! + k ( k + 2 1 ) ! ( k + ) ! ( k + 1 ) ! = ( k + 2 ) ( k + 2 1 ) ! ( 1 ) ! ( k + + 1 ) ! + k ( k + 2 1 ) ! ! ( k + ) ! = ( k + 2 ) ( k + 2 1 ) ! ! ( k + + 1 ) ! + ( k + + 1 ) k ( k + 2 1 ) ! ! ( k + + 1 ) ! = ( ( k + 2 ) + ( k + + 1 ) k ) ( k + 2 1 ) ! ! ( k + + 1 ) ! = ( 2 k + 2 + k 2 + k ) ( k + 2 1 ) ! ! ( k + + 1 ) ! = ( 2 + k ) ( k + 1 ) ( k + 2 1 ) ! ! ( k + + 1 ) ! = ( k + 1 ) ( k + 2 ) ! ! ( k + + 1 ) ! = F ( k , )
Optionen. Nach Induktionsprinzip beweist dies die Richtigkeit der Formel für F .

Nun zugegeben, das löst zwar das Problem, ist aber keine schöne Lösung. Ich habe die Formel durch einfaches Experimentieren für eine halbe Stunde gefunden, und der Beweis ist sehr algebraisch und nicht sehr schön anzusehen. Wenn jemand einen kombinatorischen Beweis hat, wäre das viel besser! Ich werde jetzt auf jeden Fall darüber nachdenken.

Ich verstehe, danke. Können Sie kurz erklären, wie Sie durch Experimentieren auf diese Formel gekommen sind? Was war Ihr Ansatz, um es zuerst zu entdecken?
Ich habe eine feste genommen und ich erwartete, dass die Formel ein Gradpolynom sein würde 1 , also einfach finden Terme bestimmt das Polynom. Die ersten paar Polynome waren 1 ; k + 1 ; ( k + 1 ) ( k + 4 ) / 2 ; ( k + 1 ) ( k + 5 ) ( k + 6 ) / 6 ; ( k + 1 ) ( k + 6 ) ( k + 7 ) ( k + 8 ) / 24 . An diesem Punkt fand ich das Muster und ich bekam die Formel.
Tut mir leid, eine letzte Sache, die ich nicht verstanden habe - warum hast du nicht einfach die Wahrscheinlichkeit genannt F ( k , l ) P k + l Q l ? Stattdessen hast du es so geschrieben F ( k 1 , l ) P k + l Q l .
Um in den Staat zu gehen k zum ersten mal danach k + 2 Schritte bedeutet, zum Zustand zu gehen k 1 nach k 1 + 2 Schritte, ohne über den Zustand hinauszugehen k 1 und dann nach rechts gehen.
Ahh, ohne darüber hinauszugehen, dass sie der Schlüssel sind. Verstanden, danke nochmal! Beeindruckende Lösung.
Siehe unten Antwort von mir für eine kombinatorische Erklärung der Formel von @SmileyCraft.

Eine erzeugende Funktion

Lassen Sie die Anzahl der Möglichkeiten, um zur Position zu gelangen S zum ersten Mal auf Schritt N Sei A S , N . Die Anzahl einseitiger Längenschritte 2 k Ist 1 k + 1 ( 2 k k ) , mit erzeugender Funktion 1 1 4 X 2 X . Um erstmal in Position zu kommen S auf Schritt N , können wir die Anzahl der Wege zählen, um zuerst an die Position zu gelangen S 1 In N 2 k 1 Schritte multipliziert mit der Anzahl einseitiger Längenschritte 2 k und Summe für alle k . Das ist,

(1) A S , N = k = 0 1 k + 1 ( 2 k k ) A S 1 , N 2 k 1
Wenn wir die erzeugende Funktion einstellen
(2) F S ( X ) = N = 0 A S , N X N
dann mit 1 1 4 X 2 2 X = k = 0 1 k + 1 ( 2 k k ) X 2 k + 1 , die Cauchy-Produktformel und ( 1 ) implizieren
(3) F S ( X ) = F S 1 ( X ) ( 1 1 4 X 2 2 X )
und da F 0 ( X ) = 1 , Induktion ergibt
(4) F S ( X ) = ( 1 1 4 X 2 2 X ) S
Wenn also die Wahrscheinlichkeit eines ' + 1 ' Schritt ist P und von einem ' 1 ' Schritt ist 1 P , dann die Wahrscheinlichkeit von N + S 2 ' + 1 'Schritte und N S 2 ' 1 'Schritte ist A S , N P N + S 2 ( 1 P ) N S 2 = ( P 1 P ) S / 2 A S , N ( P ( 1 P ) ) N / 2 . Summieren vorbei N gibt die Wahrscheinlichkeit an, die Position zu erreichen S überhaupt zu sein
( P 1 P ) S / 2 F S ( P ( 1 P ) ) = ( 1 | 1 2 P | 2 ( 1 P ) ) S (5) = { ( P 1 P ) S Wenn  P < 1 2 1 Wenn  P 1 2


Eine geschlossene Form

Um eine geschlossene Form abzuleiten für A S , N , betrachten wir zunächst die Reihe

(6) N = 0 B S , N X N = ( 1 1 4 X 2 X ) S
wo, vergleichen ( 4 ) Und ( 6 ) , wir bekommen
(7) A S , S + 2 N = B S , N A S , S + 2 N + 1 = 0
Mit der Tatsache, dass
(8) ( 1 1 4 X 2 X ) 2 = 1 X 1 1 4 X 2 X 1 X
wir bekommen die Relation
(9) B S , N = B S 1 , N + 1 B S 2 , N + 1
Wir wissen das
(10) B 0 , N = [ N = 0 ] B 1 , N = 1 N + 1 ( 2 N N ) = ( 2 N N ) ( 2 N N 1 )
was das impliziert
(11) B 2 , N = 1 N + 2 ( 2 N + 2 N + 1 ) = ( 2 N + 1 N ) ( 2 N + 1 N 1 ) (12) B 3 , N = 1 N + 3 ( 2 N + 4 N + 2 ) 1 N + 2 ( 2 N + 2 N + 1 ) = ( 2 N + 2 N ) ( 2 N + 2 N 1 )
Ein Muster erscheint; das ist,
B S , N = ( 2 N + S 1 N ) ( 2 N + S 1 N 1 ) (13) = S 2 N + S ( 2 N + S N )
was befriedigt ( 9 ) mit der Formel von Pascal . Daher Bewerbung ( 7 ) Erträge
(14) A S , N = { S N ( N ( N S ) / 2 ) = ( N 1 ( N S ) / 2 ) ( N 1 ( N S 2 ) / 2 ) Wenn  2 N S 0 Wenn  2 N S

In Gleichung (2) sollte der Index eingeschaltet sein N anstatt k ?
Sehr schöner Beweis. Um einen tatsächlichen Ausdruck für zu erhalten A S , N , können wir hier (5.70) verwenden (in Verbindung mit Gleichung (4)): math.stackexchange.com/questions/3064256/… . Diese Identität ist nicht ganz einfach zu beweisen, aber sie bringt einen dorthin.
@RohitPandey: In der Tat. Ich arbeite an mehr für die Antwort. Sobald ich das poste, ist die Korrektur da.
@RohitPandey: Ich habe auch eine Ableitung der geschlossenen Form hinzugefügt.
Vielen Dank, durchlesen. In der Zwischenzeit schreibe ich eine Arbeit darüber, wie Rassen von wohlhabenden Spielern zur Schätzung verwendet werden können π . Ich denke, dies bietet eine Methode, die konvergiert π ziemlich schnell und hat auch eine schöne Interpretation. Ich werde mit dem ersten Entwurf sehr bald fertig sein. Ich würde Sie gerne als Co-Autor haben, da Ihre Antworten bei der Arbeit sehr geholfen haben. Lass mich wissen, ob es dir gut geht. Wenn nicht, ist es in Ordnung, Ihre Antworten darin zu zitieren?
Ich habe kein Problem damit, meine Antwort zu zitieren. Ich möchte lieber kein Co-Autor einer Arbeit sein, die ich noch nicht einmal gesehen habe :-)
@RohitPandey: Ich denke, was Sie in Ihrer Bearbeitung hinzugefügt haben, ist dasselbe wie die vorherige Begründung ( 1 ) .
Fair genug, die Bearbeitung entfernt. Kann ich eine Beschreibung für "einseitige Pfade" hinzufügen und auch die Schritte konkretisieren, die zu Gleichung (3) führen? Diese beiden sind nicht offensichtlich und machen das Lesen der Antwort etwas schwieriger (und ich lese sie oft noch einmal).
Ich werde es mir ansehen. Es wäre besser, in einem Kommentar zu erwähnen, was nicht klar ist, und dann kann ich die Antwort bearbeiten. Dies sind substanziellere Änderungen, die der Autor vornehmen sollte.
@RohitPandey: Ich habe eine kleine Erklärung für hinzugefügt ( 3 ) . Wenn Sie der Meinung sind, dass noch etwas erklärt werden muss, lassen Sie es mich wissen.
Danke. Ich denke, das ist gut.

Diese Antwort ist eine Erweiterung der Antwort von @SmileyCraft. Wie er in seiner Antwort sagt, wäre es schön, einen kombinatorischen Beweis zu haben. Ich habe vielleicht einen gefunden. Das Problem scheint im Geiste dem zu ähneln, bei dem Sie ein quadratisches Gitter haben, in der unteren linken Ecke beginnen und zur oberen rechten Ecke gelangen müssen, um die Anzahl der Pfade zu finden, bei denen Sie die Hauptdiagonale des Gitters nicht überqueren (OK, um es zu berühren). In diesem Fall ist die Anzahl solcher Pfade die katalanische Nummer.

C N = ( 2 N N ) N + 1 = ( 2 N N ) ( 2 N N 1 )

In Anlehnung daran kann die obige Formel von @SmileyCraft auch wie folgt geschrieben werden:

(1) F ( k , l ) = k + 1 k + 1 + l ( k + 2 l l ) = ( k + 2 l l ) ( k + 2 l l 1 )

Nun, das Problem hier für den Random Walk nicht überqueren k kann in ein Netzproblem umgewandelt werden. Wir haben im Grunde (gemäß der Konvention von @SmileyCraft) l Schwänze und l + k Köpfe und müssen sie so anordnen, dass sie die nie überqueren k . Dies ist völlig gleichbedeutend mit der Aussage, dass wir nach rechts gehen, wenn wir ein Zahl bekommen, und nach oben, wenn wir ein Kopf auf einem Gitter haben, das hat l + k Reihen und l Säulen.

Eine andere Möglichkeit, dies zu sehen, besteht darin, auf der x-Achse die Wurfzahl und auf der y-Achse die Punktzahl des Random Walks darzustellen. Stellen Sie sich nun einen Weg vor, der von dort ausgeht ( 0 , 0 ) Zu ( k + 2 l , k ) . Drehen Sie jetzt einfach das ganze Bild um 45 Grad und Sie erhalten das Raster.

Also die Formel für F ( k , l ) Oben ist einfach die Anzahl der Wege, um in einem Raster von links unten nach rechts oben zu gehen l Reihen und l + k Spalten so, dass der Pfad niemals die Linie kreuzt j = X + k .

Aber wie zeigen wir, dass dies der obigen Gleichung (1) entspricht? Ich habe geschummelt und die gleiche Argumentation wie die Antwort von @Marcus M hier verwendet . Es geht so:

Wir kennen die Gesamtpfade in unserem Gitter ( k + 2 l l ) . Die guten Pfade sind diejenigen, die niemals die Linie überqueren j = X + k . Dann,

# gute Pfade = # Pfade - # schlechte Pfade

Jetzt kreuzt jeder schlechte Pfad die Linie j = X + k . Also muss es die Linie berühren j = X + k + 1 (die Diagonale direkt darüber).

Teilen Sie einen solchen Pfad in zwei Teile. Der Teil vom Ursprung bis zur Berührung des j = X + k + 1 Linie und den Teil danach. Der erste Anteil kann darüber reflektiert werden j = X + k + 1 . Und dies führt zu einer Bijektion zu einem Weg von ( ( k + 1 ) , ( k + 1 ) ) Zu ( l , k + l ) . Die schlechten Pfade können also Pfaden von unten links nach oben rechts eines anderen Gitters zugeordnet werden, dessen Höhe ist ( k + l ) ( k + 1 ) = l 1 . Aber wir haben die Gesamtpfadlänge nicht geändert, also bleibt die Gesamtlänge der schlechten Pfade bestehen k + 2 l . Daher ist die Anzahl der schlechten Pfade ( k + 2 l l 1 ) .

Wenn wir all dies zusammenfassen, erhalten wir obige Gleichung (1). Das Bild unten zeigt dies z k = 3 Und T = 2 .

Geben Sie hier die Bildbeschreibung ein

Ich glaube, Sie verwechseln irgendwo Ihre Linken und Rechte, aber ich bekomme den Beweis und es ist sehr befriedigend :)
Ja, ich habe links und rechts an einer Stelle verwechselt. Das wurde behoben - danke!

Ich denke, ich kann dieses Problem auf eine weniger kombinatorische Weise lösen.

Zum leichteren Verständnis gebe ich nur eine Beweisskizze.

Einige Abkürzungen:

  • SRW = Einfacher Random Walk
  • [L/R]HS = [linke/rechte] Seite
  • iid = unabhängig und identisch verteilt
  • # = Zahl

Zuerst muss ich das Reflexionsprinzip für SRW vorstellen .

Betrachten Sie SRW: S N = X 1 + + X N Und S 0 = 0 . { X ich } ich = 1 N sind iid Zufallsvariablen.

Bezeichnen M N ist die weiteste Position, die wir erreichen können N Schritte (formeller, M N = max ich [ 0 , N ] S ich ). Dann

(Reflexionsprinzip) # ( M N X , S N = j ) = # ( S N = 2 X j ) , Wenn     X j

Das ist intuitiv:

  1. X vor oder um besucht wird N (existiert T N , so dass S T = X );
  2. Für jeden Pfad in LHS können Sie alle Verhalten danach "reflektieren" oder "spiegeln". T um einen Pfad in RHS zu erhalten und umgekehrt.

Dann können wir dieses Problem ganz einfach lösen.

Da geht es nur wann N Und k haben die gleiche Kuriosität, und N k , können wir bezeichnen N = k + 2 l .

# ( erster Besuch  k  bei  N Schritt ) = # ( M N 1 k 1 , S N 1 = k 1 ) = # ( S N 1 = k 1 ) # ( M N 1 k , S N 1 = k 1 ) = # ( S N 1 = k 1 ) # ( S N 1 = k + 1 ) = ( N 1 k + l 1 ) ( N 1 k + l )


Wir können 2 einfache Fälle verwenden, um dieses Ergebnis zu testen:

  1. # = 1 Wenn N = k oder l = 0 :
    ( k 1 k 1 ) ( k 1 k ) = 1 0 = 1
  2. # = k Wenn N = k + 2 oder l = 1 :
    ( k + 1 k ) ( k + 1 k + 1 ) = ( k + 1 ) 1 = k