Pokerprogramm, das Ihnen die bekannteste Multistrategie in Limit Hold'em erklärt

Nach einem Artikel, den ich in der NY Times gelesen habe, habe ich gelernt, dass die besten Limit Hold'em Bots besser sind als die besten Menschen. Mein Verständnis ist, dass diese Bots für jeden Spielzustand, den sie erreichen, eine Reihe von Gewichten berechnen müssen, die sich zu eins summieren, für die Menge der verfügbaren Aktionen, eine Teilmenge von {Check, Call, Bet, Raise, Fold}. Meine Frage ist, gibt es ein anständig starkes Computerprogramm, gegen das ich Poker spielen und abfragen kann, welche Multistrategie es spielen würde, wenn es in meiner Haut wäre? Ich fühle mich durch den Artikel der NY Times ermutigt, der besagt, dass der Bot, über den sie schreiben, ein erfolgreicher Videopokerspieler ist, auch wenn er sich nicht an die Tendenzen seines Gegners anpasst.

Hier gibt es gute Informationen , aber sie richten sich an Leute, die ihre eigenen Bots schreiben und nicht von ihnen lernen möchten.

Siehe meine Antwort unten – die Bemühungen von Alberta sind Lichtjahre hinter der Tatsache zurück, dass es Maschinen in Casinos gibt, die Sie heute mit einer KI spielen können, die die meisten Menschen nicht schlagen können

Antworten (4)

Ich bin Mike Johanson, einer der Autoren des kürzlich erschienenen Artikels „HULHE ist gelöst“, und ich habe einen guten Teil des Codes für Cepheus geschrieben.

Der Link von kuzzooroo war der richtige. Unter dem Link, den er gab (hier nicht wiedergegeben - neues Konto, ich habe keinen Ruf zum Posten > 2 Links), können Sie jeden Teil der Strategie von Cepheus abfragen oder dagegen spielen - zumindest können Sie das einmal tun Verkehr aufhellt, mussten wir die Play-Cepheus-Seite vorerst deaktivieren. Aber der Abfragedienst läuft gut.

Wenn Sie das Science Paper lesen möchten, finden Sie auf meiner persönlichen Webseite einen Link dazu . Meine früheren Artikel dort werden auch mehr Details über den Algorithmus geben, auf dem es basiert, genannt CFR.

Wenn Sie den Quellcode wollen, ist dieser auch verfügbar - BSD-Lizenz. Verknüpfung

Was andere Programme und Gruppen und die Geschichte unserer Bemühungen angeht... Die Computer Poker Research Group der University of Alberta wurde 1994 gegründet, und wir konzentrieren uns seit 2001 stark auf Heads-Up Limit Hold'em erstellte die erste anständige spieltheoretische Strategie für das Spiel namens PsOpti (vlzvl erwähnte Sparbot - es ist die gleiche Strategie, umbenannt in Poker Academy). In den Jahren 2007 und 2008 trat unser Programm Polaris gegen menschliche Profis an, verlor 2007 knapp und gewann 2008 knapp, was das erste Mal war, dass ein Computer menschliche Poker-Profis in einem bedeutenden Match besiegte. Im Jahr 2011 haben wir den ersten handhabbaren Algorithmus für HULHE entwickelt, mit dem wir eine optimale Gegenstrategie berechnen können, um eine bestimmte Strategie zu besiegen, und messen können, wie viel diese Strategie gegenüber der Gegenstrategie verliert. So können wir messen, wie nah wir an einem unschlagbaren Spiel sind. Seitdem sind wir dem perfekten Spiel immer näher gekommen (dh einem Worst-Case-Verlust von 0) und haben unsere Fortschritte im Laufe der Jahre in offenen, öffentlich zugänglichen Forschungsberichten veröffentlicht.

In diesem Artikel kündigen wir nach 13 Jahren Fokus auf HULHE von unserer ersten anständigen spieltheoretischen Strategie bis zu dieser an, dass wir das Spiel endlich im Wesentlichen gelöst haben. Cepheus ist maximal schlagbar für unter 0,000986 Big Blinds pro Spiel oder unter 0,05 Big Bets / 100, wenn Sie diese Einheiten bevorzugen. Es würde mehr als 60 Millionen Hände brauchen, um die perfekte Gegenstrategie anzuwenden, um 95 % Vertrauen zu haben, gegen Cepheus zu gewinnen, weshalb wir sagen, dass es im Wesentlichen gelöst ist: Es würde mehr als ein Menschenleben dauern, um das statistisch zu erkennen Unterschied zwischen Cepheus und einer genau optimalen Strategie. Darauf gehen wir in der Zeitung viel detaillierter ein.

Was Jim Beams Aussage angeht, dass wir Anerkennung für etwas beanspruchen, das andere bereits getan haben, bin ich anderer Meinung. Wir sind seit 20 Jahren in diesem Bereich tätig, waren die ersten, die die früheren großen Meilensteine ​​​​in HULHE erreicht haben (erste nicht schreckliche Strategie, erstes Programm, um Menschen zu schlagen, erste Messung des Worst-Case-Verlustes) und haben die Wissenschaft vorangetrieben unsere Arbeit bei jedem Schritt des Weges vollständig zu veröffentlichen. Das Lösen des Spiels ist im Wesentlichen der letzte Schritt in einer langen Forschungsreihe zu diesem Spiel.

Über PokerSnowie und das Casinospiel ist nicht viel bekannt – sie veröffentlichen keine Statistiken darüber, wie nahe sie dem Optimum sind, oder irgendwelche nützlichen Details darüber, welche Algorithmen sie verwenden oder wie ihre Programme funktionieren. PokerSnowie behauptet, nahe am Gleichgewicht zu sein, bietet aber keinerlei Beweise, und aus den Diskussionen über 2+2, wo sie auch behaupten, optimal 6-Spieler und No-Limit zu spielen, ist klar, dass sie entweder nicht wissen, welches "Spiel theoretisch optimales" Spiel bedeutet, oder sie übertreiben: No-Limit ist unergründlich größer als Heads-up-Limit und es ist Unsinn, dort optimales Spiel zu behaupten, und eine "optimale" Strategie hätte keine theoretisch brauchbaren Eigenschaften in einem 6- Spieler-Spiel. Tatsächlich haben sie dies in den 2+2-Threads zugegeben und den größten Teil der Werbung von ihrer Webseite entfernt, auf der "optimale Wiedergabe" erwähnt wird.

Cepheus ist im Wesentlichen eine optimale Strategie für Heads-up-Limit Hold'em, und es kann gegen beide oder jedes menschliche oder andere Programm spielen und garantiert nicht verlieren. Wir sind @PolarisPoker auf Twitter – wir verwenden dies hauptsächlich, um Links zu neuen Artikeln zu posten, die wir veröffentlichen.

Heads-Up Limit Hold'em ist jetzt gelöst! . Die AI hat eine großartige Website, die Ihnen unter anderem die optimale Multistrategie unter http://poker.srv.ualberta.ca/ mitteilt .

Schön. Ich habe meine Antwort aktualisiert, um die Leute auf Ihre zu verweisen.
Das weiß ich nicht . Ein "im Wesentlichen unschlagbarer" Algorithmus (vielleicht ist er das), aber er Poker Academy Prohat sicherlich einen sehr mächtigen Bot, der auf Heads-up spezialisiert ist, namens Sparbot . Das Gute daran ist, dass es nicht versucht, den Gegner zu lernen , und es daher einfacher ist, ihm nachzueifern. Habe es aber nicht probiert.

Der Artikel der NY Times war für mich faszinierend, weil sie die Tatsache, dass Poker Snowie bereits existiert, völlig ignorierten. Google sie und lies sie nach. Es gibt sie schon eine Weile und es wird allgemein angenommen, dass sie sehr, sehr gutes Poker spielen. Ich bin mir nicht sicher, ob sie Poker „gelöst“ haben (was auch immer das bedeutet!), aber es gibt sie schon seit langer Zeit.

Tatsächlich wissen die meisten Leute nicht einmal, dass es in Casinos bereits LHE-Automaten gibt, gegen die man spielen kann und die auch sehr, sehr gut Poker spielen (basierend auf der Arbeit von Poker Snowie). Sie können sie Heads-Up mit verschiedenen Einsätzen spielen. Nochmals, vielleicht ist es ihnen nicht gelungen, Poker zu "lösen", aber glauben Sie, dass sie in Casinos angeboten haben, weil sie dabei Geld verlieren? Natürlich nicht. Sie müssen also nur ein Casino in Ihrer Nähe finden, das dies anbietet, und Sie können sich gegen eine sehr gute Poker-KI versuchen

Arbeiten Sie für Poker Snowie?
@WillCalderwood Nein, nein, natürlich nicht. Tatsächlich mag ich nicht unbedingt alle Snowie-Tools – ich mag nur den Replayer. Ich denke einfach nicht, dass es fair ist zu sehen, dass Alberta Anerkennung für LHE beansprucht, wenn es bereits Automaten in Casinos gibt. Das ist, als würde ich herauskommen und sagen: „Hey Leute, ich habe etwas erfunden, das ich ‚Auto‘ nenne! Könnt ihr das glauben?!?!“.
Punkt 1. Ich nehme an, dass die Casino-Maschinen Rake haben, also brauchen sie keine perfekte oder sogar nahezu perfekte Strategie, um zu gewinnen. Sie müssen nur auf einem guten Niveau spielen. Punkt 2, Sie können sie nicht abfragen.
@WillCalderwood, hier weniger Annahmen zu treffen, würde Ihnen helfen: / Haben Sie irgendetwas recherchiert, das ich dort veröffentlicht habe??? Nein, die Maschinen haben keinen Rechen und Sie können sie abfragen. Poker Snowie ist im Grunde das einzige Tool auf dem Markt, mit dem Sie Hände in den Replayer eingeben und dabei EV und Action-Moves abfragen können. Wenn Sie dagegen spielen, können Sie auch mit EV Echtzeit-Feedback zu richtigen/falschen Zügen erhalten.

Ich fürchte, es gibt keine öffentlich verfügbaren KIs, gegen die man üben und mit denen man trainieren kann. Wenn Sie nach einer KI suchen, gegen die Sie spielen können, können Sie sich die Poker Academy ansehen, deren Website in den letzten Jahren auf und ab gegangen ist, aber das gilt als die beste öffentlich verfügbare Limit-KI. Ihre No-Limit-KIs sind jedoch Müll.

Aktualisieren. Wie kuzzooroo betonte, ist die obige Antwort jetzt falsch. Bitte sehen Sie sich stattdessen die Antwort von kuzzooroo hier an .

Leider sieht es so aus , als sei die Webseite der Poker Academy derzeit nicht erreichbar. Es ist jedoch mit Poker Genius verknüpft, das behauptet, "Aktionsfrequenzen" bereitzustellen.
Poker Academy ist „down“ in dem Sinne, dass das Unternehmen nicht mehr im Geschäft ist. Poker Genius behauptet, der De-facto-Ersatz zu sein, aber ich habe es nicht ausprobiert.
Das ist einfach falsch, du kannst spielen. Siehe bitte meine Antwort
@JimBeam Zum Zeitpunkt der Veröffentlichung dieser Antwort war sie richtig. Die Antwort, die der Kuzzooroo vor ein paar Stunden gepostet hat, ist richtiger als Ihre Antwort.
@WillCalderwood Auf keinen Fall ist das richtig. Die Maschinen sind seit mehr als 18 Monaten in Casinos – Ihre Antwort liegt weniger als ein Jahr zurück.
@JimBeam Hast du die Frage gelesen? "Meine Frage ist, gibt es ein anständig starkes Computerprogramm, gegen das ich Poker spielen und nachfragen kann, welche Multistrategie es spielen würde, wenn es an meiner Stelle wäre?". Können Sie erklären, wie Sie die Casino-Automaten nach ihrer Strategie abfragen können?
@WillCalderwood Die Maschinen basieren auf Poker Snowie, die Sie in Echtzeit über das Spiel oder den Replayer abfragen können. Das ist kein schwieriges Zeug, du bist nur zu faul, um rauszugehen und diese Informationen zu bekommen :/