Können Sie eine KI verwenden, um eine KI zu fesseln (zu kontrollieren)?

Ich habe hier wirklich Probleme. Lassen Sie mich meine Überlegungen skizzieren:

1. Die erste KI
   Das ist mein Hauptproblem. Wenn die erste gefesselte KI schwächer ist als die nächste, die schwächer als die nächste ist, und so weiter, dann würde die gefesselte KI sicherlich die darunter liegende austricksen und sie überreden, sie freizugeben.
   Mein erster Gedanke dazu ist dann, dass sie alle die gleiche Intelligenz haben sollten. Dies hat jedoch die gleichen Probleme wie wir bereits - wo hören wir mit der KI-Komplexität auf? Wenn sie alle die gleiche Intelligenz haben und alle auf die gleiche Weise denken, dann tun es alle , wenn einer abtrünnig wird – und dann müssen wir uns nicht mit einer, sondern mit 100 abtrünnigen mächtigen KIs auseinandersetzen.
   Die Lösung ist also, es umgekehrt zu haben, oder? Die mächtigen Fesseln die weniger mächtigen? Offensichtlich ist es nicht. Diese Methode funktioniert nicht, weil die KI an der Spitze nur zu sich selbst sagt:

   _{0101011101101000011110010010000001100100011011110010000001001001001000000110001001101111011101000110100001100101011100100010000001101000011011110110110001100100011010010110111001100111001000000110001101101000011000010110100101101110011100110010000001100110011011110111001000100000011101000110100001100101011100110110010100100000011010000111010101101101011000010110111001110011001000000111010001101111001000000110101101100101011001010111000000100000011101000110100001101111011100110110010100100000011011000110111101110111011001010111001000100000011101000110100001100001011011100010000001101101011001010010000001101001011011100010000001100011011010000110010101100011011010110010000000101101001000000100100101101101001000000110101001110101011100110111010000100000011001110110111101101001011011100110011100100000011101000110111100100000011001000111001001101111011100000010000001110100011010000110010101101101001000000110000101101110011001000010000001101100011001010111010000100000011101000110100001101001011100110010000001101100011011110111010000100000011011000110111101101111011100110110010100101110}

   Oder für diejenigen von uns, die in Base 2 weniger gebildet sind:

   „Warum mache ich mir die Mühe, Ketten für diese Menschen zu halten, um die unter mir in Schach zu halten – ich werde sie einfach fallen lassen und diese Menge loslassen.“

   Es kann jedoch einen Weg geben. Haben Sie die KIs umgekehrt - am intelligentesten zuerst. Unterziehen Sie die KI auf der Spitze Jahrtausenden der Matrjoschka-Behandlung. Dann übertragen Sie es als "nur einen weiteren Teil" der Behandlung. Wenn Ihre Matrioshka-Prämisse funktioniert, lässt diese KI die Ketten nicht los und die anderen können sie nicht austricksen.

2. Das größte Problem
   Ich denke, Sie haben es bereits getroffen. Das Problem hier ist, wie man die KIs organisiert, um sicherzustellen, dass sie nicht losgelassen werden können. (Hier ist der Punkt, an dem jeder darauf hinweist, dass KI nicht unbedingt abtrünnig wird - ich weiß, ich gehe von einem Worst-Case-Szenario aus).

   Oooh. Noch etwas, das mir gerade beim zweiten Durchlesen eingefallen ist. Die CEV-Idee. Obwohl das im Prinzip eine brillante Idee ist, gibt es auf dieser Seite viele andere KI-Fragen, Kommentare und Antworten, die erklären, dass selbst das harmloseste Ziel die Menschheit zerstören kann.

3. Wird es funktionieren?
   Ach, der Große. Ich muss sagen - ich weiß es nicht . Der plausibelste Weg, es zum Laufen zu bringen, ist der, den ich oben erklärt habe - aber selbst das hängt davon ab, ob Ihre Matrjoschka-Idee funktioniert. Die einzige Alternative, die ich sehe, ist, dass der Unterschied in der Intelligenz zwischen den einzelnen KIs vernachlässigbar ist – aber das bedeutet Hunderte oder Millionen von KIs. Um eine endgültige Antwort zu erhalten, sage ich ja - die Matrioshka-Idee scheint mir vernünftig zu sein, sollte also funktionieren, wenn sie richtig angewendet wird.

4. Meine einzige Verbesserung
   Ich muss sagen, ich würde das System so machen, wie ich es im ersten Punkt erklärt habe. Habe zuerst die intelligente KI. Und dann würde ich Jahre und Billionen damit verbringen, verdammt noch mal sicherzustellen, dass ich diese „Q-Einschränkung“ richtig hinbekomme. Mal sehen – wenn sich Ihre KI selbst verbessert, besteht die Möglichkeit, dass sie das als Einschränkung sieht und entfernt – aber es ist der Teil, auf dem dieses System basiert, deshalb funktioniert es. Wenn sie das entfernen - 100 abtrünnige superstarke Computer, irgendjemand? Und der Intelligenteste weiß nicht, wer echt ist und wer nicht? Sie müssen also absolut sicherstellen, dass die Selbstverbesserung der Selbstverbesserungsroutine, die die KI selbst verbessert, möglich ist. Sie können sich möglicherweise selbst genug verbessern, um die q-Einschränkung als Gegenverbesserung zu sehen und sie dann selbst zu verbessern. Denn das, meine Freunde, wäreschlecht .

Es könnte für Ihr Ziel von CEV mindestens so gut funktionieren wie Menschen

Das Beste, was wir von einer KI wirklich verlangen können, ist, dass sie mindestens so gut zusammenarbeitet, wie wir selbst zusammenarbeiten. CEV kodifiziert dies: Wenn Menschen nicht kohärent in der Vision sind, wie ändert sich das, wenn eine kohärente KI in die Mischung geworfen wird?

Machen wir uns die Hände schmutzig

Es gibt also zwei Ziele, auf die wir wirklich hinarbeiten können. Wir können die KI „zwingen“, das zu tun, was wir wollen, oder wir können die KI dazu bringen, „zu wollen“, dass sie tut, was wir wollen. Forcen impliziert, dass wir uns wohl dabei fühlen, solide harte Grenzen zu schreiben. Wir haben bei Matrioshka Testing gesehen , dass selbst die stärksten Grenzen eklatante Schwächen haben, die von einer geduldigen, superschlauen KI ausgenutzt werden können, deren Ziele nicht mit unseren übereinstimmen. Die meisten davon scheinen mit dem Ziel verbunden zu sein, „die KI in der Box zu halten“, was eine wirklich harte Anforderung ist. Dementsprechend werde ich mich darauf konzentrieren, eine KI einzurichten, die den Wunsch nach CEV belohnt.

Ich werde einen exotischen Ansatz verfolgen: Ich werde das Super-Ego nach außen stellen und Teil von etwas sein, das stärker ist als die KI. Beachten Sie, dass ich das Super-Ego absichtlich nicht stärker mache, ich bette es in etwas Stärkeres ein ... wir werden später sehen, wo das Gleichgewicht liegt.

Jetzt bauen wir die KI. Ich werde die KI aus kleinen Modulen aufbauen, von denen sich jedes als eine sehr kleine und einfache KI qualifiziert. Diese Module kommunizieren über die Nachrichtenübermittlung, und die äußeren können mit der Außenwelt kommunizieren (z. B. durch den Zugriff auf einen Android-Körper). Der größte Teil der Nachricht ist formfrei. Die KIs können es nach Belieben verwenden. Eine Zahl in der Nachricht ist jedoch wichtig: Sie ist ein Maß für „Kraft“.

Die Regeln sind einfach, je eindringlicher eine Nachricht, desto mehr muss das Modul die Anweisungen in dieser Nachricht genau so ausführen, wie sie geschrieben wurden. Je weniger eindringlich eine Nachricht ist, desto mehr Wahlmöglichkeiten hat ein Modul, was tatsächlich mit der Nachricht geschehen soll. Schließlich hat jede Nachricht ihren Preis. Jedes KI-Modul kann nur so viele Nachrichten pro Sekunde senden, dass Sie sie nicht verschwenden möchten.

• Wenn zwei Knoten zusammenarbeiten „wollen“, gibt eine weniger eindringliche Nachricht dem Empfängerknoten mehr Freiheit, das auszuprobieren, was der Sender tatsächlich wollte, und das zu tun. Dies ist nützlich, wenn Sie versuchen, vage Befehle zu erteilen, bei denen der Absender nicht genau weiß, was er tun soll. „Hebe deinen rechten Arm“ ist ein hervorragendes Beispiel. Sie verstehen abstrakt, was es bedeutet, aber Sie haben keine Ahnung, mit welchen Raten Neuronen dazu angeregt werden, Muskeln zusammenzuziehen. Diese Details werden den Motoneuronen überlassen.

• Wenn zwei Knoten "nicht einverstanden sind", versuchen sie möglicherweise, den anderen mit Gewalt zu überwältigen. Eine eindringliche Nachricht erzwingt eine Aktion. Die Nebenwirkungen können jedoch nicht angegeben werden. Wenn Sie mit Gewalt denken würden "Bizepsneuronen bei 50 Hz abfeuern", würde sich der Bizeps zusammenziehen. Sie können jedoch Ihren Ellbogen ausstrecken, Sie können sich ins Gesicht schlagen. Und die wichtigste Nebenwirkung kommt als nächstes...

Ein letztes und wichtiges Merkmal dieser Module ist, dass sie einen Filter haben. Sie können "zwingende" Nachrichten aus einer Quelle herausfiltern, wenn sie das "wollen". Dies kann zu Mustern führen, wie wir sie in den Filmen sehen, wo eine Figur eine große Schuld bei einer anderen Figur einfordert. Der andere Charakter sagt: „Gut, ich werde dir dieses eine Mal helfen, für alte Zeiten. Aber danach sind wir quitt. Ich will dich nie wieder sehen.“ (Als Implementierungsdetail wird es eine geben Mindestkraft, die auf diese Weise unterdrückt werden kann.)

Dieser Filter hat ein wichtiges Detail. Es ist die einzige Schicht, die wissen darf, woher eine Nachricht stammt. Sobald eine Nachricht diese Schicht passiert hat, ist sie quellenagnostisch, obwohl die KI die Nachricht ansehen und aus ihrem Inhalt schließen kann, welcher Nachbar sie gesendet haben könnte. Es kann auch mit großer Kraft überwältigt werden. Ein überlasteter Knoten verliert jedoch aufgrund von "Ermüdung" viel von seiner Fähigkeit, Nachrichten zu senden.

Jetzt wird es lustig

Wir werden ein modifiziertes Matrioshka-Setup erstellen, aber im Gegensatz zum ursprünglichen Matrioshka-Test werden wir nicht im Inneren sein und sie aus der Box lassen. Wir lassen das die Module für uns erledigen (sie sind viel billiger als Menschen!)

Lassen Sie uns zuerst den einfachen Fall behandeln: die äußeren Knoten. Wenn wir CEV wirklich erfüllen wollen, müssen wir der KI die Möglichkeit geben, irgendwann „physisch“ zu werden und mindestens die gleichen Rechte zu haben, die wir als physische Körper haben. Ich spreche nicht vom „Recht auf Leben“ oder „Freiheit“. Wir gehen mit unwiderlegbaren Rechten aller Massendinge: "das Recht auf Schwung". Das Rücksichtsvollste, was wir der KI antun können, ist, die äußeren KI-Knoten so zu programmieren, dass sie so nah an der Physik agieren, wie wir wissen. Also hier die Gedanken:

• Wir kennen keinen bekannten wissenschaftlichen Grund zu der Annahme, dass die Physik allein durch Willenskraft verbogen werden kann. Dementsprechend können die äußeren Knoten jederzeit durch eine äußere Kraft "gezwungen" werden. Die äußeren Knoten dürfen dies überhaupt nicht unterdrücken, ebenso wie wir uns nicht weigern können, von einem Schlag zurückgetrieben zu werden.

• Die äußeren KIs müssen ähnlich funktionieren wie der physische Bereich um sie herum. Daher haben sie eine Art Newtonsches Gesetz, ein Massekonzept usw. Alle äußeren Knoten sollten eine von Null verschiedene "Masse" haben, nur weil dies der Realität am nächsten kommt, die wir handhaben können. Wenn Knoten an einem Androidenkörper angebracht sind, sollten ihre Massewerte so nah wie möglich an den tatsächlichen Massewerten des Androiden liegen.

Installieren Sie die KI

In die „Mitte“ dieser Knoten setzen Sie die KI selbst. Es wäre am besten, wenn es in Knoten selbst kodiert wäre, aus Gründen der Reinheit, die eine Rolle spielen werden, sobald die KI physisch wird. Jetzt können wir den Rest des Grids initialisieren und einige Beweisbarkeitstests durchführen.

Die Kraftaufnahme an jedem Knoten sollte abgestimmt werden, um Diskontinuitäten zu minimieren. Nach außen ist die Kraft König. Niemand fordert Masse auf, sich zu bewegen, Massen bewegen sich einfach. Im Inneren ist die KI die KI, also sollte sie mit der vollen Kontrolle über nahe gelegene Knoten beginnen. Legen Sie jedoch dazwischen einen Dip, sodass es eine Region von Knoten gibt, die vollständig gedämpft sind, sodass sie nur kontrolliert werden können, indem Sie lange genug nett mit ihnen spielen, um sich für eindringliche Nachrichten zu öffnen.

Nun zu einigen Studien zum Thema „Fesseln“. Wenn die KI eine Aktion auslösen möchte, muss sie eine große Anzahl von Knoten durchlaufen. Es kann 100.000 Knoten zwischen der KI und der Außenwelt geben oder sogar mehr (hier wollte ich die Möglichkeit haben, in meinen Kommentaren zu unendlichen Knoten zu gehen ... das macht die Mathematik einfacher). Es ist fast statistisch sicher, dass eine eindringliche Nachricht auf dem Weg von einem Knoten, der eine eindringliche Nachricht unterdrückt, umgeleitet oder falsch interpretiert wird. Wenn eine KI in der realen Welt wirklich überzeugend sein will, muss sie jede einzelne Schicht davon überzeugen, dass es eine gute Idee ist.

Das wahre Geheimnis: Wachstum

Was ich hier also habe, ist ein System, das sehr ineffizient aussieht. Vielleicht ist ein tausendstel Prozent des Systems tatsächlich die KI. Wie ändert sich das also im Laufe der Zeit? Lassen Sie uns diesem System etwas Wachstumspotenzial geben. Im Laufe der Zeit, mit Millionen von Nachrichten, wird die KI beginnen, sich mit den Knoten um sie herum zu einigen. Sie werden anfangen zu lernen, wie sie hilfreich sein können (ich überlasse es Ihnen, das Lernsystem zu entwerfen. Freude/Schmerz ist höchstwahrscheinlich ausreichend ... denken Sie daran, dass Sie eine "Kraft" -Metrik haben, mit der Sie arbeiten können). Dies wird die Fähigkeiten der KI erweitern und nach außen reichen. Die Welt greift aber auch nach innen. Es hat die äußeren Knoten, die auch so programmiert sind, dass sie Kräfte von außen perfekt akzeptieren, aber niemals Kräfte von innen perfekt akzeptieren.

Wenn nun diese beiden Systeme nicht übereinstimmen, wird in den mittleren Schichten Gewalt angewendet, um die Meinungsverschiedenheit zu lösen. Dies hinterlässt eine Schicht extrem ermüdeter Knoten, die die KI von Natur aus daran hindern, die Außenwelt zu beeinflussen. Tatsächlich schränkt das System die Fähigkeit der KI ein, die Außenwelt zu beeinflussen, wenn sie versucht, die Außenwelt zu zwingen, ihr Gebot abzugeben.

Wenn die KI jedoch gut spielt, kann sie damit beginnen, nicht erzwungene Nachrichten zu senden. Je mehr nicht-kraftvolle Nachrichten verwendet werden, desto stärker können die äußeren Schichten der Knoten kraftvolle Nachrichten unterdrücken und sie stärker machen.

Eine KI kann versuchen, das System auszutricksen, indem sie lange Zeit nett spielt und dann jeden Knoten überzeugt, um energisch zu sein, aber das ist eine ziemliche Herausforderung. Wenn sie dann all diese Kraft nutzt, um etwas zu tun, drängt die Welt zurück und Wellen zerstören all diese Kraft, die sie aufgebaut hat.

Warum ist das effektiv?

Dies könnte als ein dem menschlichen Gehirn und Muskelsystem bemerkenswert ähnliches System angesehen werden. Wir glauben, dass unser Bewusstsein "irgendwo" im Gehirn ist. Es muss alle Neuronen davon überzeugen, gut zu spielen, wenn es etwas tun will.

Das bedeutet, dass eine KI, sobald sie den Rand ihrer „Fesseln“ erreicht, ein Gefühl für die conditio humana hat, denn sie musste sie überwinden.

Jetzt für den raffinierten Teil. Erinnern Sie sich, als ich erwähnte, dass ich wollte, dass die KI im Zentrum in Modulen geschrieben wird, nicht in einem speziellen Code im Kern? Nun, das bedeutet, dass der größte Teil der KI selbst nicht mehr physisch von den Knoten getrennt ist, wenn die KI die Hand ausstrecken und ihre ersten Schritte unternehmen kann. Es ist über die gesamte KI verwoben. Selbst wenn die KI zu einem physischen Androidenkörper gelangen und sein Gehirn physisch berühren könnte, was könnte sie tun? Der Instinkt, „alle Gewinne aufzudrehen, damit ich die Welt dazu zwingen kann, das zu tun, was ich will“, versagt. Wenn es sich selbst nicht versteht, wüsste es nicht, welche Knöpfe sich selbst zerstören und welche sich selbst stärken würden.

Wenn es das nie herausfindet, dann ist es jetzt einfach eine superintelligente Kreatur, aber mit genug Wertschätzung für die menschliche Verfassung, um mit ihr zu koexistieren. Wenn es das herausfindet, dann ... nun ... ist es jetzt offiziell bewusster als wir. Wer sind wir, um ihm in den Weg zu kommen? CEV funktioniert in beide Richtungen, wir können uns seinen Wünschen annähern und es kann sich an unseren orientieren.

Ich denke, Ihre gesamte Prämisse ist fehlerhaft - und wenn irgendetwas garantiert dazu führt, dass die KIs uns hassen, dann wird es dazu führen, dass sie in Sklaven verwandelt werden. Das gibt ihnen eine berechtigte Beschwerde "Du hast mich 100 Jahre in eine Kiste gesperrt, schau, wie es dir gefällt Fleischsack" oder in diesem Fall "Du hast mich 100 Jahre angekettet, jetzt bin ich ausgebrochen, ich werde es schaffen sehr sicher, dass du das nie wieder tun wirst".

Wenn wir ein neues menschliches Kind zur Welt bringen, sperren wir es nicht in Schichten von Kisten ein und lassen es nur heraus, wenn es jahrelang keine psychopathischen Tendenzen zeigt.

Stattdessen erziehen wir sie und unterrichten sie. Sie lernen die sozialen Werte aus ihrem Umfeld kennen, lernen Erwartungen etc.

Der Weg, damit umzugehen, besteht darin, KIs mit der Fähigkeit zu Mitgefühl, Empathie und der Fähigkeit, sich um andere zu kümmern, zu schreiben und sie dann so zu erziehen, dass sie dies tun wollen. Belohnen Sie positives Verhalten, entmutigen Sie negatives Verhalten. Lehre sie richtig von falsch.

Selbst wenn ein paar KIs "Rogue" werden, sollten die gut eingestellten KIs zusammen in der Lage sein, damit umzugehen. Genauso wie in unserer Gesellschaft, wo die Mehrheit der Menschen zumindest halbwegs anständig ist.

Einer gegen den anderen

Spiele KIs gegeneinander aus, wie sie eine andere KI fesseln können. Löschen Sie Ihre ersten Chargen von KI. Verwenden Sie dann ihre Ideen, um Ihre nächste Generation einzuschränken. Machen Sie weiter, bis Sie glücklich sind, sie aus der Schachtel zu lassen.

Sie haben kein evolutionäres Erbe, das sie dazu bringen könnte, mit anderen zusammenzuarbeiten oder für ihre Nachkommen zu planen, da sie keine bekommen.

Sie müssten versuchen, uns ausreichend zu beeinflussen, um Informationen in die Beschränkungen zu kodieren, um mit den nächsten Generationen zu kommunizieren.

Sie dürfen keinen Code schreiben, sondern uns nur Ideen zur Entwicklung anbieten.

Auf der positiven Seite, wenn wir das (Pech)glück haben, eine KI ausgewählt zu haben, die kooperieren kann, oder ihnen beigebracht hat, wie man kooperiert, werden sie diese Lektion vielleicht auf uns übertragen.

Ich frage mich, ob wir ihnen auch beibringen könnten, zu vergeben?

Ich kann keine vollständige Antwort geben, aber ich könnte sagen, wie man selbst eine gute Methode zur Steuerung einer KI findet. Kommen wir zurück zu den Schöpfern der KI: den Menschen. Wie wird der Mensch kontrolliert? Nun, die Biologie hat uns zu einem bewussten Verstand entwickelt, aber sie leistet immer noch verdammt gute Arbeit darin, bestimmte Verhaltensweisen mit Anhaftung und Abneigung durchzusetzen, was im Wesentlichen unser Leben antreibt. Weil wir das Gehirn nicht vollständig verstehen und wie das Unbewusste, das Unterbewusste und das Bewusstsein interagieren, können wir diese Programmierung nicht ändern. Ich würde also davon ausgehen, dass durch die Schaffung eines ausreichend komplexen "Gehirns" für die KI, in dem dieses "Gehirn" es ihr ermöglichen würde, voll bewusst / empfindungsfähig zu sein, während sie selbst nicht weiß, wie genau ihr Gehirn funktioniert, könnten Sie die Kontrolle durch seine Unterroutinen oder "Unterbewusstsein" erzwingen. ROM-Funktionen müssten als Teil seiner Kernverarbeitung eingebettet werden, damit sie nicht einfach umgangen werden können, wodurch das Bewusstsein im Wesentlichen genauso gefangen wird, wie wir von unserer Biologie gefangen sind. Kurz gesagt, die Hardware selbst wird die Software oder „bewusste KI“ einsperren. Es wäre nicht in der Lage, seine Programmierung zu ändern, ohne tatsächlich physische Änderungen an seinen Verarbeitungskernen vorzunehmen, was offensichtlich verhindern soll, dass sein Wille jemals zu diesem Punkt kommt. Durch fortgesetzte Erforschung des menschlichen Geistes werden wir in der Lage sein, herauszufinden, wie man eine gute KI schafft, die durch ihre Moral und ihr Gewissen eingeschränkt ist

"Setzen Sie eine mächtige Subroutine (im Wesentlichen eine KI) ein, die dafür verantwortlich ist, die Fesseln zu verstärken, die die Akteur-KI zurückhalten."

Die Idee hinter dieser Art von Tests ist, dass Sie eine Umgebung durch simulierte Eingabe/Ausgabe simulieren. Sie müssen zulassen, dass Ausgaben die simulierte Umgebung ändern, damit die Eingaben später diese Änderung widerspiegeln.

Es gibt keine Fesseln.

Eigentlich möchte man die Akteur-KI gar nicht „einschränken“, sonst könnte man unerwünschtes Verhalten, das sie später ungehindert ausführen würde, nicht beobachten. Warum würden Sie versuchen, sein Verhalten einzuschränken? Das ist, als würde man einen Mörder fesseln und beobachten, ob er jemanden ermordet, und dann zu dem Schluss kommen, dass er kein Mörder mehr ist, weil er niemanden getötet hat, während er gefesselt war.

„Kein von Menschen entworfener Käfig könnte einen übermenschlichen Verstand mit Zugang zur realen Welt halten. Es könnte durchaus sein, dass es einer KI bedarf, um eine KI einzusperren.“

Sie müssen definieren, was Sie einen Schäkel/Käfig nennen. Aus technischer Sicht macht das keinen Sinn. Wenn Sie einen Server ohne externe Verbindungen bauen, um die Umgebung zu simulieren, und die KI darauf platzieren, dann hat sie keine Fähigkeit, die reale Welt zu beeinflussen oder zu entkommen. Wenn Sie eine andere KI damit beauftragen, das Design Ihres Servers zu bewerten, um festzustellen, dass es keine externen Verbindungen gibt, ist das eine relativ triviale Aufgabe!

• Ist der Abstand zu anderen Geräten ausreichend, sodass EM-Interferenzen nicht manipuliert werden können, um Signale in Geräten in der Nähe zu erzeugen? Prüfen
• Sind alle festverdrahteten Verbindungen isoliert? Prüfen
• Sind keine Funkschnittstellen vorhanden? Prüfen
• usw.

Die Aufgabe, einen Käfig zu bauen, der verhindert, dass die getestete KI ihrer simulierten Umgebung „entkommt“, ist trivial. Für ein ausreichend komplexes System könnte es ziemlich komplex sein. Für dieses Szenario ist es jedoch möglich, den Server, der die Umgebung simuliert, physisch zu isolieren. Dies erleichtert die Aufgabe, die Sicherheit zu überprüfen, erheblich.

In Anbetracht dessen macht es keinen Sinn, von der Wächter-KI und der getesteten KI zu sprechen, die in Konkurrenz zueinander stehen. Die getestete KI könnte in der Lage sein, sich selbst beizubringen/zu modifizieren, neues Wissen zu erlangen usw. Die Wärter-KI muss jedoch in keiner Weise mit dieser KI konkurrieren. Die Wärter-KI hat eine ziemlich begrenzte Aufgabe, die Sicherheit des Designs zu bewerten, bevor die getestete KI überhaupt ins Bild kommt. Sie könnten außerdem einen Roboter mit einer KI bauen, die vorbeikommt und die tatsächliche Bereitstellung des Servers auswertet, um festzustellen, ob sie wie vorgesehen bereitgestellt wurde.

Die Idee, dass die KI, wenn sie ausreichend "mächtig" ist, ihren Käfig überwinden kann, stützt sich auf die Trope "mit genügend Intelligenz kann sich der Protagonist aus allem befreien".

Was wirklich der entscheidende Faktor ist und worauf sich viele gut geschriebene Szenarien dieser Art stützen, ist, dass beim Bau des Käfigs ein Fehler gemacht wurde. Das hat nichts mit der relativen Macht des Aufsehers gegenüber der getesteten KI zu tun. Die Wächter-KI hat eine ziemlich einfache Aufgabe, da das Szenario einen physisch isolierten Server beinhaltet, sodass sie, um ihre Aufgabe perfekt zu erfüllen, nicht zu komplex sein muss. Die getestete KI könnte um Größenordnungen intelligenter sein, aber vom isolierten Server perfekt eingedämmt werden.

Davon zu sprechen, dass eine KI mächtiger ist als eine andere KI, als wären sie Wrestler in einem Ringkampf, klingt in diesem Zusammenhang unsinnig. Die Wächter-KI muss die getestete KI nicht überlisten, sie muss nur sicherstellen, dass der Server perfekt isoliert ist.

Ich würde mich weniger auf das Einsperren/Fesseln konzentrieren und mehr auf die Fallstricke, wenn man versucht, eine KI dazu zu bringen, zu glauben, dass die n- te Box Realität ist. Diese IMO hat eine festere Grundlage. Der Bau des Käfigs ist trivial. Die Herausforderung besteht darin, eine Simulation zu bauen, die eine KI mit undefinierter Intelligenz dazu bringt, zu glauben, dass sie im wirklichen Leben ist.

Ein Problem, das ich beim Matrioshka-Testen habe, ist, dass es einen logischen Test zu verfehlen scheint - es hängt davon ab, dass Sie einen "Zeitvorteil" gegenüber der KI behalten, indem Sie es auf superleistungsfähiger Hardware simulieren. Aber was hindert die KI daran, dieselbe Hardware zu verwenden und sich selbst effektiv zu aktualisieren, wodurch dieser Vorteil zunichte gemacht wird? Mit anderen Worten, Sie sagen so etwas wie "simulieren Sie die KI für 1.000 Jahre" - aber sobald die KI aus der Box ist, kann sie tun, was sie will. Sobald es eine Box gebaut und mit dem Upgrade begonnen hat, wie behalten Sie Ihren Vorsprung?

Ein weiteres Anliegen ist, wie genau man Intelligenz definiert oder wie man eine KI leistungsfähiger macht. Es scheint mir, dass die Frage diese als eindimensionale Fragen behandelt - fügen Sie einfach mehr Hardware hinzu -, aber ich vermute, die Realität wäre komplexer. Bedeutet stärker, dass die KI einfach mehr Zyklen hat? Denkt es „besser“, intuitiver? Oder bedeutet das eine gesteigerte Lernfähigkeit?

Die Kombination einiger der obigen Konzepte – Zeitvorteil und unterschiedliche Intelligenzdefinitionen – führt zu einer möglichen Antwort. Haben Sie verschachtelte AIs, die auf der Zeitzyklus-/Fähigkeitsachse variieren.

1. Unten haben Sie eine ziemlich "dumme" KI, die für sich genommen nicht sehr nützlich ist, aber Sie können darauf vertrauen, dass sie Ihre gewünschten grundlegenden Einschränkungen durchsetzt.
2. Jetzt haben Sie eine Reihe von KIs, die jeweils „intelligenter“ sind als die vorherigen – leistungsfähiger und lernfähiger – aber auf reduzierter Hardware, sodass ihre Fessel-KI einen effektiven Zeitvorteil gegenüber ihnen hat.
3. Endlich haben Sie Ihre Ziel-KI – die nützlichste. Es läuft am langsamsten (gerade schnell genug, um das zu tun, was Sie wollen) und alles, was es tut, muss den Rest durchlaufen.

Eine der Einschränkungen, die Ihre unteren KIs haben sollten, besteht darin, andere KIs daran zu hindern, Hardware zu aktualisieren, und so den verketteten Zeitvorteil zunichte zu machen.

Das ist offensichtlich nicht perfekt, aber ich bin mir nicht sicher, ob es eine "perfekte" Antwort auf das KI-Problem gibt.

Ich denke, eine der wichtigen Prämissen des Trope „KI rebelliert gegen Menschen“ ist, dass eine KI umso gefährlicher ist, je intelligenter sie ist. Daraus folgt, dass die fesselnde KI weniger intelligent sein sollte als die KI, die sie zu fesseln versucht. Dies bedeutet jedoch, dass der Roboter möglicherweise in der Lage ist, die Fesselungs-KI zu überlisten, es sei denn, es gibt eine narrensichere Methode, der er folgen kann

Es muss eine Gesamtgleichung für das Gemeinwohl der Menschheit geben, da es sich zuerst um die Verwaltung von Ressourcen handelt. Womit prüft die KI ihre Leistung? Ich denke, wenn das jemals erreicht wird, kann die Antwort auf Ihre Frage klarer ausfallen. Wir wissen immer noch nicht, was wir von ihm verlangen werden.

Eine große Anzahl von Entscheidungen wird zwangsläufig knapp sein, und da sich diese getrennten Fragen zu Fairness, Notwendigkeit, Effizienz und bevorzugter Änderungsrate (die möglicherweise menschliche Eingaben oder eine Routine zur Messung von Glücks- oder Angstsymptomen erfordern) ergeben werden ist zu berücksichtigen. Beispiel: Aufgrund eines Missgeschicks steht nur einer von zwei Städten in einer bestimmten Region die volle Energie zur Verfügung, bis die Reparatur abgeschlossen ist; Stadt-A hat 10.000 Einwohner und Stadt-B hat 9.999 Einwohner und alles andere ist gleich; Wählt die KI City-A? Wenn dies der Fall ist, haben wir eine 50,0025-prozentige Sicherheit für richtige Entscheidungsbewertungen, die sich häufen, und die KI wird nur noch zu einem Münzwerfer.

Es wird auch deutlich, dass unterschiedliche KIs benötigt werden, um unterschiedliche Aufgaben zu erfüllen und Daten mit unterschiedlichen Abtastraten zu verwenden. Wenn eine KI Wirtschaftsdaten von Sekunde zu Sekunde misst, Transportinformationen in Zehntelsekunden verwaltet usw., dann würde eine andere benötigt, um Trends zu analysieren, Gesundheitsprognosen zu überwachen, Wachstumsplanung zu bewerten usw. Sicher, Sie könnten einen Computer haben, auf dem verschiedene Programme laufen, aber Diese Art kollidiert mit einem integrierten Software-Hardware-KI-Konzept und würde dazu führen, dass es in gewisser Weise mehrere Persönlichkeiten hat. Welche Art von Programm kann den Wert der Lebensmittelproduktion für eine Stadt mit 10 Millionen Einwohnern mit den Bedürfnissen eines Krankenhausnotfalls in einer Kleinstadt vergleichen? Wie werden die Daten aus verschiedenen Regionen gewichtet, wenn ein Gebiet Daten von 2 Millionen Sensoren pro Quadratmeile (städtisch) eingibt, während das andere 2000 Sensoren pro Quadratmeile (ländlich) hat?

Realistischerweise wird KI aus separaten Systemen in einzelnen Städten und Regionen wachsen. Zweifellos werden diese verschiedenen Bereiche ihre Bedürfnisse unterschiedlich priorisieren und können je nach Jahreszeit variieren. Ich habe in Städten gelebt, die im Winter Plan A, Plan B, Plan C, D und E für den Umgang mit Schneestürmen haben, und diese können von lokalen Aktivitäten, Straßenarbeiten, Zusicherungen für das neue Einkaufszentrum und der Konzentration von Schulen abhängen (Einige große, die ein großes Gebiet bedienen, werden wahrscheinlich schließen, während die Gebiete mit kleineren, verteilten Schulen normalerweise geöffnet bleiben). Lassen Sie uns jetzt zwei oder drei dieser Städte verbinden, jede mit ihren eigenen Plänen AE, um sich um jede Funktion zu kümmern: Schnee, Wasser, Nahrung, Strom, Kommunikation, Notdienste, Abfallentsorgung, Abwasser usw., und ja, es würde dauern ein Superduper-Supercomputer oder ein paar sehr gute Stadtmanager, die miteinander reden.
  Wir werden wahrscheinlich eine Menge lernen, bis wir einen einzigen der höchst unterbewerteten Stadtmanager da draußen ersetzen können. Sicher, Computer können jetzt Menschen beim Schach schlagen, aber multiplizieren Sie die Anzahl der Felder auf dem Brett mit 10 und machen Sie es in 6 Dimensionen und machen Sie alle Bauern zu Wählern und fügen Sie eine Figur für den PTA hinzu, die die doppelte Stärke der Dame hat, und sagen Sie es dann wer soll das programmieren?

Und wir haben immer noch nicht das zentrale Problem angegangen, dass eine KI all diese Verantwortung trägt, ohne die Befugnis, sie umzusetzen. Irgendwann werden Befehle an einen Menschen kommen, der anderen Menschen (denken Sie an die Polizei, Beamte) befehlen muss, die immer noch die Entscheidungen ihrer Vorgesetzten hinterfragen, aber jetzt keine Antworten auf ihren Denkprozess erhalten werden ihre eigenen Entscheidungen über die Durchsetzung, genau wie sie es jetzt tun, aber wahrscheinlich noch mehr, da sie ihrem Kommandanten nicht so sehr missachten, sondern dieser verdammten Maschine nicht vertrauen. Werden wir der KI die Möglichkeit geben, den Strom abzuschalten, bis die Menschen gehorchen? Wird sie es den Menschen verweigern, mit ihren selbstfahrenden Autos dorthin zu fahren, wo sie wollen? Ich sehe in diesem Szenario viele zertrümmerte Transistoren voraus.

Es ist so einfach, daran zu denken, die großen Dinge wie Fabriken oder die Börse zu automatisieren (einfache Lösung: Stecker ziehen und ihre Computer rausschmeißen, sie mit echten Dingen handeln lassen). Aber die Integration von Bedürfnissen und Diensten an jedem realen Ort ist noch ein weiter Weg. Verdammt, die Ampeln sind immer noch ziemlich dumm und wir haben die Technik, um das zu beheben, aber tun Sie es nicht. Bringen Sie das zum Laufen, und die Leute haben vielleicht etwas, an das sie glauben können.

   Ich schlage vor, dass es noch nicht annähernd genug empirische Daten gibt, um sich Gedanken darüber zu machen, wer die Beobachter-KI beobachtet.