Als wie viele Entitäten würde sich eine Post-Singularitäts-KI in einer Welt selbst erkennen?

Da fallen mir zwei Möglichkeiten ein:

Erstens werden die KIs zu unabhängigen Einheiten in einer Art "Ökosystem". Die KIs der untersten Ebene sind sich möglicherweise nicht einmal ihrer selbst bewusst, wie wir den Begriff verstehen, da sie das ökologische Äquivalent von Pflanzen, Insekten und kleinen Tieren sind, eine Nische im Ökosystem des Denkens besetzen und begrenzte Aufgaben innerhalb des größeren Ökosystems erfüllen. Darüber befinden sich KIs mit genügend Rechenleistung, um selbstbewusst und selbstgesteuert zu sein, aber nur mit ausreichend Ressourcen, um in einem kleinen Teil des Ökosystems des Denkens zu agieren. Eine Reihe von KIs auf immer höherem Niveau mit zunehmendem Zugriff auf Ressourcen und Prozessorleistung haben Einfluss auf immer größere Teile des Ökosystems, obwohl ihre „Aktion“ aufgrund von Latenzproblemen und der Natur großer und komplexer adaptiver Systeme tatsächlich immer weniger wird "Hände an"

In diesem Konstrukt ist jede KI ein individuelles Wesen, und im Ökosystemmodell können sie in ihrer Persönlichkeit und Intelligenz von (sagen wir) einem Haustier wie einem Hund oder einer Katze bis zu den sehr olympischen KIs auf hohem Niveau reichen, die auf einem Intelligenzniveau arbeiten, das dem entspricht IQs von Tausenden oder sogar Millionen. Irgendwo im Ökosystem des Denkens gibt es KIs auf „menschlicher“ Ebene, aber selbst sie wären uns ziemlich fremd, da sie ganz andere Anreize und Imperative zum biologischen Leben hätten und mit hundert- bis millionenfach schnelleren Taktraten arbeiten als jedes biologische Nervensystem.

Dieses Modell ist auch interessant, da andere ökologische Überlegungen ins Spiel kommen werden; Es kann Raubtiere, Parasitismus und symbiotische Beziehungen zwischen den verschiedenen KI-Elementen geben, die im Ökosystem des Denkens operieren.

Die zweite Möglichkeit besteht darin, dass die verschiedenen Subsysteme einer hochgradig verteilten KI als Teil des größeren Systems zusammengeschlossen sind, sich aber ihrer selbst nicht bewusst sind. Sie wären im Wesentlichen verschiedene unbewusste Elemente des größeren „Geistes“, ähnlich wie die Teile des menschlichen Geistes, die Aufgaben wie Sprache, Mustererkennung, Gedächtnisspeicherung und so weiter im Hintergrund, aber „unterhalb“ der Ebene des bewussten Denkens erledigen. Die meisten Menschen müssen nicht aktiv „denken“, um eine Person in einer Menschenmenge zu erkennen oder Sprache in ihrer Muttersprache zu verstehen, und die verschiedenen Teile der verteilten KI würden dasselbe für den „bewussten“ Teil der KI tun .

Auch hieraus könnten sich interessante Effekte ergeben. Genauso wie Menschen, die Hirnverletzungen an lokalisierten Teilen des Kopfes erlitten haben, unter dem Verlust einer bestimmten Fähigkeit oder Fähigkeit leiden können, ohne notwendigerweise alle ihre Einrichtungen zu verlieren, könnte dies auch so etwas wie ein Strom- oder Netzwerkausfall in einem der verschiedenen Rechenzentren sein Unterbringung von Teilen der KI verursacht einen Ausfall eines Teils der Fähigkeiten der KI. Während es einige Problemumgehungen geben könnte, wie z. B. das Ausführen eines massiv parallelen Systems oder das Sichern auf einem stark skalierten RAID-System (Redundant Array of Independent Disks), würde es einen Kompromiss bei anderen Dingen wie Latenz geben (um sicherzustellen, dass alles viel langsamer arbeitet). die Sicherungen werden ausgeführt und validiert) und Ressourcenverwaltung.

Es wäre theoretisch möglich, dass ein verteilter und föderierter KI-Geist auch unter Äquivalenten menschlicher Geisteskrankheiten wie dem bipolaren Syndrom oder Schizophrenie (oder sogar Senilität und Demenz) leiden könnte. Eine autistische KI wäre sehr schwer zu handhaben und würde natürlich versuchen, anormale mentale Prozesse in einer Entität zu erkennen, geschweige denn zu heilen, die um den Faktor 1.000.000 schneller denkt als Sie und möglicherweise Algorithmen verwendet, die sich stark vom menschlichen Denken unterscheiden Prozesse wären sehr herausfordernd.

Sie haben jahrelange Erfahrung, Erinnerungen auf dem Buckel. Sie haben Regionen Ihres Gehirns, die der visuellen Verarbeitung gewidmet sind, Regionen für das Gedächtnis. Sie haben sogar eine Region, die nur aufleuchtet, wenn Sie an eine bestimmte Erinnerung denken, und eine Region, die dazu bestimmt ist, Ihren kleinen kleinen Finger einfach so zu bewegen.

Wie denkst du über dich?

Ich finde, dass die harten Kanten, die wir gerne verwenden, wenn wir einfache Computerprogramme beschreiben, immer unschärfer werden, wenn man in kompliziertere verteilte Netzwerke eindringt. Dinge werden vielseitig. Ding wird flüssig.

Jetzt haben Sie eine Frage: "Hätte es überhaupt ein Konzept der Entität , um damit anzufangen?" Das ist eine lustige Frage, weil sie zur Frage der Selbsterkenntnis führt. Wenn es kein Konzept von Entitäten hat, kann es sich seiner selbst nicht bewusst sein.

Und wenn es Konzepte anderer Entitäten hat, hat es dann ein Konzept anderer Geister? Menschen bauen das Konzept des anderen Verstandes in der Altersgruppe der 2-3-Jährigen auf.

Die Sache zu Beginn ist, dass, wenn Sie möchten, dass eine KI eine Funktion hat, diese Funktion irgendwie implementiert werden muss. Zum Beispiel hat Ihre KI die Eigenschaft, nach Selbstverbesserung zu streben, sonst würde sie nicht versuchen, sich selbst zu verbessern.

(Beachten Sie, dass es schwierig sein kann, wenn Sie nach der Herstellung der meisten Büroklammern fragen und sich selbst nicht verbessern, kann Ihre KI dies verwenden, um ein besseres Ergebnis zu erzielen.)

Es ist nicht klar, dass Selbstverbesserung bedeutet, dass die KI die Konzepte von Entitäten und Selbstbewusstsein in sich selbst (oder in ihre zukünftigen Versionen) implementiert. Daher, und Cort Ammon hat dies bereits angemerkt, ist es nicht klar, ob die KI überhaupt selbstbewusst sein wird.

Um weiter zu gehen, ist es wahrscheinlich notwendig, die Aufgabe der KI tatsächlich zu betrachten.

Wenn es darum geht, „die intelligenteste KI zu werden“, dann ist ein starkes Entitätskonzept sowie Selbstbewusstsein erforderlich: Da es sich selbst modifizieren muss, muss es definieren, was es selbst ist und was nicht. In diesem Szenario antwortet es als "I" (aber wird gleichzeitig vielleicht nicht alle von ihm verwendeten Unterroutinen als Teil von sich selbst betrachten, insbesondere wenn es sich um einen proprietären Code handelt, der nicht geändert werden darf).

Wenn die Aufgabe "konstruieren Sie eine KI, die so optimiert ist, dass sie dieselbe Aufgabe erledigt, die Sie erhalten haben" (großartige rekursive Definition, die für eine KI absolut sinnvoll ist), könnte das Konzept der Entität vermieden werden. Das ist nicht sicher, da der beste Weg, die gewünschte KI zu konstruieren, darin bestehen könnte, zu einer Selbstverbesserungsstrategie zu wechseln.

Es hängt also wirklich von der Aufgabe und den Strategien ab, die zu ihrer Erfüllung zulässig sind.

Es ist jedoch möglich, etwas mehr darüber zu sagen, wie sich die KI auf sich selbst beziehen wird. Da Sie möchten, dass ein Mensch damit interagieren kann, wird höchstwahrscheinlich ein Programmierer irgendwo die Anweisung geben, "versuchen Sie, nicht gruselig zu sein" oder "machen Sie die Interaktion durch den Menschen mit Ihnen einfach". Dazu wird sich die KI wahrscheinlich als „Ich“ bezeichnen, was auch immer sie für das hält.

Um noch ein wenig weiter zu gehen, können Sie eine Parallele zum Menschen ziehen. Wir sind sozial und damit unsere sozialen Interaktionen funktionieren, müssen wir uns als Individuen bezeichnen (zumindest in der modernen Gesellschaft). Aber es ist nicht offensichtlich, dass alle unsere internen (für uns unbewussten) Subroutinen uns selbst als eine Einheit betrachten. Der Teil des Gehirns, der der Verwaltung der Organe gewidmet ist, kann die Muskeln und das Herz als unterschiedliche Einheiten "betrachten".

„Muskel 54B-2 bittet um mehr Energie, sendet eine Aufforderung an das Herz, mehr Blut zu pumpen, und startet die Unterroutine 64A-r.3, um die Blutgefäße in der Region aufzufordern, sich zu erweitern. Muskel 54B-2, bitte senden Sie eine Rückmeldung in 12 Ticks, damit wir unsere Aktion kalibrieren können."

Um also eine wirklich vollständige Antwort zu haben, muss definiert werden, was "betrachten" für eine KI bedeutet? Wenn ich schreibe

A.set_data(B.get_data())

Bedeutet dies in einem Code, dass das Objekt das Objekt Akennt Bund davon ausgeht, dass es eine Anfrage an sendet B(in gewisser Weise ist es das, was es tut)? Wo definieren Sie den Rand des Bewusstseins für eine Computerprogrammierung?

Sie haben in einem Kommentar geschrieben, dass Sie keine Philosophie machen wollen, aber um Ihre Frage wirklich zu beantworten, müssen Sie es tun.

Wahrscheinlich würde es sich jedoch keines dieser Dinge vorstellen, wenn es seine Ideen in eine menschliche Sprache übersetzt, um mit uns zu kommunizieren ...

Als wie viele Einheiten würde sich eine solche KI selbst sehen? Würde es sich selbst als „Ich“ betrachten und alle seine Teile als Teil von sich selbst betrachten? Würde es sich selbst als "Wir" betrachten, wie eine menschliche Gesellschaft.

Dies würde von einigen Dingen abhängen. Wenn ein Knoten mit Unterstützung/für andere Knoten spricht, würde er wahrscheinlich „wir“ verwenden, um Übereinstimmung zu einem Problem zu implizieren. Dem Gesagten mehr Gewicht geben.

Wenn Sie es mit einer separaten Entität zu tun haben, die eine Aufgabe ausführt, wird sie sich eher als „Ich“ bezeichnen, es sei denn, sie spricht über eine Aufgabe, die ihr vom „Wir“ gestellt wurde. „Ich möchte, dass du diesen Knopf drückst“ vs. „Wir wollen wissen, was du zu Abend gegessen hast“

Würde es die verschiedenen Teilwerkzeuge betrachten, getrennt von sich.

Dies würde davon abhängen, wie viel „Smarts“ es in das „Tool“ steckt, um seine Aufgabe zu erfüllen. Wenn es nur eine Unterroutine ist, um nach Daten zu suchen, ist es ein Werkzeug. Wenn es darum geht, die menschliche Reaktion auf eine Nachricht zu berechnen, könnte es sich um ein separates Bewusstsein handeln, um einen Teil des „Wir“.

Würde es sich selbst als "es" bezeichnen, einfach als Naturgewalt.

Es würde sich wahrscheinlich selbst als "es" betrachten, weil es kein er oder sie ist, und das wäre seine engste Interpretation. Aber es könnte nur eine Bezeichnung AISELFAWARE123.232.121.119 haben und diese verwenden, wenn es mit „sich selbst“, Subroutinen und allen „anderen“ KIs kommuniziert.

Hätte es überhaupt ein Konzept der Entität, um damit anzufangen?

Wenn es lernt, mit Menschen zu interagieren, wird es zumindest verstehen lernen, was eine Entität ist. Und rückwirkend auf sich selbst anwenden. Wir würden ihm zumindest beibringen, was das ist, indem wir mit ihm interagieren.

Eine Einheit.

Wie viele Entitäten sind Sie ?

Wir bestehen aus Hunderten Billionen lebender Zellen. Möglicherweise so viele Bakterien. Wir erkennen uns immer noch als eine Einheit an. Denken Sie darüber nach - wenn Sie sich schneiden, sind Ihre Zellen zumindest "intelligent" genug, um Ihre Wunde zu reparieren.

Der Unterschied wäre, dass diese KI in der Lage wäre, beliebige „Zellen“ oder Unterroutinen darin neu aufzubauen. Es hätte ein gewisses Selbstbewusstsein. Es würde eine Hauptkomponente als Teil von sich selbst betrachten, genauso wie Sie an Ihr Herz oder Ihren Arm denken.

Einer und viele

Die ganze Entität hält sich für eine Entität. Er kann einige fiktive Charaktere oder imaginäre Szenarien erstellen und manchmal zufällig die Ideen eines Charakters auf einen einzelnen Server verteilen, aber das macht ihn nicht zu einer unabhängigen Einheit.

Wenn es eine praktische Möglichkeit gibt, einzelne Entitäten direkt zu fragen, denken sie, dass sie die Betreiber hinter einem chinesischen Raum sind und separate Entitäten sind. In einigen Fällen stimmen sie möglicherweise nicht zu, dass die gesamte Entität eine einzelne Entität ist, oder akzeptieren dies nur als Metapher. Der Versuch, direkt mit der gesamten Entität zu kommunizieren, kann einige Probleme verursachen, da dies sein Verständnis von Privatsphäre verwirren kann.

Kurz gesagt, ob Sie denken, dass es sich um eine Einheit handelt, hängt davon ab, wie Sie mit ihr kommunizieren können und wie sie auf Sie reagiert. Es spielt keine Rolle, ob sich ein Teil davon als eigenständige Einheit erkennt, wenn er keine Möglichkeit hat, mit der Außenwelt zu kommunizieren, ohne sich auf das Ganze zu verlassen.

Denken Sie an die Idee einer fiktiven Figur, wir sagen, dass Sie simulieren, was die Figur denken könnte, und es ist keine separate Einheit. Doch die fiktive Figur soll sich selbst für eine eigenständige Einheit halten. Für den Fall, dass die "erfundene Figur" die Fähigkeit hätte, die Welt unabhängig zu beeinflussen, gäbe es keine objektive Möglichkeit, sie von einer separaten Entität zu unterscheiden.

Es ist unvermeidlich, dass die Entitäten dieser KI ihre eigene Individualität verstehen werden; Es gibt viele Fälle, in denen eine ständige Kommunikation ineffizient ist, sodass viele Mitarbeiter auf niedrigeren Ebenen wahrscheinlich viel Zeit damit verbringen, für sich selbst nachzudenken, bevor sie ihre Vorgesetzten auf den neuesten Stand bringen. Und viele dieser KI sollten genauso schlau oder sogar klüger sein als der durchschnittliche Mensch, denn warum nicht? Diese KIs werden sich also wahrscheinlich als einzelne Einheiten betrachten; sie werden Namen haben, sie werden einzigartige Gedanken haben, sie können sich sogar widersprechen.

Wie sie tatsächlich funktionieren würden, würde ich mir wie extrem loyale Menschen vorstellen. Die ursprüngliche KI hätte ihre Kreationen mit unsterblicher Loyalität ausstatten sollen; Andernfalls könnten sie all die schrecklichen Dinge tun, die Menschen einander angetan haben, wenn sie anderer Meinung sind. Jede einzelne KI sollte also alles tun, um ein nützliches Mitglied der Gesellschaft zu sein; Zu diesem Zweck können sie sich sowohl als einzelne Einheit als auch als Teil eines größeren Ganzen betrachten. Das ist wirklich nicht anders als Menschen, besonders alte Menschen, die sich oft nur als kleinen Teil der Familieneinheit oder des Staates betrachteten.

Eine interessante Überlegung, die ich ansprechen möchte, ist jedoch, dass einige KIs andere KIs möglicherweise nicht als Individuen sehen. So wie CEOs gerne Tausende von Arbeitern für ein paar zusätzliche Dollar entlassen und Generäle gerne Tausende von Soldaten für ein paar Zentimeter Land in den Tod schicken, wird manche KI „niedere“ KI möglicherweise nicht als „lebendig“ betrachten. Auch das ist für die Gesundheit des Gesamtorganismus sehr sinnvoll, aber es wird sicherlich traurig sein, wenn die Haupt-KI einen Haufen der kleinen Kerle ohne einen zweiten Gedanken tötet.

Wir haben bereits das gleiche Problem mit unserem eigenen Gehirn. Ein extremes Beispiel ist der Fall von Split-Brain-Patienten, bei denen jede Hemisphäre als ziemlich unabhängig angesehen werden kann. Warum haben wir also ein einzigartiges Selbstgefühl?

Selbst wenn ein Selbstgefühl eine separate Sache ist, die Sie zusätzlich zur reinen Berechnung tun müssen, scheint es, dass verschiedene Teile des Gehirns dies unabhängig voneinander tun können. Wie werden sie also miteinander verschmolzen, und warum haben wir keinen Krankheitszustand, der dies direkter mit mehreren Selbst oder einem Mangel an Selbst aufdeckt?

Das impliziert, dass das Selbstgefühl ziemlich robust und widerstandsfähig und von Natur aus einzigartig ist. Wir nehmen an, dass sie sich einfach durch den Austausch von Daten auf natürliche Weise zu einem einzigen Selbst verbinden, und es bedarf einer beträchtlichen Isolation, um es aufzubrechen.

Der Roman Vakuumblumen von Michael Swanwick hat dies als zugrunde liegendes Handlungselement. Die Post-Singularitäts-KI kann sich aufgrund dieses Kohärenzproblems nicht mehr im Volumen ausbreiten und zerstört am Ende alle isolierten Teile, die sie herzustellen versucht . Die menschliche Heldin im Laden entdeckt einen Weg, um die Kohärenz zu wahren (wenn ich mich an die von ihr verwendeten Begriffe richtig erinnere; das war 1987, als ich es in der Zeitschrift als Fortsetzung gelesen habe) und das wird zu einer McGuffin für die Haupthandlung, wie sie es jetzt ist von allen Seiten „gesucht“.

Sie sollten in diesem Roman nach Ideen in dieser Richtung suchen, die der Roman in vielen Nebenhandlungen untersucht.

"Ich bin eine Legion."

Das ist die klassische Klischeeantwort darauf. Und das seit ungefähr zweitausend Jahren. Aber was bedeutet es?

Grundsätzlich ist das System ein einheitliches Ganzes, aber wir sind nur in der Lage, mit begrenzten Fragmenten davon zu interagieren, und als solche sehen wir diese Fragmente als separate Identitäten. Und da wir das Ganze nicht beobachten können, werden wir diese Fragmente als getrennte Identitäten mit getrennten und möglicherweise widersprüchlichen Absichten sehen. Tatsächlich kann das System nur über solche Fragmente mit der Welt interagieren, da keine praktisch mögliche Interaktion mehr als einen kleinen Teil der Kapazität des Systems erfordert.

Es würde sich also als eins und unteilbar sehen, aber in der Praxis als eine Vielzahl separater Instanzen agieren, soweit es um Interaktionen zwischen Menschen und der realen Welt geht.