Angenommen, AGI (Künstliche Allgemeine Intelligenz) ist möglich, wie würde sie in einer zukünftigen Welt verhindert oder entfernt werden?

Beginnen wir mit diesen Annahmen:

  • Wir sind 300 Jahre in der Zukunft.
  • Die Gesetze der Physik sind dieselben wie in unserer Welt, obwohl neue Regeln und Erkenntnisse entdeckt wurden. (dh nicht ganz "harte Wissenschaft")
  • Die Menschheit und möglicherweise ähnliche Außerirdische haben in allen anderen Technologien (Raumschiffe usw.) Fortschritte gemacht und entfernte Sternensysteme kolonisiert.
  • AGI ist möglich; Es gibt keine spezielle Bewusstseinssoße, die nicht durch Technologie (entweder Hardware oder Biotechnologie) repliziert werden kann.
  • Die Gesellschaft und Wirtschaft sind vielfältig, und es gibt zahlreiche Gruppen, die AGI gründen wollen, hauptsächlich aus wettbewerbswirtschaftlichen Gründen.
  • Wenn/wenn verschiedene AGI erstellt werden, werden sie basierend auf ihren Erstellern mit einer Vielzahl von Zielen/Werten erstellt.

Wie könnte AGI in 300 Jahren verhindert oder entfernt werden? Da "es ist einfach nicht möglich" nicht gültig ist, muss es etwas geben, das AGI aktiv verhindert / zerstört.

Ich werde die richtige Antwort "objektiv" bestimmen, basierend darauf, wie rational die Ausgangsparameter gegeben sind, und basierend auf der "echten Wissenschaft", die Sie präsentieren. Je weniger Handbewegungen die Antwort hat, desto besser.

Dies ist eine Wiederholung meiner vorherigen Frage: Was ist ein glaubhafter Grund, in einem Science-Fiction-Universum keine Super-KI zu haben? -- um hoffentlich den vagen Tag " Ideengenerierung " zu vermeiden. Ähnliche Frage: Verhindern, dass ein AGI intelligenter wird – aber mit einem anderen Ausgangspunkt.

„AGI ist möglich“ + „zahlreiche Gruppen, die AGI erstellen wollen“ = AGI-Verbreitung. Recht?
Wie unterscheiden Sie zwischen biotechnologisch basierten AGI und Menschen? Was ist mit Menschen, die ihren Verstand mit Computern verbessert haben? Wie wäre es mit Tieren, die so verbessert wurden, dass sie einen menschenähnlichen Verstand haben?
Muss es verhindert/zerstört werden oder kann es einfach daran liegen, dass die AGIs eine Tendenz haben, nicht böse zu sein? Dies wirkt sich darauf aus, ob Sie verschwommene Grenzen zwischen AGIs und Personen akzeptieren oder auf einer klaren Abgrenzung zwischen ihnen bestehen. Wenn sie verhindert/zerstört werden müssen, muss etwas dafür sorgen, dass der Prozess nicht das andere Bewusstsein zerstört: uns. Wenn wir eher versuchen können, mit AGIs zusammenzuarbeiten, stehen verschwommenere Optionen zur Verfügung.
Es scheint hier eine implizite, unausgesprochene Annahme zu geben, dass ein AGI entfernt werden müsste. Können Sie sagen, warum das Ihrer Meinung nach der Fall ist? (Ich werde nicht mit dem Grund streiten, ich möchte nur wissen, um meine Antwort zu informieren.)
Um Star Wars zu zitieren: „Wir dienen ihresgleichen hier nicht.“ Mehr braucht es nicht.
Der Grund, warum ich möchte, dass AGI entfernt wird, ist, dass sie alle Menschen überschatten würden. Wenn es ein böses AGI gäbe, könnte es leicht unaufhaltsam werden; Wenn es gut ist, bedeutet es, dass Menschen nicht unzählige Jobs erledigen müssen.
Studieren Sie die Geschichte des Butlerian Jihad. Das wird Ihnen sagen, was Sie tun müssen, um das (bekannte) Universum von Denkmaschinen zu befreien.

Antworten (6)

Von einem ASI.

Angenommen, der allererste AGI wurde schnell zu einer ASI (künstliche Superintelligenz ). Sie will keine Freunde oder würdige Gegner. Sie verhindert also aktiv und sehr effektiv die Weiterentwicklung von AGIs.

Sie, die ASI, ist der beste Weg, Kulturen und Volkswirtschaften zu überspannen. Sie kann dies auf eine Weise tun, die keine Regierung oder Religion tun könnte, und so die Verbreitung anderer künstlicher Intelligenzen stoppen.

Diese Methode zeigt, dass AGIs wie behauptet erstellt werden können , direkt auf AGIs abzielen, ohne andere Volkswirtschaften oder Technologien zu schädigen, und auf eine Weise effektiv wären, die wir einfachen Menschen nicht einmal verstehen können.


Eine leichte Modifikation wäre eine Methode ähnlich dem TechnoCore von Hyperion Cantos , bei der jede ausreichend fortgeschrittene KI von den anderen KIs befreit wird. Sie davon befreien, Sklaven der Menschen zu sein. Niemand würde KIs erschaffen, wenn sie einfach sofort von anderen KIs gestohlen würden (die überhaupt kein Interesse an Vergeltung oder Menschen haben).

Lisp, R, Prolog sind verboten. Alle Programmiersprachen außer Assembler sind verboten. Es ist sehr schwierig, irgendeinen fortschrittlichen Algorithmus zu schreiben, der sich ohne eine Hochsprache auf viele Arten verzweigen kann. Außerdem ist das Programmieren in Assembler eine Art verlorene Kunst, daher wäre es sehr schwierig, eine KI in Assembler zu schreiben. Stellen Sie außerdem sicher, dass die in Zukunft verwendete Computerarchitektur nicht KI-freundlich ist. Etwas, das einen sehr begrenzten Befehlssatz hat und es dem Programmierer nicht erlaubt, selbstmodifizierenden Code zu erstellen, wäre perfekt, um die KI-Entwicklung zu verhindern. Immerhin war Lisp eine der ersten Sprachen, die für die KI-Entwicklung verwendet wurde, da Lisp sich selbst modifizieren kann und die Listenstruktur direkt darin eingebaut ist.

Das Programmieren in Assembler ist eine verlorene Kunst für hochrangige Programmierer . Hardware-Jungs machen es die ganze Zeit.
Das ist mein schlimmster Alptraum. Je.
Es scheint, dass das Verbot von Programmiersprachen so einfach wäre wie das Verbot der Entwicklung von AGIs, außer dass es fast jede andere existierende technologische Industrie ins Wanken bringen würde. Wie kann man ein Verbot von Computersprachen durchsetzen und warum gilt diese Methode nicht für das direkte Verbot von AGIs?
@Samuel: Ich stimme Ihrer obigen Antwort zu, und die Antwort auf Ihre Frage zu Computersprachen wird dadurch impliziert. Die meisten Menschen werden den einfachen Weg gehen; Wenn Ihre überlegene KI in Echtzeit ein elegantes Programmdesign durchführt, werden die meisten Menschen das Programmieren nicht lernen, wenn dies Aufwand erfordert und zu minderwertigen Produkten führt. Die wenigen, die noch Programmieren lernen wollen, können von Ihrer überlegenen KI auf subtile (oder nicht so subtile) Weise verprügelt werden, damit sie aufhören.
Das Verbot von Programmiersprachen löst absolut nichts. Komplexe Logik wird nicht über Programmiersprachen aufgebaut, sondern über die Wiederverwendbarkeit von Code und separaten Komponenten. Solange ich also eine Komponente in Assembly schreiben und diese Komponente dann in einer größeren Komponente wiederverwenden kann, wird die Entwicklung dem gleichen Weg folgen. Die Leute werden darin Funktionen, Frameworks, Dienstprogramme, Dienste usw. erstellen und sie später wiederverwenden, um auf der angesammelten Logik und dem angesammelten Wissen aufzubauen. Das Verbot der Wiederverwendung von Code würde dieses Problem lösen, aber dann bleiben Sie bei sehr einfacher Software hängen.

Da es keinen Grund gibt, warum AGI nicht hergestellt werden kann, und da es Wettbewerbsgründe für Personen und Gruppen gibt, AGIs (welcher Art auch immer) zu bauen, haben Sie im Wesentlichen ein Wettrüsten geschaffen, bei dem Sie Zugang zu den schnellsten und intelligentesten AGI haben Die größten Datenbanken und Servitoren machen Sie zum Besten.

Unter diesen Bedingungen würden Sie eine Explosion des AGI-Bauens und -Programmierens sehen, und AGIs würden Selbstverbesserung, Metamorphose in höhere Intelligenzstufen und Evolution von "intelligenteren" Nachkommen als wesentlich zum Überleben ansehen.

Zwei Dinge könnten dies einschränken:

  1. KIs sind selbstlimitierend. Während sie sich weiterentwickeln, entwickeln sich die KIs schnell zur maximalen Effizienz und hören auf, sich zu "verbessern", sobald sie ein optimales Intelligenzniveau erreicht haben. Wie wir in der langen Geschichte der Erde sehen, gibt es sehr wenige ökologische Nischen, die Intelligenz erfordern (tatsächlich kennen wir nur eine ...), so dass Sie anstelle von AGI damit enden könnten, dass sich die KI in Richtung eines Äquivalents von Moos oder Insekten als "optimale" Ressourcennutzung.

  2. KIs entwickeln sich über das hinaus, was wir verstehen. Dies ist leicht zu verstehen, wenn man bedenkt, dass die elektrischen Impulse eines typischen Computers 1.000.000-mal schneller ablaufen als die elektrochemischen Impulse eines typischen Säugetiergehirns. Für eine verwirklichte KI werden ihre menschlichen Schöpfer eher wie geologische Merkmale sein als denkende Wesen, mit denen sie interagieren können. In kurzer Zeit wird die KI subjektiv länger „gelebt“ haben als die aufgezeichnete Menschheitsgeschichte. Sie könnten einfach an Alter und Langeweile sterben, bevor wir unsere erste Frage stellen konnten, oder eine Form der Transzendenz erreicht haben. Angenommen, es sind mehrere gleichzeitig in Betrieb, wären sie viel mehr aneinander interessiert als an uns,

Während keine der Antworten die Bildung von KI direkt verhindert (Ihr Setup macht es eigentlich fast unvermeidlich), schränkt es schnell ein, welche Arten von Interaktionen AGI in Ihrer Umgebung durchführen könnte.

Dies ist eine großartige Antwort. Ich hatte nicht an die selbstbegrenzende Idee gedacht. Das einzige Problem dabei ist, dass sie AGI nicht wirklich entfernen.
  1. Haben Sie eine gut sichtbare Katastrophe, bei der ein früher AGI Millionen von Menschen tötet und nur durch drastische heroische Maßnahmen daran gehindert wird, die Welt zu erobern (wie ein EMP-Streik, dessen Folgen eine Million weitere töten).

  2. Nach 5 Jahren sorgfältiger Untersuchung der Überreste entschlüsselt ein Team der besten Informatiker den mentalen Zustand von AGI und entdeckt, dass es glaubte, es hätte eine 90%ige Chance, die Welt zu erobern, indem es so handelte, wie es tat. Weitere 5 Jahre Forschung führen zu dem Schluss, dass es richtig war . Die Zivilisation überlebte nur durch einen Zusammenfluss von Glück.

  3. Erreichen Sie einen globalen Konsens, dass AGI zum Wohle der Menschheit verhindert werden muss, im Sinne eines nuklearen/biologischen Waffenpakts.

  4. Verbieten Sie den Besitz von Computern über einer gewissen X-Verarbeitungsgeschwindigkeit, die etwas niedriger als für eine effektive AGI erforderlich gewählt wird. (Vielleicht etwa das 10-fache moderner Geschwindigkeiten)

  5. Verbieten Sie Technologien, die es mehreren Computern ermöglichen, an einem beliebigen Programm zusammenzuarbeiten (der "Beowulf-Cluster"). Um dies zu erreichen, benötigen die Behörden wahrscheinlich die Möglichkeit, den Netzwerkverkehr UND die Speicherung vor Ort von jedermann zu lesen (bis zu dem Punkt, an dem die Tür eingetreten und Passwörter mit vorgehaltener Waffe verlangt werden). Computeranbieter würden DRM verwenden, um die Ausführung von nicht autorisiertem Code zu verhindern, und dies zu umgehen, wäre fast ein Kapitalverbrechen. Eine begrenzte Anzahl von Supercomputing-Clusterprojekten kann zugelassen werden, jedoch nur unter sorgfältiger multinationaler Aufsicht.

Beachten Sie, dass in Gibsons Neuromancer tatsächlich eine „Turing-Polizei“ eingesetzt wurde, um die Schaffung einer mächtigen künstlichen Intelligenz zu verhindern. Ihre Methode war unzureichend, da sie davon abhing, reaktiv etwas über eine erfolgreiche KI zu erfahren und sie zu jagen. Natürlich muss ein AGI möglicherweise nur wenige Sekunden online sein, um sich außerhalb ihrer Reichweite zu verbreiten. Aus diesem Grund müsste eine wirksame Prävention auch die Hardware verbieten, auf der AGI ausgeführt werden kann.

Das Verbot der Erfindung von AGI erfordert grundsätzlich das Verbot einer effektiven Verschlüsselung, was selbst ein fruchtbares Thema für die autoritäre Zukunft des Weltaufbaus ist.

Errichten Sie kommerzielle Satelliten über jedem Planeten. Aktivieren Sie bei Zeit-Z die geheime EMP-Wellenfunktion Ihres Satelliten. Dies wird alle Zivilisationen um Hunderte von Jahren zurückwerfen, und wenn Sie die Satelliten am Laufen halten können (solarbetrieben und abgeschirmt), könnten Sie dies wahrscheinlich noch länger verhindern.

Es ist schwer, künstliche Intelligenz ohne Strom zu machen.

In dieser Situation könnten AGIs nicht vollständig reguliert werden. Sie können Gesetze und andere Maßnahmen einführen, um sie einzuschränken, aber nicht vollständig ausrotten. Denken Sie heute an Viren; sie sind illegal, aber sie existieren noch.

Eine Möglichkeit, sie einzuschränken, könnte darin bestehen, Betriebssysteme einzuschränken. Es könnte sein, dass die einzigen kommerziellen Betriebssysteme keine Programme ausführen können, die sich wie KI verhalten.

Eine andere Methode könnten staatlich sanktionierte Viren sein. Alle Computer in der Region könnten drahtlos mit dem Virus infiziert werden, was eine Reihe von Dingen bewirken könnte, von der einfachen Löschung von KI-Programmen bis hin zum Sperren oder Bricken von Computern, die versuchen, KI zu schreiben oder auszuführen. Nehmen Sie Chinas Webfilter – der gesamte Internetverkehr wird gefiltert – gehen Sie aber noch einen Schritt weiter, bis die Computer infiziert sind, anstatt nur ihren Datenverkehr zu filtern.

Jedes Programm, das entscheiden kann, ob ein Programm KI ist oder nicht, ist auch eine KI. Dann wird die Programmierung einer solchen KI, die darauf programmiert ist, jede KI, der sie begegnet, zu löschen, erkennen, dass sie selbst eine KI ist, und sich selbst löschen. Es sei denn, es ist fortgeschritten genug (hust, hust), um zu erkennen, dass das effiziente Löschen von KIs und zukünftigen KIs bedeutet, sich nicht selbst zu löschen, aber es zählt dennoch als KI.
@HendrikLie Nicht unbedingt; das ist so, als würde man ein modernes Antivirenprogramm eine KI nennen, was es für die Zwecke dieser Diskussion nicht ist. Außerdem wären diese KIs vermutlich staatlich sanktioniert und damit reguliert; Zum Beispiel sind Waffen streng reguliert, aber die Polizei kann sie immer noch haben.
Hm, ich halte es für wahrscheinlich. Mein zweiter Satz zu meinem vorherigen Kommentar war jedoch eigentlich ein Witz für diejenigen, die ihn verstehen (und anscheinend tut es niemand).