Verhindern, dass dumme selbstreplizierende Maschinen die Menschheit übernehmen, und potenzieller Fall für das Fermi-Paradoxon [Duplikat]

Es könnte sein, dass die Lösung des Fermi-Paradoxons darin besteht, dass Zivilisationen biologischer Kreaturen typischerweise zerstört werden, weil sie von Maschinen übernommen werden, die viel dümmer sind als die ursprünglichen biologischen Kreaturen. Die fortschrittlichsten KI-Systeme, die wir heute haben, sind immer noch intellektuell auf Insektenniveau, aber wir haben bereits Dinge wie autonome Autos. Der kritische Punkt für die Übernahme ist erreicht, wenn wir genug Atomisierung haben, um zu selbstreplizierenden Sätzen von Fabriken zu gelangen, das hat a priori nichts mit Intelligenz zu tun.

Bei einer Übernahme geht es also mehr um Maschinenbiologie als um Maschinenintelligenz. Wir wissen aus der Natur, dass autonome Systeme keine große Menge an Intelligenz benötigen, um zu gedeihen. Die Gefahr der KI besteht dann nicht so sehr darin, dass wir zu superintelligenten Maschinen kommen, die uns ablösen, weil sie intelligenter sind. Es ist unwahrscheinlicher, dass unsere Zivilisation eine maschinelle Abiogenese hervorbringt und sich die Maschinen wie Krebs ausbreiten und am Ende unsere Zivilisation zerstören.

Wie können wir verhindern, in diese Falle zu geraten, die möglicherweise die große Mehrheit anderer Zivilisationen im Universum zerstört hat, wie das Fermi-Paradoxon nahelegt?

Kein exaktes Duplikat, aber ich denke, es deckt diese Frage gut genug ab.
@ Draco18s nein, ist es nicht, andere Sache. Hier ist die KI eher irreführend, nicht der beste Titel.
Seltsamerweise ergibt eine Suche nach KI-Übernahme nicht so viele Fragen, wie ich erwartet hatte. Count, wir brauchen Sie, um die von @Draco18s verlinkte Frage zu überprüfen und uns mitzuteilen, ob es dort eine Antwort auf Ihre Frage gibt oder nicht (ich stimme ihm zu, dass dies leicht der Fall sein könnte). Das ist keine Frage des Stolzes. Wenn ja, müssen wir dies als Duplikat markieren und fortfahren. Ist dies nicht der Fall, müssen wir die Frage eingrenzen, denn „wie-ohne-etwas-über-meine-Zivilisation-zu-wissen“ ist zu weit gefasst und wird zum Abschluss führen.
Dies scheint eine Diskussion Ihrer Ideen zum Fermi-Paradoxon zu sein, aber ich kann keine Worldbuilding-Frage finden. Die einzige Frage ist Ihr letzter Satz, und das ist einfach eine hochspekulative (meinungsbasierte) Frage. Kein Worldbuilding in irgendeiner Weise.
Vier knappe Stimmen aus vier verschiedenen Gründen. Ich hatte das noch nie zuvor gesehen.
@Graf Iblis - tut mir leid, Mann, wenn meine Änderung die Dinge schlimmer gemacht hat, aber anscheinend verstehen diese Wildwest-Revolverhelden die Frage im Allgemeinen nicht. Was traurig ist - eine gute Frage, aber selbstreplizierende Diskussionen sind im Allgemeinen nicht so sehr entwickelt und kommen selten über einfache graue Goo-Szenarien hinweg ... vielleicht ist das der Fall. aber wenn es meine Schuld ist, tut mir das leid.

Antworten (3)

Die Selbstreplikation ist wirtschaftlich nicht rentabel

Das OP hat in einer Sache recht; Was das Leben auf diesem Planeten so reich machte, war nicht Intelligenz, sondern die Fähigkeit zur Replikation. Schließlich (durch die Evolution) treten Variationen in dieser Replikation auf, und einige sind vorteilhaft für das Leben in der Umwelt, andere nicht.

Wenn die DNA nicht so gut darin wäre, sich selbst zu replizieren, gäbe es kein Leben auf der Erde oder anderswo.

Dies unterscheidet sich nicht von (sagen wir) Computerviren. Der Grund, warum sie noch existieren, ist ihre Fähigkeit, sich zu replizieren. Was sie danach tun, wird durch die Nutzlast des Virus (oder Wurms oder Trojaners oder was auch immer) bestimmt, aber ohne die Fähigkeit zur Replikation sind sie für die Person, die sie schreibt, nicht wirklich von Nutzen.

Das ist letztendlich der Grund, warum die maschinelle Replikation keinen Sinn macht; Maschinen werden hergestellt, um in einem angewandten Sinne nützlich zu sein, nicht in ihrer Fähigkeit, sich zu reproduzieren. Anders ausgedrückt, Sie haben vielleicht den effizientesten Herstellungsprozess der Welt (einschließlich Selbstreplikation) für Ihr Widget, aber wenn niemand eine Verwendung dafür hat, wird das Widget nicht hergestellt.

Während das Leben aufgrund seiner anfänglichen Tendenz zur Replikation erfolgreich geworden ist, sind Menschen erfolgreich geworden, weil wir „nützlich“ sind. Wir können uns organisieren, um als Gruppe viel mehr zu erreichen als als eine Ansammlung von Einzelpersonen, was bedeutet, dass wir uns nur für einen Teil unserer Existenz auf die Replikation konzentrieren können (wenn man das Internet als etwas betrachtet, konzentrieren sich einige von uns sehr darauf mehr als wir sollten, um für unsere Gesellschaft nützlich zu sein, aber das geht hier nicht in den Rahmen). Maschinen, unsere Produkte, werden dieser Philosophie folgen , da Menschen alles um sich herum (einschließlich ihrer eigenen Erfindungen) aus einer Nützlichkeitsperspektive betrachten.

Kurz gesagt bedeutet dies, dass wir nicht in ihre billige Reproduktion (effizient) investieren werden, wenn eine dumme Maschine nicht für etwas nützlich (effektiv) ist, weil dies ihre Nützlichkeit nicht erhöht.

Wir haben die wirtschaftliche Frage noch nicht einmal berührt; Wollen Sie wirklich, dass sich Ihr Produkt ohne irgendeine Möglichkeit selbst repliziert;

  • Monetarisierung der Verwendung der Duplikate und
  • Schutz des geistigen Eigentums vor Personen, die es zurückentwickeln wollen?

Ich möchte hinzufügen, dass eine sich selbst replizierende Fabrik viel schwieriger zu erstellen ist, als es sich anhört. Fabriken bestehen aus vielen verschiedenen Ressourcen; Metalle, Gummi, Plastik, Glas usw. Ihre Herstellung und ihr Betrieb erfordern enorme Energiemengen.

Ich sehe einfach keine Fabrik, die in der Lage wäre, Bergbau zu betreiben, zu schmelzen, zu gießen und zu schmieden, Gummibäume für Latex zu züchten, Gummi zu vulkanisieren, Kieselsäure zu ernten, daraus Glas herzustellen, Sonnenkollektoren, Windturbinen, Kernkraftwerke und dergleichen herzustellen um all diese Aktivitäten voranzutreiben usw. Die " Full Stack "-Replikation ist aufgrund der schieren Vielfalt an Aktivitäten, die erforderlich sind, um die dafür erforderlichen Materialien zu sammeln, nicht realisierbar.

"Aber warte!" Ich höre einige von Ihnen sagen: "Was ist mit Replikatoren im Star Trek-Stil? Sie würden es möglich machen, weil alles, was Sie brauchen, Energie ist, richtig?"

Falsch. Nun gut, nicht per se falsch, aber unpraktisch. Um die benötigten Materialien aus reiner Energie zu erzeugen, würde viel Energie benötigt. Tatsächlich verfügt das Universum bereits über diese Art von Technologie, und Metalle und dergleichen werden jeden einzelnen Tag in speziellen Herstellern hergestellt, die genau für diesen Zweck entwickelt wurden. Sterne.

Sterne wie unsere Sonne nehmen Wasserstoff auf und wandeln ihn durch Fusion in Helium und andere schwerere Elemente um. Deshalb glaubt man, dass wir das erste Leben im Universum sein könnten; Viele Sterne mussten in Supernovae sterben, bevor es genügend Metalle und dichte Elemente in den Wolken gab, aus denen die nächste Generation von Sternen geboren wurde. Jedes Element in deinem Körper wurde im Kern eines Sterns geboren.

Aber kein Stern so groß wie unsere Sonne.

Unsere Sonne ist nicht groß genug, um die meisten Elemente zu produzieren, die wir zum Leben brauchen, trotz der enormen Menge an Energie, die sie produziert. Sogar Gold (das ein wesentlicher Bestandteil vieler Formen von Elektronik ist) kann nicht in einer normalen Supernova geboren werden; Es wird allgemein angenommen, dass Gold nur durch die Kollision zweier Neutronensterne (oder ähnlicher Massen) produziert werden kann.

Wenn es SO viel Energie braucht, nur um Gold zu produzieren, wie viel Energie würde Ihrer Meinung nach ein Replikator im Star Trek-Stil benötigen, um alle Materialien herzustellen, die für eine Fabrik erforderlich sind? Sie würden einen Replikator auf der Außenseite einer Dyson-Kugel benötigen, die einen Stern von der Größe von Beteigeuze mit direkter Solarenergieübertragungstechnologie umgibt, nur um es in Betracht zu ziehen.

Endeffekt; Maschinen werden sich nicht bis zu dem Punkt selbst replizieren, an dem sie außer Kontrolle geraten, weil es keinen kommerziellen Nutzen hat, die Vielfalt der Funktionalität, die erforderlich ist, um einen „Full Stack“ zu erreichen, zu groß ist und der Energiebedarf zur direkten Erzeugung von Materie aus Energie gerecht ist zu hoch. Wir werden viel wahrscheinlicher von einer halbintelligenten Computersoftware gestürzt, die sich ständig selbst repliziert und kritische Infrastrukturen (über eine SCADA-Infektion) funktionsunfähig macht.

Da wir uns darauf verlassen, ist es viel wahrscheinlicher, dass Software uns zerstört als Hardware. Selbst das Stoppen der Kraftstoffverteilung durch das Abschalten kritischer Steuerungssysteme zur Überwachung des Pipelineflusses könnte in den meisten Großstädten innerhalb weniger Wochen zu Hungersnöten führen, wenn man bedenkt, wie weit die Menschen von den Nahrungsquellen in der heutigen Welt entfernt sind. Es werden keine dummen Maschinen sein, die uns zu Fall bringen, es werden dumme Programme sein.

traurig WB ist kein Ort für Diskussionen, Sie haben hier viel zu verteidigen - "Unterm Strich; Maschinen werden sich nicht bis zu dem Punkt selbst replizieren, an dem sie außer Kontrolle geraten, weil es keinen kommerziellen Nutzen dafür gibt."
@MolbOrg Ich denke, Sie werden feststellen, dass es bereits im Hauptteil der Antwort verteidigt wurde. DRM existiert, weil eine unkontrollierte Replikation dem Hersteller des Artikels nicht wesentlich zugute kommt. Digitales Material ist SEHR einfach zu replizieren; Niemand wird die physische Replikation (die viel schwieriger ist) entwerfen, ohne die vollständige Kontrolle über den Prozess zu haben. Sogar gentechnisch verändertes Saatgut enthält angeblich Selbstmordgene, sodass Sie mit einem einzigen Kauf von Saatgut keine unbegrenzte Anzahl von Pflanzengenerationen züchten können. Fabrication Rights Management (FRM) wird in einer Welt der Replikation eine große Rolle spielen.
Ja, ich habe die ganze Antwort gelesen. Ich glaube schon, dass die Dinge etwas komplizierter sind. Auf der Erde brauchen wir nicht gerade selbstreplizierende Geräte, normalerweise arbeiten Produktionslinien ewig und neue erstklassige Linien - ihre Entwicklungskosten sind ungefähr so ​​hoch wie ihre Baukosten und es hat keinen Sinn, wenige davon zu machen - wie Intel-Fabs. Aber es hängt auch von einer bestimmten Implementierung einer solchen Selbstreplikation ab - konventionelle Maschinen oder 3D-Druck oder graue Schmiere. Ja, sicher, eine gewisse Kontrolle kann auf beiden Seiten verwendet werden. Eine Frage ist eher der kommerzielle Nutzen - im Weltraum kann es sein.

Die Replikation kann auf eine bestimmte Menge begrenzt werden:

Nur weil es für etwas nützlich ist, sich selbst zu replizieren, heißt das nicht, dass es nützlich ist, wenn es sich unendlich selbst repliziert. Sie könnten konstruktionsbedingt verlangen, dass die Replikation auf eine bestimmte Anzahl beschränkt wird, bis Menschen mehr anfordern.

Um sich selbst zu replizieren, muss ein Roboter ein „Replikationsticket“ ausgeben, aber Replikationstickets können nur von Menschen erstellt werden. Wenn ein Bot viele Tickets hat, kann er einige an andere Bots für eine effizientere Replikation weitergeben, aber kein Roboter kann neue Tickets erstellen. Sobald ein Bot keine Tickets mehr hat, kann er sich nicht mehr selbst reproduzieren. Wenn Sie 64 Bots möchten, beginnen Sie mit einem und geben Sie ihm 63 Replikationstickets. Es wird repliziert und die verbleibenden Tickets werden von ihm und dem neuen geteilt. Dieser Prozess setzt sich rekursiv fort und erhöht die Anzahl der Bots exponentiell, bis schließlich 32 Bots jeweils ihr Ticket verwenden, um weitere 32 Bots zu erstellen. Die resultierenden 64 Bots haben keine Tickets und die Replikation wird beendet. Wenn Sie später mehr Bots wollen, machen Sie mehr Tickets und geben Sie sie aus.

Wenn diese Bots, wie Sie sagten, die dummen, grauen Schleim- oder unendlichen Büroklammern-Typen sind, dann werden sie nicht herausfinden, wie sie die Beschränkungen in ihrer Programmierung umgehen können, wenn sie das überhaupt wollen. Ich gehe davon aus, dass dies eine Prä-Singularitäts-KI ist, da sie nicht intelligent genug ist, um sich selbst neu zu programmieren, um wesentlich intelligenter zu sein.

Wenn Sie sich Sorgen über unbeabsichtigte Fehler oder absichtliches Hacken/Sabotage machen, können Sie eine Hardwareversion des Ticketsystems implementieren. Machen Sie die Roboter unfähig, ein kleines, aber wichtiges Stück von sich selbst zu replizieren, wie einen BIOS-Chip oder ihre Solarzellen. Diese werden auf automatisierten, aber „dummen“ Fließbändern hergestellt, die von Menschen überwacht werden. Wenn wir zu einem bestimmten Zeitpunkt eine begrenzte Anzahl von Chips herstellen, hat jeder potenzielle Ausbruch einer unkontrollierten Replikation eine Obergrenze.

Management, Materie und Energie - müssen von Menschen kontrolliert werden.

Wie in einem strategischen Spiel – Starcraft und dergleichen – haben Einheiten den vollen technologischen Zyklus und die Fähigkeit, sich selbst zu produzieren. Aber sie tun nichts, bis Sie ihnen sagen, dass sie etwas tun sollen.

Die Kontrolle der Quellen und der Menge an Materie, die ihnen zur Verfügung steht, um Dinge zu produzieren, ist auch ein effizientes Mittel, um eine Gesamtmenge von Einheiten zu kontrollieren.

Für jede Arbeit ist Energie erforderlich und die Kontrolle ihrer Quelle können Sie die Ausbreitung der Einheiten stoppen.

So kann die verwobene Interaktion des Managements vieler Menschen mit dem System die entsprechenden Reaktionen auf mögliche Abweichungen im Prozess steuern und formulieren – sind sie von Menschen verursacht oder das Ergebnis eines Fehlers oder Zufalls.

Das sind die 3 wichtigsten Eckpfeiler. Aber es gibt noch viel mehr und sie sind technologieabhängig, da es Potenzial für verschiedene Implementierungen von Selbstreplikationstechnologien gibt. (eine davon sind übrigens die heutigen Technologien mit verwobener menschlicher Interaktion, Verwaltung und Ressourcenkontrolle)

Eine andere Möglichkeit, als Beispiel, könnte sein, dass es Ihnen nichts ausmachen würde, wenn die Selbstreplikation maximal möglich ist, wenn sie die lebendigen Medien schafft, in denen man lebt. Wie Bäume sind solche für viele Tiere und Insekten und die hätten nichts dagegen, wenn die Wälder möglichst das ganze Sonnensystem einnehmen würden. Für Bäume ist es nicht möglich, zumindest nicht so einfach, aber es kann für Infrastrukturen möglich sein, in denen Menschen in einem Sonnensystem leben - mehr davon besser für uns, wenn das System immer noch einfachen Regeln gehorcht (im Grunde stellt es Ressourcen bereit durch a Anforderung eines Menschen) und diese können automatisch überwacht werden, ob die Regeln noch in Kraft sind, und es kann eine angemessene Reaktion erfolgen, wenn diesbezüglich etwas fehlschlägt.

Dumme selbstreplizierende Maschinen - sind eigentlich die beste Wahl von all diesen automatischen Systemen. Sie können auf vielfältige Weise gesteuert werden und wir können ihre Aktion/Reaktion besser und genauer vorhersagen. Kann ein Pferd einen Menschen töten – ja; Ist es ein Problem – im Allgemeinen nicht, Pferde revoltieren im Allgemeinen nicht, und selbst wenn es passiert, ist es kein Problem.