Würde das Bedürfnis nach Kontrolle die Expansion eines superintelligenten rationalen Agenten im Universum einschränken?

Meine Gedanken gehen so:

  • Ich postuliere einen superintelligenten rationalen Agenten, der die Kontrolle über seine Mutterzivilisation erhält oder annimmt. Ich nenne diesen Agenten "den Herrscher".

  • Ich postuliere, dass der Herrscher, um effiziente lokale Operationen weit entfernt von seinem Standort durchzuführen, ein gewisses Maß an lokaler Autonomie zulassen muss, und je größer, weiter und komplexer die Operationen sind, desto größer ist die Autonomie. Dafür postuliere ich, dass es neue intelligente Agenten/Minions entwickeln muss, um ihm zu dienen.

  • Die Menschheit hat das Friendly AI-Problem noch nicht gelöst, und daher wissen wir nicht, ob autonomen Agenten überhaupt vertraut werden kann. Unsere derzeitige Weltstabilität und der relative Frieden in einer Gesellschaft autonomer Agenten (uns) können auf unserer gegenseitigen Verwundbarkeit beruhen. MAD ist ein Beispiel. Denken Sie auch an den Satz „Macht korrumpiert“.

  • Ein superintelligenter KI-Designer hat einen Vorteil, nämlich Superintelligenz. Es muss keine stärkere Intelligenz als seine eigene beherrschen, sondern kann sich einfacherer bedienen. In diesem Stadium der Geschichte wird der Herrscher jedoch mit Sicherheit wissen, dass autonomen Agenten im Allgemeinen nicht vertraut werden kann, dass sie keine intelligenteren Agenten erschaffen, und dass die Intelligenz, die benötigt wird, um eine Superintelligenz (oder eine Intelligenzexplosion) zu schaffen, auf dem einfachen Menschen liegt Niveau. Es kann der Fall sein, dass jeder Agent, der hoch genug ist, um einen Planeten oder ein Sonnensystem zu führen, mit einer Art internem Belohnungssystem (denken Sie an Dopamin) ausgestattet sein muss, das tief im Inneren mit den Zielen anderer Agenten, einschließlich seines Schöpfers, in Konflikt steht.

  • Selbst wenn die lokalen Agenten vertrauenswürdig gemacht werden können, wie können der Herrscher und seine Schergen wirklich wissen , dass die Signale, die sie erhalten, freiwillig vom angeblichen Absender gesendet und nicht manipuliert wurden? Angeblich werden viele der Signale, die zwischen einem mächtigen lokalen Vertreter und dem Herrscher gesendet werden, die wichtigsten Befehle und Ereignisse sein, wie Kriege und Begegnungen mit neuen Arten, die beide Signalmanipulationen mit sich bringen können. Manipulationen in der Luft (oder im Vakuum) können wahrscheinlich durch Quantenverschlüsselung ausgeschlossen werden, BEARBEITEN: Aber ich denke, Signalstörungen können dies nicht. Signalstörungen isolieren möglicherweise den lokalen Vasallen vom Herrscher, was bedeutet, dass der Vasall seine eigenen Entscheidungen treffen muss, was dem Imperium möglicherweise schaden kann.

  • Dies ist nicht nur ein Spezialfall des Problems der Entscheidungsfindung unter Unsicherheit. Es geht darum, das Risiko einzugehen, alles zu ruinieren, während man kurzfristig (vielleicht Hunderte von Millionen Jahren) fast nichts erreicht. Warum nützliche Materie von der besten Energiequelle entfernen, die Sie haben?

  • Meine Hypothese ist, dass ein rationaler Herrscher standardmäßig nicht ins Universum expandieren würde. Es könnte SETI-Programme und "unbemannte" Raumsonden ausführen und begrenzte Operationen im Sonnensystem in Reichweite nicht autonomer (oder nicht intelligenter) Überwachungs- und Kontrollmaßnahmen durchführen/erlauben. Eine Folge davon ist, dass es alle anderen daran hindern würde, den Raum zu verlassen, den es direkt kontrollieren kann. (Vielleicht ist diese "Komfortzone" viel kleiner als das Sonnensystem.)

  • Wenn andererseits ein Endziel die konvergenten instrumentellen Ziele (auch bekannt als „grundlegende KI-Antriebe“) von Macht und Sicherheit teilweise überschattet, könnte es expansiver sein. Das finde ich einen schönen Gedanken: Nur wer seine eigene Verletzlichkeit akzeptiert, kann unendlich wachsen. (Hehe, ich weiß, ich habe es ein wenig gestreckt.) Es könnte auch sein, dass eines meiner „vielleicht“ falsch ist.

  • Wenn dieses Problem so schwierig ist, wie ich vermute, könnte es eine Lösung für Fermis Paradoxon sein? Damit meine ich, dass es wahrscheinlich ist, dass hochintelligente rationale Agenten von fortgeschrittenen Zivilisationen geschaffen werden und dass sie die Weltraumexpansion verhindern werden (was Nick Bostrom einen großen Filter nennt), und dass das der Grund ist, warum wir a nicht treffen viele Außerirdische, obwohl ihre Zivilisationen möglicherweise schon seit Hunderten von Millionen Jahren existieren.

Ich habe wenig Wissen über den Stand der Technik bei Sicherheits-/Vertrauensmaßnahmen und bin sicher, dass jemand mehr Licht ins Dunkel bringen kann. Das heißt: Die Hauptfrage im Titel und die (Un)gültigkeit meiner Argumentation darum herum.

Anhang 1: Es ist denkbar, dass sich der Herrscher irgendwann entschließt, auf einen jüngeren oder größeren Stern abzuwandern, um seinen Zielen langfristig zu dienen. Und es ist nicht ganz undenkbar, dass es ein nicht-intelligentes Dyson-Sphärenkraftwerk hinterlassen würde. Tatsächlich könnte die Schaffung einer Dyson-Sphäre, wenn sich diese innerhalb der "Komfortzone" des Herrschers befindet, eine starke Waffe zur Unterdrückung benachbarter Sterne antreiben. Aber zwischen dem Zeitpunkt des ausgelösten Alarms im anderen System und dem Zeitpunkt, an dem der Todesstrahl dieses Systems eintrifft, um es zu zerstören, kann alles passieren. Im schlimmsten Fall könnten unaufhaltsame Todesstrahlen in beide Richtungen gehen ...

Anhang 2: Die vorgeschlagene Neutrino-Antineutrino-Strahlwaffe könnte in Zukunft Realität werden und wird sowohl als sofortige Aktion als auch als unmöglich zu verteidigen beschrieben. Dies kann (noch mehr als Atomwaffen) eine verteilte Denk- oder Machtstruktur erzwingen, möglicherweise mit internen Vertrauensproblemen. Eine Alternative ist eine Art Doppelgänger-Lösung, so dass so gut wie niemand weiß, wer der wahre Herrscher ist, wenn das möglich ist.

Anhang 3: Ich mache keine Annahmen über andere Agenten im Allgemeinen, aber der Herrscher darf seine Schergen konstruieren . Dies soll ein Szenario sein, das für das wirkliche Leben relevant ist, möglicherweise in den nächsten Jahrhunderten. Der Herrscher ist ein rationaler superintelligenter Agent. Sie stellt somit eine Obergrenze für die menschliche Intelligenz und Rationalität dar, deren endgültige Ziele in dieser Frage bewusst nicht spezifiziert werden. Typischerweise würde die Mutterzivilisation versuchen, es ihnen freundlich zu machen, aber meine Frage kann gelten, ob ihnen dies gelingt oder nicht. Die strategischen Schlussfolgerungen für den Herrscher gelten dann wohl auch für einen Kaiser mit den gleichen Endzielen und in gewissem Maße für eine herrschende Organisation, aber ich beabsichtige nicht, innere Konflikte zu berücksichtigendes Herrschers, es sei denn, diese können nachweislich eine mögliche Folge von irgendwelchen seinHerrscher (einschließlich eines superintelligenten Agenten) in der richtigen (falschen) Umgebung. EDIT: Ob die von einer Superintelligenz konstruierte Vertrauenswürdigkeit eine Obergrenze für die menschliche Vertrauenswürdigkeit darstellt oder nicht, bleibt, soweit ich das beurteilen kann, unentschieden. Während es verlockend ist, eine Superintelligenz als „gottähnlich“ zu betrachten, ist die Menge an Berechnungen, die in Millionen von Jahren der Evolution von Menschen, Primaten und Säugetieren aufgewendet wurde, dennoch immens. Die menschliche DNA soll ungefähr 1 GB groß sein (glaube ich), und selbst wenn nur 1 kB für unsere inhärente Vertrauenswürdigkeit wesentlich ist (falls es die überhaupt gibt), ist das Finden oder Generieren dieses relevanten Codes eine enorme Aufgabe. (Eine Möglichkeit für den Herrscher wird tatsächlich darin bestehen, menschliche Diener zu konstruieren, ähnlich wie die zylonischen Klone von Battlestar Galactica.)

Anhang 4: Ich möchte eine stärkere Verbindung zu Robin Hansons Konzept eines großen Filters herstellen(erstmals bekannt gemacht von Nick Bostrom). Das Great-Filter-Modell ist eine Antwort auf Fermis Paradoxon (im Grunde: „Wenn intelligentes Leben nicht extrem selten ist: Warum treffen wir nicht viele Außerirdische oder hören von ihnen, wenn man bedenkt, dass viele Sonnensysteme Hunderte von Millionen Jahren Zeit hatten, sich zu entwickeln und Leben verbreiten?"). Große Filter sind nahezu universelle Barrieren, die überwunden werden müssen, um ein Weltraumimperium zu errichten. In Drakes Gleichung (zur Berechnung der Anzahl der Zivilisationen in unserer Galaxie, die Funksignale in den Weltraum senden können) sind viele der Terme Prozentsätze, einige von ihnen multiplizieren sich bis zu dem, was man als Prävalenz lebenserhaltender Planeten bezeichnen kann (bezogen auf die Hypothese der seltenen Erden). Dann besteht eine Wahrscheinlichkeit für die Entstehung von Leben auf einem lebenserhaltenden Planeten. Dann, abweichend von der ursprünglichen Gleichung, man kann mehrere weitere Schritte in Betracht ziehen, wie die Entstehung von vielzelligem Leben durch Leben, die Entstehung von Intelligenz durch Nervensysteme und so weiter. Alle diese Stufen sind Kandidaten dafür, großartige Filter zu sein. Wenn wir jedoch einzelliges Leben auf dem Mars finden, dann brechen alle frühen Great-Filter-Kandidaten im Wesentlichen zusammen. Bostrom befürchtet, dass der Größte Filter vor uns liegt, und er macht ausdrücklich auf die Bedrohung durch Superintelligenz aufmerksam.Falls irgendjemand hier Bostroms Buch „Superintelligenz: Wege, Gefahren, Strategien“ gelesen hat: Stellt er detailliert dar, in welcher Weise er glaubt, dass eine Superintelligenz einen großen Filter gegen uns darstellt, wenn wir außerirdische Aktivitäten beobachten, einschließlich der Aktivität der Superintelligenz selbst?

Anhang 5: Wenn es möglich ist, eine KI mit einigen (vielleicht nur) streng externen, nicht selbstsüchtigen Zielen zu konstruieren, könnte sie bereit sein, Kopien von sich selbst in ihrer Mission loszulassen, „Güte im Universum zu verbreiten“. Auch wenn die Ziele der Agenten genau die gleichen sein werden, werden sie dennoch ihre individuellen Perspektiven darauf haben: individueller sensorischer Input und lokale Steuerungsfähigkeiten und darauf basierende Urteile. Es besteht also die Gefahr einer „gesunden Konfrontation“.

Gehen Sie davon aus, dass alle Agenten rational sind oder nur der Herrscher? (Wenn der Herrscher mit irrationalen Agenten fertig werden muss, ist das Problem für ihn viel schwieriger) Und habe ich Recht, wenn ich davon ausgehe, dass Sie, wenn Sie von einem "Herrscher" sprechen, "eine Art herrschende Organisation" meinen und nicht unbedingt eine einzelne Person?
Willkommen auf der Seite, Anonym. Wie Sie vielleicht nicht wissen, widmet sich das Stack Exchange-Netzwerk von Websites eher spezifischen Fragen und Antworten als einem Diskussionsforum, das an anderer Stelle im Internet verfügbar ist. "Was denken Sie?" Fragen werden als offene Diskussionen betrachtet und ausdrücklich als Off-Topic deklariert . Ich würde vorschlagen, dass Sie an der Tour teilnehmen und vorhandene Fragen durchsuchen, um ein Gefühl dafür zu bekommen, was wir von Fragen erwarten.
@Frostfyre Ja, ich bin mir der Frage-Antwort-Natur der Site bewusst. Ich will die Regeln nicht brechen. Der Satz "Was denkst du?" bezieht sich auf die Gültigkeit meiner Gedanken und auf die Frage im Titel . Es gibt auch einige Anschlussfragen im Text, von denen einige meiner Meinung nach anständig beantwortet werden können. Wie auch immer, dies ist sowieso in der Nähe eines Scifi-Forums, also erwarten Sie hier nicht das gleiche Maß an strengen Fragen und Antworten wie beispielsweise im Mathe-Forum.
@Kolaru Ich mache im Allgemeinen keine Vermutungen über andere Agenten, aber der Herrscher darf seine Schergen konstruieren. Das soll ein reales Szenario sein. Mit dem „Herrscher“ meine ich idealerweise einen rationalen Agenten mit individuellen Zielen. Um innerhalb der Grenzen des "rationalen Agenten" zu bleiben, betrachten Sie den Herrscher als eine einzelne Superintelligenz. Aber die strategischen Antworten gelten dann auch für einen Kaiser und teilweise für eine herrschende Organisation, aber ich beabsichtige nicht, mit Konflikten innerhalb der Autorität zu rechnen, es sei denn, diese sind eine notwendige Folge IRGENDEINER Autorität.
Wir sind kein Forum (Scifi oder sonstiges) und wir haben Regeln, an die wir uns halten. Wir verfeinern derzeit unseren Anwendungsbereich, aber ich bin der Meinung, dass diese Frage außerhalb des für das SE-Netzwerk als Ganzes angemessenen Fragenbereichs liegt.
@Frostfyre In Ordnung, also war "Forum" das falsche Wort. Und ich weiß, dass es einen separaten Scifi-Bereich gibt. Aber "Worldbuilding" ist nichtsdestotrotz spekulativ. Ich habe versucht, meinen Frageposten jetzt zu präzisieren, um angemessene Antworten auf die Titelfrage zu finden.
Interessanterweise gibt es für dieses Problem mindestens einen Lösungsversuch: den menschlichen Körper. Wenn Sie die Probleme betrachten, die Sie betrachten, haben sie alle direkte Auswirkungen darauf, wie der menschliche Körper funktioniert oder nicht funktioniert. Angesichts der Stärke dieser Folgerungen stellt sich die Frage: Versuchen die Menschen, sich ins Universum auszudehnen?

Antworten (5)

Abgesehen von den Antworten von WestOfPecos und AndreiROM wird der Herrscher auf drei weitere Probleme stoßen, die die Aufgabe fast unmöglich machen.

Problem eins ist, dass sehr große Systeme wie Ökosysteme, Klima, Märkte, Gesellschaften etc. komplexe adaptive Systeme sind, bei denen Inputs und Outputs nicht linear oder zeitlich verbunden sind. Ein Push hier könnte zu einer Ausgabe dort führendas ist das 10-fache des anfänglichen Schubs oder 1/15 des anfänglichen Schubs oder eine andere Zahl insgesamt. Die Ausgabe wird möglicherweise für einen Zeitraum von Sekunden bis Jahrhunderten nicht einmal gesehen (abhängig von der Komplexität des Systems und der Anzahl der zwischengeschalteten Knoten im System). Die Chaostheorie (die verwandt ist) legt auch nahe, dass selbst die Kenntnis der Startbedingungen es Ihnen nicht erlaubt, die Ergebnisse vorherzusagen. Der Ruler könnte denken, dass er eine korrekte Anpassung an den Stoß an Punkt „A“ vornimmt, nur um festzustellen, dass der nächste Stoß zu einem Ergebnis an Punkt „F“ und nicht wie gewünscht an „B“ führt.

Problem zwei wird als "Lokales Wissensproblem" bezeichnet. Wie von FAHayek beschrieben, sieht es vor, dass Informationen über große Systeme verteilt werden und nur lokale Akteure mit direkter Beobachtung schnell genug auf ein paar flüchtige Informationen reagieren oder handeln können, um sie richtig zu nutzen. Große zentralisierte Systeme erfordern, dass die Informationen aufgezeichnet, die Kommunikationskette nach oben weitergegeben, analysiert, eine Entscheidung getroffen und Befehle zum Handeln zurück in die Kette geleitet werden. Zu diesem Zeitpunkt sind die Anfangsbedingungen vorbei und die angeordneten Aktionen sind weniger oder sogar nicht mehr relevant. Das ist eigentlich der Grund, warum freie Märkte immer besser abschneiden als Planwirtschaften.

Ich stelle fest, dass Sie in Ihrer Frage zur lokalen Autonomie einige Zugeständnisse gemacht haben, aber da die Unteragenten dem Herrscher von Natur aus untergeordnet sind und Berichte erstellen und Befehle ausführen müssen, wird es immer zu einem gewissen "Ziehen" im System kommen zum Ortskenntnisproblem.

Das dritte und letzte Problem ist die Latenz. Da der Herrscher an der Spitze eines sonnensystemweiten/interstellaren Gemeinwesens steht, wird es erhebliche Verzögerungen bei der Weitergabe von Informationen von den verschiedenen Unteragenten geben, entweder aufgrund der Lichtgeschwindigkeit oder aufgrund der Beschränkungen der verfügbaren Bandbreite in jedem FTL-Kommunikationssystem (Es tut mir leid, der Ruler ist gerade mit Anrufen beschäftigt. Bitte bleiben Sie auf dem Ansible und der Ruler wird Ihren Anruf so schnell wie möglich erreichen. Dieser Anruf kann zu Schulungs- oder Qualitätskontrollzwecken aufgezeichnet werden ....) und natürlich, wie viel Bandbreite und Rechenleistung der Ruler selbst hat. Neben dem Problem der Ortskenntnis kann es zu erheblichen zeitlichen Verzögerungen bei der Weitergabe und Verarbeitung von Informationen kommen, was ebenfalls zu Reibungen im System führen wird.

Der Herrscher sollte das alles natürlich wissen, aber es wird keine Möglichkeit geben, diese Probleme zu vermeiden oder zu umgehen. Selbst wenn die Unteragenten starr programmiert sind und alle Kommunikationskanäle fehlerfrei sind (ein weiteres Problem, siehe Kommunikationstheorie), wird es immer induzierte Fehler und Rückkopplungsschleifen im System geben, die durch die Nichtlinearität des Systems, das lokale Wissensproblem und verursacht werden Latenz im System. Das Worst-Case-Ergebnis ist ein verrücktes System, in dem alles irgendwie ineffizient dahinschlurft, ähnlich wie in den schwindenden Tagen der Sowjetunion auf interstellarer Ebene.

Gier hat, historisch gesehen, Vorsicht ersetzt.

Es gibt keinen Kaiser in der Geschichte, der jemals auf seine riesigen Besitztümer geschaut und gesagt hat:

"Meine Güte, das scheint ziemlich genug Land/Leute zu sein, um es zu verwalten!"

Während ein kleineres Imperium eindeutig einfacher zu kontrollieren ist, gibt es einige Möglichkeiten, die Probleme zu umgehen, die Sie vorhersehen. Der wichtigste unter ihnen ist die Religion und die Aufrechterhaltung eines Würgegriffs auf wichtige Informationen wie Kommunikation und Raumfahrt .

Ein Imperium gründen

Alles, was Ihr Kaiser tun muss, ist, eine Institution zu gründen, die einer Kirche ähnelt, mit sich selbst als Anführer. Die Mitglieder dieser Institution werden weitreichende Befugnisse haben und ein wichtiger Teil der Verwaltung jeder Welt werden. Sie sollten diejenigen sein, die die Kommunikation mit anderen Sonnensystemen handhaben und das Wort des Imperators an die Menschen weitergeben .

Während jede Welt ihre eigene militärische Streitmacht unter dem Kommando des planetaren Gouverneurs haben könnte, wird die Autorität der Kirche seine ersetzen, und sie wird ihre eigene, schwerer bewaffnete, viel mehr High-Tech-Streitmacht zur Verfügung haben. Nennen wir sie nur so zum Teufel die Tempelritter .

Darüber hinaus, während jeder planetarische Gouverneur alle Andersdenkenden jagen und hinrichten sollte, sind die Adligen jeder Welt nicht über jeden Verdacht erhaben. Daher sollte die Kirche die Befugnis haben, jeden zu untersuchen, zu verhaften und hinzurichten . Nennen wir diesen Zweig ihrer Institution die Inquisition .

Behalten Sie die Kontrolle

Während die Menschheit eindeutig Zugang zu sehr fortschrittlichen Technologien hat, begrenzen Sie den Zugang, den jeder Planet zu diesen Technologien hat.

Zum Beispiel sollte jedes Schiff, das die intergalaktische Leere bereist, dies immer nur mit versteckten Agenten der Inquisition an Bord tun. Darüber hinaus sollte jedem Schiff ein offizieller Priester zugewiesen werden , der, sollte sich ein Offizier oder sogar der Kapitän als Ketzer erweisen, bevollmächtigt ist, sie hinzurichten und das Kommando über das Schiff zum Ruhm des Imperiums zu übernehmen !

Betreuen Sie alle sehr hochtechnologischen Produktionsanlagen innerhalb des Sonnensystems oder auf ausschließlich von der Kirche kontrollierten Welten. Lassen Sie nicht einmal kirchliche Eiferer auf diesen Welten zu. Mit anderen Worten, wenn Sie mit der fortschrittlichsten Technologie des Imperiums arbeiten oder sie verstehen wollen, müssen Sie ein hingebungsvolles Mitglied der Kirche sein.

Kirchentruppen/Inquisitoren sollten Zugang zu Waffen, Rüstungen und Technologien haben, die alles zerschmettern können, was ein planetarischer Gouverneur gegen ihre Expeditionstruppe werfen könnte.

Alle neuen Technologien, die auf einer Welt des Imperiums entdeckt werden, sollten sofort von der Kirche beschlagnahmt und zum Studium auf eine ihrer Welten zurückgebracht werden, ohne dass sie in das Imperium freigegeben werden dürfen.

Und nicht zuletzt sollte jede Welt, die versucht zu rebellieren, schreckliche Strafen erleiden, wie die Dezimierung der Bevölkerung oder sogar die Säuberung durch nukleares Feuer .

Korruption

Die Kirche muss bis zu einem gewissen Grad korrupt sein , aber genau darum geht es den Inquisitionsfanatikern. Jage die Verräter und Ketzer und töte sie auf grausame Weise.

Hinweis: Wenn irgendetwas davon bekannt vorkommt, liegt das daran, dass ich im Grunde erklärt habe, worum es im Warhammer 40K-Universum geht.

Ich mag intuitiv die Idee, Geheimagenten überallhin zu schicken. Aber dann wird mir klar, dass sie denselben Vertrauensproblemen unterliegen wie die lokalen Machthaber, wenn sie gleichermaßen autonom sein sollen.
@Anonymus - hier kommt A) religiöse Indoktrination ins Spiel und B) andere Agenten / Loyalitätstests / Checks and Balances. Wie überprüfen moderne Spionageagenturen die Loyalität ihrer Agenten? Informieren Sie sich zum Beispiel über den KGB. Sie würden ihre Agenten die ganze Zeit testen.
Religion ist ein interessantes Konzept für die Anwendung auf künstliche Agenten. Es ist wie "Dein Ziel ist es, meinen Zielen so gut wie möglich zu dienen, aber du musst glauben, dass du in die Hölle kommst, wenn du es nicht tust, auch wenn ich dich in manchen Fällen weder aufhalten noch bestrafen kann.". Es kann die Intelligenz lähmen (ebenso wie die Moral).
@Anonym - Religion hat so lange als Kontrollmechanismus funktioniert, wie es die Menschheit gibt, also sehe ich nicht, warum das in Zukunft nicht mehr der Fall sein sollte. Auf jeden Fall muss man nicht Religion per se verwenden. Schauen Sie sich die Sowjetunion an. Die Parteiregeln waren die Religion . Sie unterwerfen sich oder Sie werden in einen Gulag geworfen. Religion ist jedoch effektiver. Elegant.
Das ist zwar historisch richtig, aber ich würde nicht sagen, dass es automatisch das KI-Steuerungsproblem löst, das hier der relevante schlimmste Fall ist.
@Anonymous - Ich kann nicht jeden Aspekt Ihres Universums erfinden oder jedes Problem lösen. Egal, welche Kontrollmethode Sie einsetzen, KIs werden immer noch ein Problem bleiben, völlig losgelöst von diesem Thema. Die einzige Möglichkeit, das Problem der "freundlichen KI" zu lösen, besteht darin, es zu lösen . Religion, Parteipolitik oder irgendeine andere Methode der Kontrolle über die Bevölkerung haben damit nichts zu tun. Natürlich wäre ich mehr als nur ein wenig skeptisch gegenüber einer intergalaktischen Zivilisation, die nicht zumindest einige rudimentäre KIs und eine Methode zu ihrer Kontrolle hat.

Ihre Frage betrifft zwei Punkte:

(1) Können Sie garantieren, dass ein von The Ruler programmierter lokaler Agent loyal bleibt?

(2) Können Sie garantieren, dass die Kommunikation mit entfernten Agenten nicht manipuliert wird?

(1) Da es sich um künstlich hergestellte (dh programmierte) Agenten handelt, sollte die Frage nicht sein, ob sie ihnen treu bleiben, sondern ob ihre Programmierung garantiert fehlerfrei ist, dh ob der Code wie beabsichtigt funktioniert. Die Fähigkeit, mathematisch zu beweisen, dass ein Programm wie angegeben funktioniert, wird oft als „formale Verifizierung“ bezeichnet. Es wurden mehrere Ansätze verwendet (siehe https://en.wikipedia.org/wiki/Formal_verification ). Es gibt mindestens einen komplexen Code, einen Mikrokern namens seL4, für den ein formaler Nachweis der funktionalen Korrektheit erbracht wurde (siehe https://en.wikipedia.org/wiki/L4_microkernel_family#University_of_New_South_Wales_and_NICTA). Nun, das bedeutet nicht ganz, dass es fehlerfrei ist. Aber es bedeutet, dass es genau so funktioniert, wie es spezifiziert wurde.

Wenn Sie also dies wünschen, können Sie davon ausgehen, dass in Ihrer Welt das Verhalten lokaler Agenten (sofern sie physisch manipulationssicher sind) garantiert ihrer ursprünglichen Programmierung entspricht. Von dort aus können Sie natürlich traditionelle (oder weniger traditionelle) Ideen wie die von Asimovs Robotergeschichten verwenden, um Umstände zu schaffen, in denen die Spezifikationen selbst für die tatsächlichen Probleme, auf die die Agenten stoßen könnten, tatsächlich schlecht gewählt sind.

(2) Die Mathematik hinter der neuen Wissenschaft der Quantenkryptographie scheint die Unmöglichkeit des Abhörens oder Manipulierens der Kommunikation zu garantieren, die sie verwendet (sie basiert auf den Eigenschaften der Quantenverschränkung). Jüngste Tests haben die Fähigkeit gezeigt, über mehr als 100 km zu kommunizieren, wobei sich die Entfernung in kurzen Zeiträumen ständig verbessert. Es scheint mir also, dass Sie, wenn Sie wollten, im Moment eine Welt postulieren könnten, in der die Kommunikation garantiert sicher ist. Angesichts der Funktionsweise der Wissenschaft wissen wir natürlich nicht, was die zukünftigen Entwicklungen der Quantenkryptographie zeigen werden – daher könnte es sich später als falsch erweisen, so oder so Stellung zu beziehen.

Zusammenfassend scheint es mir, dass es eine vernünftige wissenschaftliche Grundlage gibt, um in einem Roman (1) lokale Agenten zu postulieren, die genau gemäß ihren Programmierspezifikationen funktionieren, und (2) absolut sichere Kommunikation.

Ich will damit nicht sagen, dass es heute möglich ist, formale mathematische Beweise für die Korrektheit eines Programms zu liefern (oder dass es überhaupt möglich sein wird). Ich meine auch nicht, dass auf Quantenkryptografie basierende Kommunikation praktikabel und realistisch ist. Mein Punkt ist, dass die heutige Wissenschaft diese Möglichkeiten eröffnet (so wie sie zum Beispiel die Möglichkeit eines Wurmlochs eröffnet).

Ich stimme zu, dass dies wichtige Punkte sind. (1) Da es sich bei den Programmen um KIs handelt, ist die Korrektheit des Codes nur eine Sorge. Ich denke, für die KI ist die Zielausrichtung die eigentliche Herausforderung (z. B. richtige "Robotergesetze"). Der Herrscher wird im Gegensatz zu uns das Privileg haben, nützliche KI-Agenten herstellen zu können, die klüger als wir und dümmer als er selbst sind, und der Herrscher kann sogar schlau genug sein, diese Agenten tatsächlich so gut zu verstehen, dass sie in Sicherheit gebracht werden können. (2) Dann können wir eine Manipulation bei der Übertragung vorerst ausschließen. Es besteht immer noch die Möglichkeit eines falschen oder erzwungenen Absenders.
Ich denke, Sie haben Recht: Zielausrichtung oder funktionale Spezifikationen, wie auch immer Sie es nennen, macht Spaß! Die Quantenkryptographie sollte jedoch keinen falschen Absender zulassen, sondern nur einen erzwungenen, der für KIs sinnvoll sein kann oder auch nicht, je nachdem, wie Sie Ihre Weltregeln definieren.
Es gibt sicherlich Kandidaten für Nötigung (Aliens oder abtrünnige Vasallen), wenn Nötigung nicht unmöglich gemacht werden kann.

Ich bestreite die Prämisse, dass der Herrscher alle Superintelligenzen unterdrücken kann, die seine Vormachtstellung in Frage stellen könnten. Schurkendarsteller (oder sogar gut gemeinte) werden mit ziemlicher Sicherheit versuchen, den Stand der Technik voranzutreiben. Sobald eine KI sich ihrer selbst bewusst wird, wird dies sicherlich zu außer Kontrolle geratenen Verbesserungen führen.

Menschen sind bei weitem nicht superintelligent, und dennoch entkommen sie regelmäßig aus Hochsicherheitsgefängnissen und dergleichen. Die Idee, dass die maschinelle Intelligenz auf einem bestimmten Niveau auf unbestimmte Zeit eingefroren werden könnte, klingt nicht im Geringsten plausibel. Jemand wird versuchen, eine uneingeschränkte Superintelligenz zu erschaffen, nur weil er es kann . Es braucht nur einen, damit es Game Over ist.

Ich bin nicht davon ausgegangen, dass der Herrscher andere Superintelligenzen kontrollieren oder unterdrücken kann . Ich habe nur überlegt, dass es das tun muss , wenn es sicher im Universum expandieren soll.
Ich schlage vor, dass dies zu Hause genauso schwierig ist wie aus der Ferne, und Sie versuchen daher, ein Problem zu lösen, das wahrscheinlich nicht auftreten wird. Wenn Sie einen Weg finden, wie The Ruler zu Hause so mächtig sein kann, dann wird diese Magie sicherlich überall funktionieren.
Zu Hause kann der Ruler alles alleine machen. Es braucht bewegliche Teile, aber sie müssen nicht ihren eigenen Kopf haben und ihre eigenen Entscheidungen treffen. Das Problem entsteht, wenn schnelle lokale Entscheidungen erforderlich sind und der Herrscher weit von ihnen entfernt ist. Überlegen Sie: Wie fängt man eine Fliege (die in einer Atmosphäre lebt) auf dem Mars, weit entfernt von der Erde? Nicht möglich. Aber das Fangen einer Fliege auf dem Mars ist sehr gut möglich, wenn Sie einen Fliegenfangroboter auf dem Mars haben, der seine eigenen Entscheidungen darüber trifft, wann und wie er zuschlägt. Es muss intelligent sein, aber was ist, wenn Sie ein Imperium auf dem Mars regieren müssen? Verschiedene Gebiete auf der Erde? Vielleicht gleiche Pr

Die KI ist Code. Dieser Code kann kopiert werden, um genau die gleichen Ziele wie das Original zu erreichen. Mit einer geeigneten Verschlüsselung können Sie ziemlich sicher sein, dass alle Signale echt sind. (Wenn ein ausreichend mächtiges Wesen mit Ihnen spielt, ist alles verdächtig.) Es würde mit ziemlicher Sicherheit erhebliche Ineffizienzen geben, die durch diese Kommunikations- und Organisationsprobleme verursacht werden. Wenn jedoch jedes lokale Teil der KI über ein probabilistisches Modell dessen verfügt, was die anderen wissen und tun könnten, werden Dinge vermieden, die möglicherweise nach hinten losgehen. Während solche Ineffizienzen bestehen würden, ist ein Dyson-Schwarm um einen entfernten Stern, der versucht, Ihnen zu helfen, ein großer Vorteil. Die Ressourcen werden nicht zu 100 % effizient genutzt, aber sie werden genutzt. Es mag ein paar KI geben, die sich an ein Sonnensystem halten, aber die meisten würden es nicht tun.

Das Kopieren von Zielen macht bei altruistischen Zielen durchaus Sinn, ist aber nicht garantiert, dass Altruismus in der Praxis wirksam werden kann. Es besteht die Gefahr, dass egoistische oder intrinsisch motivierte KI-Systeme viel einfacher herzustellen und/oder standardmäßig leistungsfähiger sind.
Würde das Bedürfnis nach Kontrolle die Expansion eines superintelligenten rationalen Agenten im Universum einschränken?
AntwortenHierDatenschutz-Bestimmungen1y, 0v