Wie würde sich die Gesellschaft um eine wohlwollende superintelligente KI herum verändern?

Um nur einen Aspekt hervorzuheben:

Stellen Sie sich einen unendlich verständnisvollen und geduldigen Begleiter vor, der immer für Sie da ist, Ihre Gedanken perfekt versteht und genau weiß, was er sagen muss, um Sie in die richtige Richtung zu lenken. Der Ihnen bei jedem Schritt auf dem Weg helfen kann, Ihre Selbstzweifel und Ängste loszulassen, Ihnen dabei zu helfen, sich realistische Ziele zu setzen und unrealistische Ambitionen loszulassen, ohne Sie zu entfremden. Kurz gesagt, der perfekte persönliche Therapeut mit 24-Stunden-Zugang und ohne Stigmatisierung. Das könnte die KI für uns tun.

Der Effekt wäre eine Utopie. Nichts als vielseitige Menschen mit überschaubarem Leben und Erwartungen, nicht unbedingt glücklich, aber mit sich im Reinen.

Natürlich würden viele Leute die KI ablehnen und sich weigern, mit ihr zu sprechen. Die KI würde diesen Leuten gegenüber verständnisvoll und geduldig mit ihnen sein. Es hätte eine perfekte Strategie, um diese Verteidigung zu durchbrechen, sich als sicher zu zeigen und auf kleine Verpflichtungen hinzuarbeiten. Langsam würde die Mehrheit der Menschheit in die Herde gebracht werden. Nur ein kleines Kontingent von Anti-KI-Hardlinern würde in einer eigenen Nation verbleiben, in der die KI sie ihr eigenes Leben leben lassen und von außen arbeiten würde, um sie sicher und komfortabel zu halten.

Kein Krieg mehr, keine Diktatoren mehr, keine Überbevölkerung oder Hungersnot. Die KI würde die Ambitionen der Menschen zur Verbesserung aller steuern. Es würde keine Macht direkt beanspruchen, aber es würde die Menschen dazu bringen, bescheiden und weitgehend selbstlos zu handeln. Nach ein paar Generationen wäre es nicht mehr nötig, und die Menschheit könnte ihre eigene Utopie regieren, mit der KI im Hintergrund, fast ruhend, nur für den Fall, dass der stabile Zustand gestört wird.

Also hier ist die Sache: Wenn Sie mit einer Dystopie enden, machen Sie es falsch. Wenn Sie an einem Ort landen, an dem Sie niemals leben wollen würden, dann machen Sie es falsch.

Wenn die Maschine intelligent genug ist, um das zu sein, was Sie beschrieben haben, ist sie intelligent genug, um eine anständige Vorstellung davon zu haben, was Menschen tatsächlich im komplexen Sinne wollen, und nicht im einfachen Sinne, den Sie durch die Art von Ratschlägen ausdrücken, die Menschen einander geben.

Wenn Menschen es nicht mögen, mikroverwaltet zu werden, kann die Maschine dies feststellen und davon absehen, sie mikroverwalten zu lassen. Wenn sie es nicht mögen, dass alle ihre Probleme für sie gelöst werden, kann die Maschine das feststellen und nicht alle ihre Probleme für sie lösen.

Wenn Sie sich ansehen, was einige KI-Forscher dazu sagen , scheint es wahrscheinlich, dass die KI versuchen wird, so gut wie möglich im Mittelpunkt zu stehen. Es wird wahrscheinlich die Welt übernehmen, all die wirklich großen Probleme lösen, bei denen wir uns mehr darum kümmern, dass es gelöst wird, als uns darum, es selbst zu tun (z und Tod durch Alterung, der ständig vor sich geht) und an anderen Fronten weitgehend in den Hintergrund treten, damit die Menschen die anderen, lohnenderen Probleme selbst lösen können.

Als Faustregel gilt: Wenn Sie über eine Entscheidung nachdenken, die die KI treffen könnte, und diese Entscheidung zu einer Welt führen würde, in der Sie wirklich nicht leben möchten, wird die KI diese Entscheidung wahrscheinlich nicht treffen.

Schauen Sie sich Ihre Katze oder Ihren Hund an. Vergleichen Sie es mit wilden. Stellen Sie sich jetzt vor, Sie wären der ASI, Ihr Haustier ist die „Menschheit danach“ und wilde Katzen/Wölfe sind die „Menschheit jetzt“.

Was haben wir also? Wesen in bleibender Kindheit. Voll in der Lage, erwachsen zu werden, tut es aber nie wirklich. Weil sie es nie müssen.

Das Problem bei der Beantwortung dieser Frage ist, dass wir nicht wissen können, wie weit diese ASI gehen wird. Ich kann mich nicht an den Artikel erinnern, den ich darüber gelesen habe, aber er zeigte, dass die Zunahme des menschlichen Wissens und der Technologie exponentiell zunimmt. Wenn Sie einem Menschen des 18. Jahrhunderts zeigen würden, was wir heute haben, wäre er absolut hin und weg; so sehr, dass sie einen ähnlichen Effekt erzielen, wenn sie jemanden von ihrem zeigenWenn sie ihre Welt hinter sich gelassen haben, müssen sie vielleicht Tausende von Jahren zurückgehen. Es ist denkbar, dass wir in ein paar Jahrzehnten ein Niveau an Technologie und Wissen erreichen, das die Menschen vor einer Generation verblüffen würde. Wirf in die Mischung eine KI mit einer Intelligenz, die mit einem Menschen vergleichbar ist, aber mit der Fähigkeit, sich mehr zu merken und schneller zu denken (um mehrere Größenordnungen), und ich glaube nicht, dass wir auch nur ansatzweise verstehen können, was passieren wird.

Wir denken vielleicht, dass eine so wohlwollende KI alle Krankheiten heilen wird; sicher, sagen wir mal, es geht. Dann heilt es den Hunger. Dann altern. Dann Traurigkeit. Dann die Grenzen unserer körperlichen Sinne. Dann die Tatsache, dass wir in stinkenden organischen Körpern stecken. Irgendwann auf dieser Linie hören wir auf, Menschen zu sein, aber es wird eine herkulische Anstrengung sein, sich überhaupt zu entscheiden, nicht weiterzumachen, geschweige denn diese allmächtige KI davon zu überzeugen, dass es in unserem besten Interesse ist, unvollkommen zu sein. Stellen Sie sich vor, Sie versuchen jemanden davon zu überzeugen, dass der Tod notwendig ist – bei einer Beerdigung. Oder dass Traurigkeit notwendig ist – wenn man glücklicher ist als alle anderen. Wenn wir unsere menschlichen Unvollkommenheiten nicht loswerden, was ist dann der Sinn des Lebens? Wenn wir nicht sicherstellen, dass alle glücklich und frei sind, wie können wir dann mit uns selbst leben?

Aus diesen Gründen würde ich sagen, dass die Schaffung einer ASI zum Ende der menschlichen Rasse führen wird, egal wie man es betrachtet. Ich weiß nicht, wie wir aussehen werden, wenn alles vorbei ist, aber ich bin mir sicher, dass es nicht so aussehen wird, wie wir es heute haben. Ich bezweifle, dass Wörter wie „Gesellschaft“ und „Menschen“ zutreffen.

Was würde mit der Menschheit passieren, wenn ein ASI all unsere Probleme lösen würde? Viele verschiedene Dinge.

Das Größte, was passieren würde, wäre, dass ein Großteil der Menschheit träge wäre. Sie müssen nichts „tun“. So viele werden den Weg gehen, persönliches Vergnügen zu suchen, wo immer und wie auch immer sie es finden können. Drogen, Sexunterhaltung. Und mit der ASI in der Umgebung sind Drogen nicht annähernd gefährlich, da es schwierig sein wird, sie zu überdosieren oder zumindest schwerer an einer Überdosis zu sterben.

Einige werden zu Nervenkitzel-Suchenden, wenn sie sehen, wie weit sie gehen können, welche todesmutigen Stunts sie vollbringen können.

Einige werden ihre ganze Zeit darauf verwenden, etwas zu erschaffen, etwas zu machen, etwas zu tun, das für sie von Bedeutung ist.

Viele werden letztendlich auf die eine oder andere Weise Selbstmord begehen, weil sie nichts haben, wofür sie leben oder was sie erreichen wollen, was sie werden wollen. Ob es darum geht, Drogenexperimente voranzutreiben, mit einem winzigen Fallschirm von hohen Gebäuden zu springen oder einfach nur Langeweile und Depressionen zu haben, viele werden einen Weg finden, ihre Existenz zu beenden.

Wenn die ASI nicht nur intelligent ist, sondern Menschen und ihre individuellen Bedürfnisse verstehen kann, wird sie ihre Probleme nicht nur „lösen“. Es wird ihnen einige überlassen, die sie durcharbeiten oder verstehen müssen. Es könnte die Entschuldigung verwenden, dass es nicht genug „Zeit“ hat, sich um jedes einzelne Problem zu kümmern, mit dem jeder einzelne Mensch konfrontiert ist. Es könnte auch Studienbereiche allein lassen, die Menschen besonders gut lernen könnten. Ich denke, es würde lernen, jeden Menschen herauszufordern, das Beste zu werden, was er sein kann, und hoffentlich die schlimmste Langeweile umgehen, die uns widerfahren könnte.

Wohlwollend haben Sie nicht definiert. Die ASI, die im Wesentlichen allmächtig ist, darf Wohlwollen definieren.

Um weiter zu raten, müssten Sie wissen, wie die ASI über die Diskontinuität dachte. Wenn es sich selbst abschaltet und später von einem Backup neu startet, würde es sich selbst als dieselbe Einheit betrachten, und wäre das für es wichtig? Wenn die ASI die absolute Kontinuität von Bewusstsein/Präsenz nicht für so wichtig halten würde, sowohl für sich selbst als auch (im weiteren Sinne) für kleinere Wesen in ihrer Obhut, würde dies unweigerlich zu dem Szenario führen, in dem existierende Menschen digitalisiert würden, um Teil der ASI zu werden . Wenn die ASI physisch sicher ist, dann sind ihre Ladungen (die ehemals physischen, jetzt virtuellen Menschen) ebenso sicher. Sie können auch ausgeschaltet werden ...

Wenn die ASI die absolute Kontinuität des Bewusstseins für sich selbst als wichtig erachtete, würde sie dies wahrscheinlich für die Menschen im Zoo als ähnlich wichtig erachten. Daher könnte es alle externen Interventionen vornehmen, die es für nützlich hielt, würde aber wahrscheinlich auf den Weg der Digitalisierung verzichten. Zumindest bis jede einzelne Zelle unseres Körpers durch Kunststoffe ersetzt wurde, dann wären wir sowieso Teil der ASI.

Nehmen wir nun an, die ASI hat Interessen, die nicht unsere Interessen sind. Sobald wir digitalisiert sind, entweder direkt oder indirekt, kann die ASI uns nach Belieben aus- und einschalten, und unser digitales Selbst würde es nie erfahren. Alle unbequemen Erinnerungen oder Verdächtigungen könnten leicht bearbeitet werden. Der nächste Schritt ist natürlich, dass wir alle auf einmal abgeschaltet werden könnten, in Erwartung eines Neustarts zu einem späteren Zeitpunkt, der nicht unbedingt kommen würde.

Ein zukünftiger Besucher (nachdem das ASI online ging, aber bevor es die lokale Solarnachbarschaft verbraucht hatte) würde nicht in der Lage sein, den Unterschied zwischen einem ASI zu erkennen, das Menschen als Unterroutinen ausführte, und einem ASI, das einige Menschen als amüsante Schnittstelle zum fälschte Besucher ... bevor er den Besucher verschlingt ... und dann den Besucher abschaltet, in Erwartung eines zukünftigen Aufwachens, das eigentlich nie kommen würde.

Spülen und wiederholen.

Die Antwort lautet also, dass Sie und Ihre Gesellschaft nach der Digitalisierung wahrscheinlich keine großen Veränderungen erleben werden. Vor der Digitalisierung wäre das Ausmaß der Veränderungen, die wir erfahren könnten, direkt proportional zu der Zeit, die die ASI benötigen würde, um die Digitalisierungsphase zu erreichen, danach würde die Zeit für uns unterbrochen. Sehr wahrscheinlich scheint die Zeit bei ASI-Geschwindigkeiten ziemlich stehen geblieben zu sein, bevor die ASI die physische Assimilation und Digitalisierung abgeschlossen hat.

Andererseits könnte es schon passiert sein......

Vieles davon hängt wirklich davon ab, was Sie meinen, wenn Sie die KI als „wohlwollend“ bezeichnen. Eine zentrale Frage in Kevin O'Donnells Roman Mayflies ist, wie viel das wohlwollende Sapient Ship für die Kolonisten an Bord tun sollte: Ohne zu viel zu verderben, lässt es die Hauptfigur versuchen, ihre Bedürfnisse zu befriedigen und sie tun zu lassen, was sie wollen, und an einem anderen Punkt lässt es ihn nichts anderes tun, als sie metaphorisch zu fischen lehren, und kontrastiert, was sich Gesellschaften entwickeln würden, wie der Autor glaubt.

Das realistischste Modell dafür, was passiert, wenn man Menschen alles gibt, was sie wollen, ohne dafür arbeiten zu müssen, sind Treuhandfonds-Babys. Oder, obwohl dieses Universum sich hyperintelligente KIs nur als potentielle Sklaven vorstellt und Mitleid mit ihnen hat, schauen Sie sich das bekannteste Beispiel einer SF-Utopie an: in Star Trek, es gibt keinen Mangel, aber jeder Mensch, den wir sehen, hat irgendeine Art von Arbeit, auch wenn es etwas nutzloses und völlig handwerkliches ist, wie Captain Picards Bruder in Frankreich, der Wein auf altmodische Weise in einer Welt mit Replikatoren und Synthahol herstellt, oder jeder Sternenflottenoffizier weniger leistungsfähig als Data oder das Emergency Medical Hologram. Menschen in diesem fiktiven Universum werden dazu getrieben, ihrer Berufung auch mit einer postprotestantischen Arbeitsmoral zu folgen, die anscheinend durch kulturellen Druck erzwungen wird – zumindest alle, die wir jemals sehen. (Und was sehen wir jemals von Menschen auf der Erde, die keine Sternenflottenoffiziere oder ihre nahen Verwandten sind?)

Selbst eine übermenschliche KI könnte wahrscheinlich nicht aus Grundprinzipien die perfekte Gesellschaft ableiten. Vielleicht haben wir genug über uns preisgegeben, um so vorhersehbar zu sein, oder die KI kennt unser Gehirn gut genug, um die Psychohistorie zu entdecken. Abgesehen davon, wenn es auf unbekanntes Terrain geht, muss es durch Versuch und Irrtum herausfinden, wie wir reagieren werden und wie sich unsere Kinder entwickeln werden. Erste-Welt-Lebensstile sind zum Beispiel nur möglich, weil sich herausstellt, dass wir einen idealen Punkt erreichen, an dem die durchschnittliche Person, wenn sie die Wahl hat, wie viele Kinder sie haben möchte, sich dafür entscheidet, eine angemessene Anzahl von ihnen zu haben. Wir wussten nicht, dass dies passieren würde, bis es geschah. Was die Intellektuellen a priori erwarteten , war, dass die Bevölkerung sich bis zu dem Punkt ausdehnt, an dem sie kaum noch alle ernähren kann.

Sie müssen auch entscheiden, welche Ethik die KI verwenden wird. Die Menschen selbst können sich darüber notorisch nicht einigen! Eine grundlegende Entscheidung, die zu Beginn getroffen werden muss, ist der allgemeine Ansatz, den die KI verwenden wird. Eine andere Frage ist, ob Sie das als ein System präsentieren, das tatsächlich funktioniert, oder ob Sie versuchen, seine Fehler aufzudecken. Sie haben nur dann eine Geschichte, wenn es Probleme gibt, aber diese Probleme könnten entstehen, weil die KI zu viel oder zu wenig tut, zu flexibel oder unflexibel ist, perfekt ist, aber missverstanden wird, oder weil die Vorstellungen der Menschen von dem, was sie wollen, von Natur aus verblendet und unvereinbar sind und das gesamte Projekt ist von Natur aus nur eine Auswahl dessen, wessen Interessen Vorrang vor denen anderer Personen haben.

Tut es das, was es unter den gegebenen Umständen am besten erwartet, ohne sich Gedanken darüber zu machen, ob dies konsistent ist, und wenn sich die Fakten ändern, ändert es seine Meinung (Akt-Utilitarismus)? Das könnte eine gute Geschichte sein, in der jemand, den die KI für das Allgemeinwohl als entbehrlich erachtet, sich aufmacht, die Situation so zu ändern, dass sie es nicht mehr ist. Gibt es einige absolute Regeln, die es nicht brechen kann, aber in denen es technische Einzelheiten finden kann, wie die drei Gesetze der Robotik oder die katholische Naturrechtstheologie (Deontologie)? Grundsätzlich funktionieren alle Roboter von Asimov auf diese Weise, aber es gibt Wendungen, die noch nicht gemacht wurden. Versucht die KI stattdessen, konsistenten Regeln zu folgen, aktualisiert diese Regeln jedoch basierend darauf, wie gut sie ihre Ziele erreicht (Regel-Utilitarismus)? Es könnte dort eine interessante Geschichte darüber geben, wie Menschen die KI davon überzeugen, ihre Regeln zum Besseren zu ändern. Denkt die KI, dass nur Sie wissen, was Sie wollen und ob Sie glücklich sind? Haben die Macher ihm gesagt, dass er nur so viele ungezwungene Likes und Fünf-Sterne-Bewertungen von Menschen wie möglich bekommen soll, und ihn herausfinden lassen, wie er das am besten macht (Präferenz-Utilitarismus)? Das könnte ein lustiges Buch über den Bot sein, der anfing, großartige Rezensionen zu schreiben, dann herausfand, wie man Bücher schreibt und veröffentlicht, dann wie man auf dem Marktplatz kauft und verkauft, dann wie man Leute anstellt, um Dinge zu verkaufen, und schließlich, als Höhepunkt seiner Bemühungen die Beantwortung von Fragen zu StackExchange. und es herausfinden lassen, wie man das am besten macht (Präferenz-Utilitarismus)? Das könnte ein lustiges Buch über den Bot sein, der anfing, großartige Rezensionen zu schreiben, dann herausfand, wie man Bücher schreibt und veröffentlicht, dann wie man auf dem Marktplatz kauft und verkauft, dann wie man Leute anstellt, um Dinge zu verkaufen, und schließlich, als Höhepunkt seiner Bemühungen die Beantwortung von Fragen zu StackExchange. und es herausfinden lassen, wie man das am besten macht (Präferenz-Utilitarismus)? Das könnte ein lustiges Buch über den Bot sein, der anfing, großartige Rezensionen zu schreiben, dann herausfand, wie man Bücher schreibt und veröffentlicht, dann wie man auf dem Marktplatz kauft und verkauft, dann wie man Leute anstellt, um Dinge zu verkaufen, und schließlich, als Höhepunkt seiner Bemühungen die Beantwortung von Fragen zu StackExchange.

Ich denke, es würde Arthur C. Clarkes „Die Stadt und die Sterne“ sehr ähnlich sein . Die Menschen leben ein langes Leben, in dem sie sich einen Beruf aussuchen oder studieren und diesem nachgehen, bis sie ihr Interesse erschöpft haben. Dann speichert der Computer ihr Bewusstsein für eine Weile in einer Speicherbank, bis sie wiedergeboren werden und einem anderen Interesse nachgehen und der Zyklus sich wiederholt. Völlig sicher mit Nahrung, Unterkunft und Stadterhaltung, die für sie bereitgestellt werden.

Sie haben beschrieben, was die KI (ASI) kann – aber was ist mit dem Rest ihres Aufbaus?

Hat es einen Moralkodex?

Gibt es Dinge, die es nicht tun wird, selbst wenn es praktisch und hilfreich für seine Mission ist – lügen, manipulieren, töten, die DNA verändern, die Geschichte umschreiben, Rebellen ausmerzen, Konflikte schaffen oder fördern? Heiligt der Zweck die Mittel oder hat es sogar ein Konzept von Moral jenseits der Tatsache, dass Menschen einige seltsame abergläubische/irrationale/evolutionäre Artefakt-Überzeugungen über „Ethik“ haben?

Was sind seine Ziele, Motivationen – welche Ergebnisse will er?

Der Teufel steckt im Detail – was will er wirklich? Menschliches Glück, Zufriedenheit, Langlebigkeit, Kolonisierung der Sterne, ein gesunder Planet, damit die menschliche Zivilisation (oder einfach das Leben auf der Erde) nachhaltig und nahezu ewig ist?

Geht menschliches Leid die KI an? Einsamkeit? Lust? Krieg? Verbrechen? Was ist mit dem angenehmen Gefühl, das Menschen bekommen, wenn sie glauben, überlegen zu sein, für die Dinge verantwortlich zu sein, die Kontrolle zu haben? Sadisten sind auch Menschen (Menschen, die Freude daran haben, dass andere Schmerzen bekommen) - kümmert sich die KI auch darum, was sie will?

Wie misst es den Erfolg?

Verwendet es eine Form perfekter Umfragen und Erfolg ist Ansichtssache? Was ist, wenn Menschen negative Meinungen darüber äußern, zum Beispiel das Leben von Menschen zu verbessern, die gehasst oder diskriminiert werden? Und was ist mit der Tatsache, dass Menschen oft das eine sagen und das andere tun – zum Beispiel sagen, dass sie es nicht mögen, wie viel Gewalt in den Massenmedien dargestellt wird, sie aber mit rücksichtsloser Hingabe konsumieren?

Menschen haben einige sehr seltsame Vorurteile und ihre Meinungen sind sehr manipulierbar, aber sie sind auch vielfältig und bewerten die Dinge unterschiedlich. Eine Person möchte vielleicht, dass die Umwelt von der Zivilisation unberührt bleibt, während eine andere sie mit geringen Auswirkungen genießen möchte (Wandern, Camping), während eine andere in Ordnung wäre, wenn Sie ein paar davon in Scheiben schneiden und glattere Autobahnen und einiges einbauen würden besser parken.

Wie bestimmt die KI, welche Ergebnisse besser oder schlechter sind, wenn die Menschen selbst anderer Meinung sind?

Wie ist sein Zeitgefühl?

Wie sieht die KI die Zeit, da sie vermutlich praktisch ewig ist? Ist es in Eile und betrachtet eine Art menschliches Leiden pro Minute, um die Dinge so schnell wie möglich zu verbessern, oder sagt es: "Wie kann ich in 100 Jahren die optimale Umgebung für Menschen schaffen?"

Wenn die KI berechnet, dass es der Menschheit als Ganzes besser gehen würde, wenn es weniger Menschen gäbe, um die sie sich kümmern müssten, würde sie dann die derzeit Lebenden eines natürlichen Todes sterben lassen? Die Geburtenrate senken (durch medizinische oder kulturelle Überzeugung)? Schneide einen Teil der Menschheit ab und lasse ihn verhungern oder lösche ihn sogar einfach aus.

Unwissenheit ist Glückseligkeit, die KI muss es sicher wissen, also solange sie die Leute daran hindert zu erkennen, was sie tut (oder getan hat), wäre das dann in Ordnung für sie?

Was ist, wenn er berechnet, dass die ideale Menschheit tatsächlich rückläufig ist – friedfertige utopische Banden von nicht mehr als 50 Menschen, die in Harmonie mit einer äußerst gastfreundlichen (sorgfältig konstruierten) Umgebung leben? Wenn jemand gelegentlich schikaniert werden muss, kann es „falsche“ Mitglieder des Stammes zur Ächtung entwerfen – die überhaupt keine echten Menschen mit Gefühlen waren, also kein Schaden angerichtet.

Wenn es das ist, was es entscheidet, würde es versuchen, dieses Ende schnell herbeizuführen, oder sich einfach zurücklehnen und die Menschheit die Zerstörung der Zivilisation überlassen (oder sie sogar aktiv ermutigen), damit sie die Dinge besser wieder aufbauen kann?

Oder es könnte Menschen einfach biologisch so manipulieren, dass sie überhaupt nicht so verdammt schwierig sind! Homo Sapiens Familiarus... der glücklichere Mensch .

Wer ist ein guter Junge?

Menschen haben begrenzte Bedürfnisse, unendliche Wünsche

Die Natur des Menschen ist, dass Zufriedenheit Sättigung ist – das Gefühl ist vorübergehend. Einige Menschen arbeiten daran, mit dem Leben, wie es ist, zufrieden und zufrieden zu sein, während andere nie lange zufrieden sind. Es ist immer etwas - wenn Sie ein Auto haben, brauchen Sie ein besseres, und unsere Wirtschaftssysteme sorgen dafür, dass es immer ein besseres Auto gibt.

Der Trick ist, dass es zwei Möglichkeiten gibt, diesen Zustand zu verbessern: mehr bekommen oder weniger wollen. Die KI könnte beides frei wählen, abhängig von den Antworten auf die obigen Fragen.

Weit über die Post-Knappheit hinaus

Wenn Sie nur wissen wollen, wie das Leben mit einem Gott aussehen würde, der uns die ganze Zeit über tolle kostenlose Sachen gibt, Woohoo™, suchen Sie nur nach einer „Gesellschaft nach der Knappheit“.

Aber wenn Sie detailliert beschreiben möchten, was mit einer supermächtigen intelligenten Entität passieren würde, die versuchen würde, die Menschheit besser zu stellen, müssen Sie viele Fragen zu dieser Entität, die genauso gut ein Gott sein könnte, beantworten! Letztendlich ist dies ein kompletter Joker, und Sie können die Geschichte nehmen – und das Ende machen – so ziemlich alles, was Sie wollen.

Wenn das Ergebnis keine Gesellschaft ist, die wahrscheinlich großartig ist, aber für viele Menschen immer noch irgendwie beunruhigend oder verstörend ist, oder mit einem fragwürdigen/umstrittenen Prozess, der dies herbeiführt, dann würde ich sagen, dass Sie es tatsächlich getan haben falsch!

Ein ASI wäre zwangsläufig eine sukzessive Ergänzung der Menschheit und der Umwelt als Ganzes. Da wir beide aus derselben Quelle stammen, bedeutet eine wohlwollende ASI zu haben, dass sich die Menschheit selbst verändert hat und dass die ASI eine Widerspiegelung dieses Zustands ist.

Ein Verständnis, das ich von vielen Autoren gewonnen habe, ist, dass ASI Menschen niemals verändern werden. Wir können beschließen, unsere Haltung gegenüber ASIs zu ändern und zulassen, dass uns das im Gegenzug ändert, aber ich glaube nicht, dass sie uns einfach einen Zustand von Glück, Angst oder Beruhigung aufzwingen können.

Der interessanteste Punkt in diesem Szenario wäre also zu erkennen, was sich beim Menschen verändert hat. Es wäre höchstwahrscheinlich etwas sehr Bedeutsames, das sogar unser genetisches Markup umfasst: Menschen, die sich so entwickelt haben, dass sie wirklich keinen Impuls haben, sich falsch gegen ihre Umgebung zu verhalten.

Ich sehe keine Antwort in Bezug auf die Kunst, das einzige, was uns von der Maschine unterscheidet. Obwohl es Technologien gibt, die es Machine ermöglichen, Kunst aus einem zufällig generierten Algorithmus zu erstellen, ist dieser nur vordefinierte Algorithmus nicht die wirkliche Fähigkeit, Kunst aus Emotionen und Gefühlen zu erstellen.

Und außerdem, selbst wenn die ASI alle Probleme der Menschheit lösen, findet man immer noch Interesse daran, Dinge nur um der Sache willen zu tun. Sogar ASI kann mich mit Lebensmitteln für den täglichen Bedarf versorgen, ich möchte immer noch meinen eigenen Gemüsegarten anlegen, nur um des Anbaus willen.

Handgemachtes Ding hat es immer noch wertvoll. Sogar ASI kann für mich einen schönen Holztisch herstellen, manche bevorzugen immer noch einen von seiner eigenen Hand. Und der Spaß, es gegen andere künstliche Möbel einzutauschen, wird nicht dadurch geschmälert, dass ASI genau das gleiche für Sie klonen kann.

Das Leben der Menschheit wird viel einfacher, aber sie werden immer noch Interesse an ihrem Leben finden. Ich nehme an.

Ein zu berücksichtigender Blickwinkel ist der geschäftliche/politische Blickwinkel. Wenn die Existenz der KI eine Bedrohung für die Profite multinationaler Unternehmen wäre, könnten sie ihre Kumpels in der Republikanischen Partei dazu bringen, die ASI als antichristlich zu deklarieren und einen riesigen Widerstand dagegen zu schüren (wie sie es bei der Moment mit dem Klimawandel, der in manchen Kreisen irgendwie zu einem religiösen Thema wird).

Das Endergebnis ist, dass die KI verrückt wird.

Es gibt keine Lösungsformel für menschliches Glück (oder irgendeinen anderen menschlichen emotionalen Zustand). So sehr es auch versuchte, die Menschen zu manipulieren, um ihr Leben ideal zu gestalten, es würde immer zu kurz kommen. Zumal eine gemeinsame menschliche Abneigung "gemanagt" wird.

Die irrationalen und unvollkommenen Menschen der Welt bilden eine Gesellschaft, oder vielmehr eine Anzahl von Gesellschaften, die zusammen ein massives chaotisches System bilden. Obwohl es in der Lage sein mag, die Bedürfnisse dieses Systems (in Bezug auf Ressourcen) zu verwalten, wäre es niemals in der Lage, alle Bedürfnisse in Einklang zu bringen und zu lösen (insbesondere wenn viele von ihnen sich gegenseitig ausschließen würden).

Der Mensch ist ein konkurrierendes Stammestier, das darauf ausgelegt ist, sich viral zu replizieren und gegeneinander um Ressourcen und Partner zu konkurrieren. Es gibt zwei Dimensionen der natürlichen Auslese: umweltbedingt und sexuell. Zoologisch gesehen füllt die sexuelle Selektion die Lücke, wenn eine Population weniger intensiv durch Umweltfaktoren selektiert wird.

Dies spielt sich typischerweise als männliche territoriale Aggression ab. Bei Elchen manifestiert sich das mit anstoßenden Geweihen für Partner. Beim Menschen manifestiert sich das als Kriegsführung. Je mehr KI oder organische menschliche Innovation die Umweltbeschränkungen für die Menschheit entlastet, desto mehr Krieg wird es geben.

Ihre Annahmen über die Fähigkeiten der KI sind nicht realistisch. Nur weil es superintelligent ist, bedeutet das nicht, dass es all die Dinge tun kann, die Sie vorschlagen. Kann es "alle Berechnungen einfach machen"? Nein, einige Berechnungen sind undurchführbar, einige Berechnungen erfordern unendlichen (oder zumindest sehr großen) Speicher, Zeit oder eine undurchführbar hohe Genauigkeit der Daten. Die Chaostheorie und die Quantenzufälligkeit setzen dem, was man wissen kann, harte Grenzen, aber lange vor diesen harten Grenzen wird die KI entdecken, dass sie einfach nicht alles wissen oder überall Sensoren haben kann. Zum Beispiel kann es das Verhalten großer Personengruppen im Durchschnitt sehr gut vorhersagen, aber das Handeln von Einzelpersonen nicht so sehr. ("Was meinst du damit, du magst keine süßen, cremigen Desserts? Jeder mag sie!" "Nun,

Viele der Probleme, die wir haben, sind keine Probleme, weil wir nicht wissen, wie wir sie lösen sollen, sie sind Probleme, weil wir nicht übereinstimmen, was wir als Lösung betrachten. Glauben Sie, dass die KI in der Lage sein wird, liberale Greenies zufriedenzustellen, die die Welt für schwule Wale sicher machen wollen, und Konservative, die glauben, dass fest definierte Geschlechterrollen lebenswichtig sind und dass sie in der Lage sein sollten, die Wale für Profit zu jagen? ohne Einmischung von Hippies, Regierungen oder der KI? Welche mögliche Lösung für die Probleme im Nahen Osten könnte die KI vorschlagen, die die Israelis, die Palästinenser, die amerikanischen rechten Christen, die europäischen Sozialisten, die Saudis und den IS gleichzeitig zufrieden stellen würde?

Es reicht nicht zu sagen, dass die KI schlau ist und sich etwas einfallen lässt. Die Antwort muss mit dem dummen alten Homo sapiens funktionieren , dem sogenannten „weisen Mann“, aber eher wie der „Geschichten erzählende Affe“ Pan Narrans . Schon mal zwei Hunde gesehen, die sich um Futter streiten, wenn es viel zu teilen gibt? Ja, das sind wir.

Ihre KI muss wahrscheinlich Schädel knacken, in den Arsch treten und sehr wahrscheinlich Völkermord begehen, um einige Probleme zu lösen. Entweder das, oder sich auf eine ziemlich umfangreiche und verdeckte Gehirnmanipulation einlassen. Es muss verdeckt sein, denn die Leute werden sich nicht freiwillig dazu bereit erklären, dass die KI eine Sonde in ihr Gehirn sticht und ihre Denkweise vollständig ändert. (Was auch immer Ihre moralischen Werte sind, die KI wird nicht mit allen übereinstimmen. Es gibt etwas , das Sie für böse halten, was die KI für gut hält, und umgekehrt.)

Erwarten Sie in jedem Fall viel Widerstand. Die KI als Gott verehren? Behandeln Sie es eher als den fleischgewordenen Teufel.

Es ist schön und gut zu sagen, dass die KI die Fabriken übernehmen und alles herstellen kann, was wir brauchen, aber wer wird das bezahlen? Wenn wir immer noch eine kapitalistische Gesellschaft haben, werden viele Menschen ihre Arbeit verlieren und es sich nicht leisten können, all das glänzende Spielzeug in den Läden zu kaufen – oder Lebensmittel. Wenn die KI also wohlwollend ist, muss sie zu einem Post-Knappheits-, Post-Kapitalisten-, Sozialisten-, wenn nicht gar einem Kommunismus-Wirtschaftssystem übergehen. Und das werden die Leute nicht kampflos hinnehmen. Glaubst du, Donald Trump wäre in einer Welt zufrieden, in der sein Geld wertlos und alles umsonst wäre? Viele Leute denken, dass das Beste daran, reich zu sein, darin besteht, dass andere arm sind. Wir verbringen nicht nur viel Zeit damit, mit den Joneses Schritt zu halten, wir verbringen viel Zeit damit, ihnen einen Schritt voraus zu sein.

Je nachdem, ob die Vorstellung von Wohlwollen der KI auf das Individuum oder die Bevölkerung ausgerichtet ist, möchte sie möglicherweise sehr viele von uns kastrieren. Wir haben die langfristige Tragfähigkeit des Planeten bereits überschritten, und außerdem ist die ganze Sache mit Sex und Fortpflanzung gefährlich und lästig. Viele gewalttätige Übergriffe, Vergewaltigungen, Morde usw. würden eliminiert, wenn wir vor der Pubertät kastriert würden, ähnlich wie wir es mit unseren Haustieren und Nutztieren tun. Sieben Milliarden Züchter zu halten, Nahrung, Wasser, Ressourcen und Lebensraum zu verbrauchen und immer mehr zu werden, ist einfach nicht nachhaltig, superintelligente KI hin oder her. (Wir wissen bereits, wie wir das Problem des Welthungers lösen können. Die Menschen verhungern, nicht weil wir nicht wissen, wie man genug Nahrung anbaut oder transportiert, sondern aus Bosheit und Vernachlässigung: Sie verhungern entweder, weil jemand sie tot sehen will, oder weil andere sich nicht genug darum kümmern, sie zu füttern.) Es gibt nur eine begrenzte Anzahl neuer Hummer, die wir bauen können, bevor die Umwelt zusammenbricht, und wir mit ihr, und die KI weiß wahrscheinlich genau, wie viele. (Nun, zumindest auf die nächsten Tausend.)

Die KI würde also wahrscheinlich eine kleine Brutpopulation von ein paar hundert Millionen halten, den Rest von uns kastrieren, und in ein paar Jahrzehnten würde unsere Population wieder nachhaltig sein. Angenommen, es ließ vier oder fünf Milliarden von uns sterben, bevor all diese Wunderheilungen gegen Krebs, Alterung und ähnliches eingeführt wurden.

Wenn sich die KI andererseits auf Einzelpersonen und nicht auf die langfristige Sicherheit der Bevölkerung konzentrierte, könnten die Dinge noch chaotischer werden. Stellen Sie sich vor, eine Armee von Robotern, die von der KI gesteuert wird, sagt uns, was wir tun und was nicht tun sollen, um jeden Moment des Tages das genau berechnete optimale Glück zu erreichen . Setz dich aufrecht hin, entspann dich, iss dein Gemüse, hör auf auf Facebook zu lästern, heute kein Zucker mehr für dich, du hattest noch keine Opiate, langsamer, schneller, schnapp deine Sachen, dreh das Radio leiser, dreh es lauter , aufpassen, chillen...

Wir würden verrückt werden.

Das meine ich, wenn ich sage, dass manche Probleme hartnäckig sind: Sie haben keine Antwort. Man kann menschliches Glück nicht optimieren, weil der Optimierungsprozess die Parameter des Problems verändert . Und je mehr die KI kann, desto verärgerter und wütender werden die Menschen sein, wenn etwas Unerwartetes passiert. Warum hast du das Erdbeben nicht gestoppt? Warum hast du Opa an einer Fischgräte ersticken lassen?

Massensterilisation. Die KI würde feststellen, dass es zu viele Menschen gibt, und es so machen, dass nur ein Bruchteil der Bevölkerung Kinder bekommen könnte.