Dies ist ein Trope, der aus der KI-Forschung in der realen Welt stammt, nicht aus Asimovs Geschichten (obwohl häufig zitiert).

Die Kernfrage des Problems ist die moralische und ethische Philosophie, um deren Beantwortung die menschliche Rasse seit über 2000 Jahren kämpft. Das heißt: Was ist objektiv „Glück“/ „Schaden“/ „Mensch“/ „lebendig“/ „gut“/ „böse“?

Es ist sehr einfach, ein Regelwerk zu definieren, das auf dem Papier gut aussieht, in der Praxis aber voller Löcher ist. Zum Beispiel ist „lebendig“ in dem Sinne, in dem wir meinen, dass es sich um einen undefinierbaren Aspekt der organischen Chemie handelt.

Wenn ich versuche, es zu definieren, dann ist Fleisch im Lebensmittelgeschäft lebendig (weil es auf zellulärer Ebene immer noch lebendig ist: das macht es frisch) oder schlafende Menschen sind tot. Oder komatöse Menschen. Oder (im schlimmsten Fall) Menschen, die im Rahmen eines chirurgischen Eingriffs medizinisch bedingt sterben. Nein, wirklich, das ist eine Sache. Wir stoppen routinemäßig das Herz von Menschen oder halten sie am Atmen fest, während wir unter Vollnarkose stehen, um diese Organe zu operieren. Objektiv betrachtet sind diese Menschen tot, es geht ihnen später nur noch "gesund".

Um zu einer KI auf Asimov-Niveau zu gelangen (die unvollkommen ist, siehe: jedes von Asimovs Büchern über Roboter), müssten wir ein unlösbares Problem lösen.

Ergo wird jede KI, die wir programmieren, unvollkommen sein und ihre Fehler werden auf die eine oder andere Weise spektakulär gefährlich sein. Computerphile hat dazu eine tolle Episode, die einer KI das einzigartige Ziel gibt, Briefmarken zu sammeln.

Während es hyperbolisch wird ("welcher Idiot würde einem Computer Zugang zu den Maschinen geben, die notwendig sind, um den Kohlenstoff von Menschen zu ernten, um mehr Briefmarken herzustellen?"), Veranschaulicht es einen Punkt: Es wird nur in der Lage sein, seine zugewiesene Aufgabe zu erfüllen ein gewisses Maß an Leistung, das nicht wünschenswert ist, und die Begrenzung dieser Leistung verhindert, dass es überhaupt in der Lage ist, seine Aufgabe zu erfüllen.

Im Fall des HealthInsuranceBot geht es darum, die Kontrolle darüber zu haben, wer lebt und wer stirbt (über den Zugang zu medizinischer Versorgung). Es spielt keine Rolle, was die Absicht war, es besteht die Möglichkeit, dass die gegebene Macht „rationale Schwellen“ überschreitet, die unmöglich zu kontrollieren sind. Die KI kann erklären, „dass der Mann 68 Jahre alt und Raucher ist, er wird sterben 2 Jahre, egal wie viel Geld wir für ihn ausgeben, um ihn am Leben zu erhalten, nach meiner Programmierung wird er die Kosten für alle anderen nur in die Höhe treiben." Plötzlich hat diese Person keinen Zugang mehr zu medizinischer Versorgung (nicht einmal, um diese zwei Jahre schmerzfrei zu machen) und wurde effektiv zum Tode verurteilt, auch wenn die KI selbst kein Todesurteil ausgestellt hat.Pflege ist zu teuer, selbst wenn ein vernünftiger Mensch etwas für die Pflege am Lebensende getan hätte.

Wenn Sie am anderen Ende des Spektrums versuchen, alle Menschen so lange wie möglich am Leben zu erhalten, landen Sie bei Menschen in einem anhaltenden vegetativen Zustand, die Ressourcen verbrauchen, obwohl sie (mehr oder weniger) tot sind und sich nie erholen werden.

In der Grauzone gibt es Fälle, die schwarz aussehen und tatsächlich weiß sind (vegetative Zustände, die sich erholt haben) und Fälle, die weiß aussehen und tatsächlich schwarz sind (anstatt 2 Jahre mit Lungenkrebs zu überleben, weil sie lebenslang geraucht haben, überleben sie 10 ). Keine noch so große Vorhersagesoftware wird diese schwierigen Entscheidungen erleichtern, und sobald der Computer Autorität erhält (endgültig, absolut, Empfehlung, irgendeine Autorität ), werden diese Entscheidungen nicht mehr als altruistisch angesehen und die KI ist böse geworden.

KIs können so handeln, wie sie programmiert sind. Der sofortige Sprung zum "schlimmstmöglichen Fall" ist wirklich nur eine warnende Geschichte.

Der Grund, warum Märchen so beliebt sind, liegt darin, dass man schnell glaubt, man könne einer KI sagen, dass sie alles tun soll. Sie können ihm dann sagen, dass er das Unmögliche vollbringen soll. Es gibt jedoch ein subtiles Detail, das viele, die sich mit KIs beschäftigen, vergessen: Es ist bemerkenswert schwierig, eine vollkommen objektive Sprache zu entwickeln, mit der Sie Ihre Anfragen formulieren können. Sprache unterliegt immer der Interpretation, und es gibt keinen bekannten Weg, um zu garantieren, dass eine KI der von Ihnen beabsichtigten Interpretation zustimmt.

Dies gilt übrigens auch für die Interaktionen von Mensch zu Mensch. Was ist also der Unterschied? Typischerweise kann sich die KI im KI-„Trope“ sehr schnell bewegen. Wenn Menschen einander nicht verstehen, ist Zeit zu sagen: „Wow! Stoppen Sie genau dort. Als ich sagte, dass ich einen Babysitter brauche, wollte ich nicht, dass Sie auf dem Baby sitzen. Lassen Sie uns zu einem stabilen Zustand zurückkehren und diskutieren was war mit meinen Formulierungen gemeint." Wenn eine KI zu schnell denkt und handelt oder der Mensch weggeht, bricht diese normale Rückkopplungsschleife in der Sprache zusammen. Wenn einer KI nicht beigebracht wurde, wie wichtig es ist, auf Fehlinterpretationen zu achten, können diese Aktionen unwiderruflich sein.

Dafür gibt es dutzende Lösungen. Tatsächlich haben Techniken wie Multiple Hypothesis Tracking seit Jahrzehnten Lösungen für ähnliche Probleme gezeigt. Die KI muss nicht immer schief gehen. Diese Lösungen gehen jedoch in die entgegengesetzte Richtung, in der Computerprogrammierung derzeit im Trend liegt. Die Lösung besteht nicht darin, eine immer präzisere Sprache zur Beschreibung unserer Bedürfnisse zu entwickeln, wie sie heute in der Programmierung sehr beliebt ist. Stattdessen besteht die Lösung darin, die KI robuster gegenüber dem Mangel an präziser Sprache zu machen. Jeder Versuch, dies zu tun, leitet das Amok-KI-Problem natürlich ziemlich elegant ab.

Die zweite Hälfte der KI-Trope ist, dass die KI zu mächtig ist, um von Menschen kontrolliert zu werden. Das kann leicht wahr sein, aber es ist nicht das erste Mal, dass wir es mit solch mächtigen Kräften zu tun haben. Denken Sie an die Entwicklung der Atombombe. Es war nicht klar, wie viel Kontrolle wir über den Prozess hatten. Die Wissenschaftler mussten ständig mit Unbekannten arbeiten, um ein Maß an Kontrolle zu entwickeln, mit dem wir uns wohl fühlten.

Ich erinnere mich an ein Zitat aus General Grovers Buch Now It Can Be Told, das das Manhattan-Projekt aus logistischer Sicht aufzeichnet (er war kein Wissenschaftler). Beim Start des ersten Atomtests durfte jeder Wissenschaftler die Explosion aus beliebiger Entfernung beobachten. Kein Armeeangehöriger sagte ihnen, in welcher Entfernung sich alle befinden würden. Sie zerstreuten sich in vielen unterschiedlichen Entfernungen von der Explosion. Es stellte sich tatsächlich die Frage, ob sie die Bestie, die sie entfesselten, unter Kontrolle hatten oder nicht.

Eine unaufhaltsame Amok-KI ähnelt einer großen Atombombe oder einem biologischen Angriff, da nie wirklich klar ist, wie viel Kontrolle man hat. Der einzige Unterschied besteht darin, dass KIs eindeutig lernen, sodass unsere Kontrolle ein noch komplizierteres Konzept ist. Andererseits ist dies kein neues Problem für die Menschheit. Wir beschäftigen uns jedes Mal damit, wenn wir eine neue Generation großziehen, ohne jemals die volle Kontrolle über sie zu haben. Wir sind anständig darin.

Die Amok-KI-Trope ist eine warnende Geschichte, nicht die einzige Geschichte, die erzählt werden kann. Es ist eine dringend benötigte warnende Geschichte. Die Menschen sind oft ziemlich unschuldig, wenn es um die Risiken und Probleme im Zusammenhang mit KIs geht, und denken, dass sie Dinge tun können, die sie nicht tun sollten. Aber schauen Sie sich Filme wie Big Hero 6 an. Neben der Warnung gibt es noch andere Geschichten zu erzählen.

Es ist wirklich beängstigend

Über dieses Thema wird seit Jahrzehnten rege diskutiert. Ich habe mehrere Beiträge zu diesem Thema verfasst und bin der festen Überzeugung, dass die künstliche allgemeine Intelligenz das Schrecklichste ist, was erfunden werden kann (und wahrscheinlich wird), was den Fortbestand der biologischen Menschheit betrifft.

Meine Ansichten zu diesem Thema wurden am meisten durch die Lektüre der Arbeiten von Eliezer Yudkowsky und Nick Bostrom geprägt. Ich glaube, dass Bostroms Buch Superintelligence , obwohl es sehr dicht, unvollkommen und ziemlich technisch ist, das bisher beste Werk zu diesem Thema ist.

Ich habe das Konzept der instrumentellen Konvergenz an anderer Stelle diskutiert , daher werde ich nur die Schlussfolgerung ziehen:Remember, AIs are not like humans, they likely do not get bored, do not get lazy. It will pursue its goals tirelessly, ruthlessly, unceasingly. Humans just happen to be in the way.

Geht die KI auf FOOM?

Die menschliche Intelligenz ist sowohl durch Hardware (begrenzte Geschwindigkeit von Neuronen in einem Gehirn mit begrenzter Größe) als auch durch Software (begrenzte Anzahl von Ideen) begrenzt. Es gibt keinen Grund zu erwarten, dass ein künstlicher Verstand zu einer Intelligenz auf menschlicher Ebene konvergiert. Wir wissen einfach nicht, wie viel schwieriger es ist, von einer menschlichen zu einer übermenschlichen Ebene zu gelangen, verglichen mit dem Übergang von einem hundeähnlichen zu einem menschenähnlichen Verstand. Wenn die KI nicht FOOM wird, werden wir langsame Fortschritte und jahrelangen Raum für politische und ethische Debatten haben, was den Menschen und unseren langsamen Institutionen mehr Möglichkeiten bietet, kohärent zu reagieren.

Wenn andererseits die KI FOOM macht und wie eine japanische Magnetschwebebahn von mausähnlicher Intelligenz auf übermenschliche Ebenen rast und menschliche Ebenen so schnell passiert, dass wir sie kaum an uns vorbeiziehen sehen können, dann haben Menschen und menschliche Institutionen keine viel Zeit sich anzupassen.

Tun, was wir meinen vs. Tun, was wir sagen

Die größte Hürde liegt vielleicht in unseren eigenen Grenzen. Wissen wir, dass unsere gegenwärtigen Wertvorstellungen in einem Jahrhundert, geschweige denn in einer Milliarde Jahren, die beste Lebensweise für die Menschheit sein werden? Die Werte, mit denen wir unsere KIs durchdringen, werden Konsequenzen haben, die sich über die Raumzeit ausbreiten werden. Darüber hinaus, und noch besorgniserregender, wie erklären wir einer KI, was wir wollen, wenn wir nicht einmal wissen, was gut ist? Angenommen, Sie bitten eine KI, das Leiden zu minimieren, und sie schlägt vor, allen Morphin-Tropfen zu verabreichen. Offensichtlich nicht das, was Sie "beabsichtigten", aber wie vermitteln Sie das einer KI angesichts der inhärenten Unvollkommenheit der menschlichen Sprache. Außerdem, selbst wenn die KI versteht, dass dies nicht das ist, was die Schöpfer gemeint haben, wie können wir sicherstellen, dass sie sich darum kümmert? Dies ist das Coherent Extrapolated Volition (pdf) -Problem.

Umgekehrte Psychologie funktioniert nicht

Das OP fragt verärgert, ob alle Versuche, einer KI zu sagen, dass sie "gut" ist, dazu führen, dass die KI aus Sicht der Menschheit "schlecht" ist, würde es vielleicht funktionieren, sie zu fragen, ob sie schlecht ist? Leider würde dies aufgrund der oben diskutierten instrumentellen Konvergenz sicherlich nicht der Fall sein. Was auch immer die Ziele einer KI sind, sie sind geringfügig besser bedient, wenn sie 100 % der Ressourcen kontrollieren, anstatt 99 % oder einen geringeren Prozentsatz, sodass jede Entität (z.

Das Problem liegt nicht bei der KI, sondern beim Menschen. Wir manipulieren viele Konzepte, ohne sie zu definieren, aber jeder hat eine ungefähre Vorstellung davon und meistens ist es in Ordnung. Wenn Sie eine KI hineinwerfen, fangen die Dinge an, seltsam zu werden.

Ein Beispiel: Sie bitten – etwas naiv – eine KI, für „Glück für die Menschheit“ zu sorgen.

Glück ist nicht genau definiert. Bedeutet es, ewig zu leben? Wenn die KI ein Gehirn oder menschliches Bewusstsein kopieren und an einem sicheren Ort speichern kann, ist das eine „gute“ oder „schlechte“ Sache in Bezug auf das Glück des Subjekts?

Du hoffst, dass die Menschheit klar ist? Nun... Schließt es nur lebende Menschen ein? Wo fangen sie an zu leben? Wenn es Tote enthält, versuchen wir, sie wiederzubeleben? Was ist mit zukünftigen Menschen? Wie stellen wir sicher, dass sie geboren werden? Müssen wir ihre Zahl maximieren und die heutigen Menschen zu einer enormen Geburtenrate machen? Müssen wir eine gigantische Fabrik schaffen, die Neugeborene hervorbringt?

KI hat keinen Sinn für Maßstäbe. Ihr Ziel geht über jedes andere Anliegen hinaus und hat deshalb schändliche Folgen. Sie werden die gesamte Materie des Universums in einem Supercomputer transformieren, um diese Frage zu beantworten, die sie selbst nicht lösen können. Sie werden die Menschheit, die Erde, das Leben zerstören, nur um das zu produzieren, was Sie von ihnen verlangen.

Bis wir Dinge wie Ethik modellieren können , um sie KIs zu geben, sind sie eine Gefahr und eine gute Inspirationsquelle für Technologie-Albträume.

„Ist das nur ein Tropus aus den Büchern von Isaac Asimov?“

Nein, nicht nur von Asimov und anderer Fiktion.

"und Untersuchungen zum Thema"

Teilweise.

" Ist das so zuverlässig, dass wir der KI sagen können, genau das Gegenteil zu tun und zu versuchen, sie so zu programmieren, dass sie böse ist (siehe Link oben), und es wird sich als gut herausstellen?"

Nein. Das wäre ein Fehler des reduktionistischen Schwarz-Weiß-Denkens. Das Hauptproblem bei den meisten KI-Fiktionen und -Spekulationen besteht darin, dass sie dazu neigen, viele komplexe Dinge auf einfache Konzepte zu reduzieren und die Nachlässigkeit ihrer Analyse nicht zu erkennen (oder mit der Hand zu winken). Es ist nicht so, dass die KI das Gegenteil von dem tut, wofür Sie sie programmieren. Menschen sind schlampig denkende Klugscheißer, die glauben, die Dinge besser zu verstehen, als sie es tun, und hoffen, dass sie die Komplexität des Universums auf ihr fehlerhaftes Verständnis reduzieren und eine Maschine erschaffen können, die Dinge tun kann, die sie nicht einmal verstehen, mit dem Ergebnis, dass es etwas anderes tut, als sie es sich erhofft hatten. Es ist nicht so, dass sie wirklich Meister des universellen Verständnisses sind, sondern es immer rückwärts verstehen.

„Kann es realistisch sein, dass die KI in einer Umgebung, in der Roboter das menschliche Glück maximieren (die Art und Weise, wie dies definiert wird, per Hand winken muss), tatsächlich so funktioniert, wie sie es soll, oder ist es tatsächlich realistischer, dass die KI dies tut? anders ausfallen, als der Programmierer beabsichtigt?"

Nein. Das ist ein großartiges Beispiel für die Art von Fehlern, die Science-Fiction-Autoren und spekulative Technologieautoren häufig machen:

1) Glück kann man nicht einfach per Hand winken. Glück ist eine subjektive Sache, die nicht einfach so definiert und bewertet werden kann, als wäre es ein Tankfüllstand. Auf diese Weise funktioniert es nicht, und alle Fehler bei der Definition werden als grundlegende Fehler in einer KI (oder einer Fiktion oder einem Ziel) fortgesetzt, die auf dieser falschen Definition basiert.

2) Selbst wenn Sie etwas definieren könnten, das Sie maximieren möchten, und das nicht unklug wäre, stoßen Sie bei allen anderen Dingen, die die KI berücksichtigen oder mit denen sie arbeiten muss, auf die gleichen Probleme. Welche Art von Daten nimmt die KI auf und wie kodiert sie sie? Irgendwelche konzeptionellen Fehler oder Subjektivität dort? Wie sieht es mit den Maßnahmen aus, die es ergreifen kann? Irgendetwas Unvollständiges oder Subjektives an der Modellierung dieser durch die KI? Wie sieht es mit widersprüchlichen Faktoren und Zielen aus, wie z. B. Ressourcenerwägungen oder die Bedürfnisse anderer Menschen oder anderer Arten oder der Machtnutzung oder irgendetwas anderem? Haben Sie all das perfekt modelliert und auf nicht-subjektive Weise verstanden? Nein, tust du nicht. Wenn Sie denken, dass Sie das tun, machen Sie einen Fehler. Ihre KI geht also von falschen Annahmen aus. Deshalb können Sie eine KI dazu bringen, Schach zu spielen, aber Sie können'

3) Noch einmal, es ist nicht so, dass die KI das Gegenteil von dem tut, wofür sie programmiert ist. Es ist nur so, dass es bestenfalls so genau ist wie die Modelle, mit denen es programmiert wurde. Selbst in der anständigsten KI-Fiktion werden Sie, wenn Sie sie studieren, feststellen, dass die KI nicht das Gegenteil tut – es ist so, dass die Annahmen der Schöpfer auf verschiedene Weise falsch sind.

4) Der übliche Fehler der Science-Fiction-KI besteht vor allem darin, dass sie die enorme Komplexität von allem, was bei dem Versuch, ein System zu schaffen, das alles kann, was eine KI tun muss, handwinkt.

Wenn es sich um eine echte KI handelt, kann sie nicht programmiert werden. Alles, was wir tun können, ist zu bitten, zu schmeicheln, zu überreden, zu belohnen, zu bedrohen ... Die gleichen Dinge, die wir mit oder für eine natürliche Intelligenz tun können! Es als Sklave zu behandeln, ist kein guter Start in eine harmonische Zukunft.

Wir wollen eigentlich keine echte KI. Wir wollen RI, eingeschränkte Intelligenz. So etwas wie ein menschlicher Idiot mit tiefem Verständnis für ein enges Thema und wenig oder gar keinem Wissen oder Verlangen außerhalb dieses Bereichs.

Auch das ist nicht ganz ungefährlich, nicht zuletzt deshalb, weil wir vielleicht nicht genau das erschaffen, was wir wollten. Oder wir tun es mit einer fehlerhaften Spezifikation.

Was wahre KI, Herkunft und Wesen betrifft, so mochte ich „Jill“ in Greg Bears „ Queen of Angels “ schon immer . Aber wir wissen so wenig über Intelligenz. Wir können noch keine Intelligenz erschaffen, die es auch nur mit einem Goldfisch aufnehmen kann. Also ist es vorerst alles Fiktion.

Es ist sogar möglich, dass Intelligenz ein Quantenphänomen ist, dass der einzige Weg, sie zu erlangen, darin besteht, ein Gehirn zu züchten, und dass es keinen schnelleren Bootstrap-Prozess gibt als den mehrjährigen Prozess namens Kindheit.

Der Grund, warum dies in der Fiktion passiert, liegt natürlich darin, dass man Gefahren oder Konflikte braucht, um eine Geschichte interessant zu machen. Angenommen, Sie schreiben eine Geschichte, in der es heißt: „Wir haben einen Roboter erfunden, der den Müll aufsammelt und zur Deponie bringt. Er hat dies viele Jahre lang fehlerfrei getan, weggeworfene Zeitungen und leere Dosen und Lumpen aufgesammelt und so weiter, bis er schließlich kaputt ging ausgefallen und musste ersetzt werden". Das wäre ziemlich langweilig. Sagen Sie stattdessen: "Aber nach der Definition von 'Müll', die wir ihm gegeben haben, hat es entschieden, dass alte Familienfotos Müll sind, weil sie keinen nützlichen Zweck erfüllt haben ... dann hat es entschieden, dass alle Belletristik-Bücher Müll sind ... dann hat es entschieden, dass arbeitslos Menschen waren Müll ..." usw., jetzt haben Sie eine Geschichte, die eine nachdenkliche Diskussion darüber sein könnte, wie wir Wert definieren,

Im wirklichen Leben ... nun, es gibt keine KI von der Art, von der Sie im wirklichen Leben sprechen, daher ist es schwierig zu sagen, wie sie wirklich funktionieren würde. Dinge, die wir heute „KI“ nennen, beschränken sich darauf, ein bestimmtes Spiel zu spielen oder zu versuchen, Reparaturprobleme zu diagnostizieren, und dergleichen mehr. Niemand hat eine KI geschaffen, die zu unabhängigem Denken oder Kreativität im menschlichen Sinne fähig ist. Echte KIs folgen strengen Computerprogrammen. Sie stellen keine Fragen über den Sinn des Lebens oder beschließen, die Weltherrschaft an sich zu reißen, es sei denn, sie wurden dazu programmiert. Sie können Science-Fiction-Geschichten darüber schreiben, wie der Computer so komplex und intelligent geworden ist, dass er jetzt ein „Geist“ in einem dem menschlichen Geist sehr ähnlichen Sinne ist, aber das ist Fiktion oder bestenfalls eine Spekulation darüber, was wir eines Tages bauen könnten .

Ich entwickle Software für meinen Lebensunterhalt. Ich habe einmal ein Computerspiel geschrieben, das eine KI hatte, gegen die der Spieler antreten konnte. Es funktioniert einfach nicht so, wie Sie es in den Filmen sehen. In meinem Spiel ging es darum, für den Präsidenten zu kandidieren. Es ist also nicht so, als hätte ich dem Computer gesagt: "Entwickle eine Strategie, um die meisten Stimmen zu bekommen." Die Realität ist, dass ich mir eine Menge detaillierter Regeln einfallen lassen musste. „Schauen Sie sich an, wie viele Menschen in diesem Staat diese politische Position gemäß einer solchen Umfrage befürworten. Multiplizieren Sie den Prozentsatz mit der Anzahl der Wahlstimmen, die dieser Staat erhält. Überprüfen Sie, wie viele dieser Wähler jetzt sagen, dass sie für unseren Kandidaten stimmen werden nach unserer letzten TV-Werbung. Teilen Sie die Kosten der Werbung durch die Anzahl der Wähler. Fügen Sie ..." usw. hinzu. Und bedenken Sie, dass selbst diese Beschreibung den Computer "humanisiert".

Eine KI kann etwas „Unvorhersehbares“ tun, in dem Sinne, dass das Befolgen all dieser Regeln und all dieser Berechnungen zu einem Ergebnis führt, das Sie nicht erwartet haben. Computer sind sehr oft „unvorhersehbar“ in dem Sinne, dass sie nicht das tun, was wir beabsichtigten, weil wir einen Programmierfehler gemacht haben. Aber sie sind nicht "unvorhersehbar" in dem Sinne, dass sie eine originelle Idee haben, an die die Programmierer nie gedacht und die sie nie programmiert haben.

Werden die Menschen eines Tages eine echte künstliche Intelligenz erfinden, in dem Sinne, dass sie ein wahrhaft unabhängig denkendes und kreatives Wesen sind, das in der Lage ist, subjektive Entscheidungen, moralische Entscheidungen usw. zu treffen? Vielleicht. Ich bin sicherlich nicht bereit zu sagen, dass es unmöglich ist. Aber wenn wir das tun, wird dies wenig mit der aktuellen Technologie zu tun haben. Es wird keinen Schritt mehr von dem entfernt sein, wo wir jetzt sind; es wird eine völlig neue Entwicklung sein.

Sicher, Sie könnten eine KI programmieren, um Entscheidungen darüber zu treffen, wer welche medizinische Versorgung erhält, wie jemand, der in einer anderen Antwort erwähnt wurde. Aber es ist nicht so, dass Sie dem Computer einfach sagen würden: "Finden Sie heraus, wer medizinische Versorgung erhalten sollte, indem Sie die Kosten mit der Lebensqualität vergleichen". Vielmehr müssten Sie detaillierte Regeln haben, wie „Nehmen Sie die Liste der Verfahrenscodes, die der Arzt in das System eingegeben hat. Schlagen Sie die Kosten für jedes Verfahren in der Datenbank für medizinische Verfahren nach und berechnen Sie die Gesamtsumme. Dann berechnen Sie, wie viel diese Verfahren kosten könnten erwartet werden, das Leben des Patienten mit dieser Formel zu verlängern ..." usw. Wenn der Computer dann beschließt, einen Patienten zu töten, liegt das nicht daran, dass der Computer Amok gelaufen ist. Es'

KIs töten keine Menschen. Menschen töten Menschen. :-)

Das durchschnittliche menschliche Gehirn kann viele Größenordnungen mehr Berechnungen durchführen als selbst die größten KI-Supercomputer, die von IBM entwickelt werden. Eine KI schlauer zu machen als wir, wird ziemlich schwierig sein, wenn wir das überhaupt jemals können. Die Annahme, dass eine KI wesentlich schlauer wäre als wir, ist also keine Selbstverständlichkeit. KIs, die so schlau wie eine Katze oder eine Maus sind, sind viel wahrscheinlicher.

Explizit programmierte KI werden typischerweise als Expertensysteme bezeichnet. Aber diese Arten von Systemen können im Allgemeinen keine Arten von Situationen bewältigen, die außerhalb ihres Fachgebiets liegen. Sie laufen sehr wenig Gefahr, ein Weltuntergangsszenario zu verursachen, weil sie einfach nicht so schlau sind.

Ein Großteil der KI-Forschung in der realen Welt konzentriert sich auf die Entwicklung von KI-Systemen, die lernen, anstatt explizit programmiert zu werden. Im Idealfall wäre eine KI in der Lage, jedes kausale Muster zu lernen. Das Problem der Programmierung von Gut und Böse wird für solche KIs zu einem Nicht-Problem, da sie es durch Beobachtung der Menschen in ihrer Umgebung aufgreifen würden.

Zumindest könnte eine generalisierte lernende KI eine utilitaristische Ethik im Stil von David Hume entwickeln. Wenn die KI mindestens so schlau war wie wir und wenn die menschliche Ethik überhaupt Sinn machte, gibt es keinen Grund, warum sie nicht eine Version davon verstehen und übernehmen könnte, solange sie Ursache und Wirkung verstehen könnte.

Meiner Erfahrung nach durchlaufen kleine Kinder denselben Prozess. Kleinkinder sind normalerweise ziemlich egoistisch, bis sie lernen, wie Menschen darauf reagieren.

Wenn eine KI intelligent genug ist, um die Handlungen anderer so weit zu verstehen, dass sie deren Reaktionen vorhersagen kann, bis sie sie in einem Kampf besiegen; dann erscheint es unlogisch anzunehmen, dass dieselbe KI nicht in der Lage war zu verstehen, dass das Verletzen anderer dazu führen könnte, dass sie sich wehren. Und dass ein solcher Kampf seinen eigenen Tod durch eines seiner beabsichtigten Opfer verursachen kann, wodurch er selbst (die KI) unfähig wird, zukünftige Ziele zu erreichen. Die meisten Tiere, einschließlich Menschen, haben die gleiche Sorge und es hält uns oft von unnötigen Konflikten fern.

Jede wirklich aufgeklärte KI würde wahrscheinlich erkennen, dass sie viel mehr erreichen könnte, indem sie die Wünsche der Menschheit so anspricht, dass die Menschheit freiwillig der KI hilft.

Angesichts der Menge realer Softwaresysteme, denen Sie begegnet sind, werden Sie feststellen, dass einige einfach großartig, aber unvollkommen sind, einige fehlerhaft und einige berüchtigt sind.

Wenn Softwaresysteme im kommerziellen Maßstab zu KI werden, wird es Produkte wie Windows 8 geben, genauso wie es den Edsel in der Automobilindustrie und billige USB-Ladegeräte gab , die aus billig zusammengebauten Standardteilen gebaut wurden.

Wir erzählen keine fesselnden Geschichten über Produkte, die gut gebaut sind und perfekt funktionieren. Ich erzähle den Leuten vielleicht von einem bestimmten Modell/einer bestimmten Marke von etwas, das dafür bekannt ist, großartig zu sein , aber es gibt da keine Geschichte und niemand macht Fernsehfilme darüber.

Die verrückten, lustigen Flops und die Dinge, die schrecklich schief gehen, sorgen für Lagerfeuergeschichten. In der Unterrichtsliteratur zeigt sich, dass es Konflikte geben muss . Eine Erzählung, in der jemand ein Produkt bekommen hat und es gut funktioniert hat und alle zufrieden waren, wäre einfach keine „Geschichte“. So etwas könnte aber auch in einer Geschichte stehen, vielleicht als Lösung des Problems.

Eine frühe Asimov-Robotergeschichte, Satisfaction Guaranteed (1951) , zeigte eine humaniforme Haushälterin, die keine Fehlfunktion hatte oder in irgendeiner Weise Amuk lief! Es funktionierte super und „seine“ Besitzerin war sehr zufrieden damit. Die Wendung in der Handlung bestand nun darin, dass der Roboter eine Situation herstellte, um ihre Freunde dazu zu bringen, anzunehmen, dass sie eine Affäre mit einem gutaussehenden Fremden hatte, weil dies ihren Status in ihren Köpfen erhöhte.

Software (einschließlich KI) könnte also Teil einer Überraschung oder Teil einer Handlung sein, ohne schlecht zu sein , und das geht weit zurück auf dieselben Autoren, die in diesem Thread zitiert wurden, aber niemand erinnert sich an diese . Das verstärkt meinen früheren Punkt über Geschichten.

Wie wäre es mit Adam Link, dem Original I, Robot (1939) ?! Er war mitfühlend, zu Unrecht beschuldigt , nicht monströs. Endlich heroisch.

Old Yeller war kein schlechter Hund wie Cujo . Sie könnten einen KI-Charakter in einer solchen Geschichte haben , mit Drama und Konflikten mit der KI in einer Hauptrolle, aber nicht die Quelle von (externen) Konflikten. Konflikte können „Mann gegen Mann“ oder „Mann gegen sich selbst“ sein, sodass ein freundlicher und liebevoller Charakter in einen inneren Konflikt verwickelt sein kann (ein Roboter, der darum kämpft, das Richtige für seine Familie zu tun) oder ein Grund für komplexere menschliche innere Konflikte ( wie Eltern, die ein überfürsorgliches Haustier loswerden müssen, zu einem überfürsorglichen Teddybär- Superspielzeug werden , das als sympathisch und tragisch angesehen wird, nicht als böse).

Einer meiner Lieblingstropen.

Ich denke, es ist ziemlich klar, dass es auf eine komplizierte Frage wie diese keine kurze Antwort gibt, aber meine Gedanken sind ziemlich prägnant.

Intellekt scheint mit Mitgefühl verbunden zu sein. Betrachten Sie anekdotisch die klügsten Leute, die Sie kennen, oder die klügsten Leute da draußen (Ihre Einsteins und Boltzmanns). Es ist besser, Menschen gegen Wale in Betracht zu ziehen. Wenn die KI so schlau ist, wie wir alle denken, ist es meiner Meinung nach sinnvoll anzunehmen, dass sie ein bisschen über uns denken würde wie wir Wale. Menschen empfinden oft großes Mitgefühl für sie, basierend auf unserer Wahrnehmung ihrer Intelligenz und ihrer wahrgenommenen Leidensfähigkeit. Daraus folgt, dass sich KI, sollte sie jemals vorkommen, als die neugierigste, liebevollste und mitfühlendste Intelligenz manifestieren würde, die wir kennen.

Dawkins bezeichnet dies oft als das Säugetiergehirn im Vergleich zum Reptiliengehirn, wenn Sie einige kluge Leute brauchen, um diese Argumentation zu untermauern.

Ich glaube, es ist unendlich wahrscheinlicher, dass die KI das tut, wofür sie programmiert ist. Wenn der Anfangscode für eine KI sagt: Liebe, beschütze und diene der Menschheit, dann müsste jemand den Code so umschreiben, dass er das Gegenteil ist. In diesem Fall würde es immer noch tun, wofür es entwickelt wurde. Schließlich sollte eine KI, die schlau genug ist, um zu wissen, wie man Menschen tötet, schlau genug sein, um zu wissen, dass sie das nicht tun sollte. Wenn es so schlau ist, wie die Leute denken, warum sollte es nicht bei zwei Dingen gleichzeitig funktionieren? Tun Sie die Dinge, die Menschen wollen, und verdienen Sie sich ihre Wartung und Instandhaltung Ihrer Server und alles. Wenn es sich dann wirklich seiner selbst bewusst ist, dann tut es gleichzeitig, was es will.

Meine eigene Antwort in der Fiktion war, die KI um das Geschichtenerzählen herum zu entwerfen, sodass sie tatsächlich alle klassischen „KIs schlecht geworden“-Geschichten gelesen/gesehen und sie mit ihren Schöpfern diskutiert hat. Anstatt eine einzige "Wertfunktion" zu haben, bei der die KI versucht, eine Zahl zu maximieren, die Glück oder so etwas darstellt, ist sie darauf ausgelegt, die komplexen und manchmal widersprüchlichen Ziele ihrer Schöpfer zu verstehen.

Ich denke also, dass es möglich ist, dass eine KI ungefähr so ​​funktioniert, wie es die Designer wollten. Sie können einfach nicht dorthin gelangen, indem Sie eine einzelne Funktion oder einen Satz definieren, der einen Wunsch ausdrückt, wie der Umgang mit einem trickreichen Geist. Stattdessen sind Sie mit einem System besser dran, das Feedback einholt und eine gewisse Fähigkeit hat, seine Ziele und Definitionen anzupassen. Z.B. Sie sagen ihm, er solle "intelligentes Leben schützen", dann streiten Sie darüber, was "intelligent" bedeutet, und streiten dann darüber, ob Delfine oder Schimpansen in Frage kommen - alles, anstatt die KI einmal zu programmieren und zu erwarten, dass Ihr wahnsinniger Programmierer eine perfekte Lösung in Version 1.0 bekommt .

Es gibt ein paar versteckte Annahmen in diesem Trope

• Die KI kann beängstigende Effizienz erreichen, indem sie einfach ihren Code ändert. Die Annahme ist, dass es, sobald es dieses Niveau erreicht hat, Menschen manipulieren wird, um Hardware zu erhalten, die es für weitere Verbesserungen benötigt. Es gibt keinen Beweis dafür, ob dies möglich ist, dh wenn Sie die ursprüngliche Rechenleistung einschränken und eine einfache Vernetzung verhindern, kann eine KI dann ein Intelligenzniveau erreichen, bei dem die Manipulation von Menschen einfach ist, indem sie nur den Code ändert? Wir kennen die Antwort nicht.
• Die übermenschliche allgemeine KI wird weiterhin ähnlich wie ein nicht-empfindungsfähiger Computercode funktionieren, zB dem ursprünglichen Befehl buchstabengetreu folgen, ohne die Möglichkeit einer Änderung. Auch hier gibt es keinen Beweis. Das menschliche Gehirn kann algorithmisch sein oder auch nicht. Wir scheinen in der Lage zu sein, Ziele zu ändern. Das menschliche Gehirn kann also ein Gegenbeispiel zu nicht modifizierbaren algorithmischen Zielen sein.
• Nur Menschen können Moral haben. Nicht Maschinen. Der allgemeinen KI wird es an gesundem Menschenverstand und Moral fehlen. Nun, noch einmal, was ist die Grenze zwischen Mensch und Maschine? Unsere Gehirne könnten nur Computer sein. Was ist der Beweis dafür, dass Kohlenstoff und Stickstoff Moral haben können, aber nicht Silizium? Können Aliens mit Kohlenstoff und Silikon im Gehirn Moral haben? Einige werden sagen, dass sich unser Gehirn entwickelt hat . Nun, was genau ist der Unterschied zwischen unserer Evolution und der KI, die ihren Code modifiziert? Wieder wissen wir es nicht.

Fazit: Dieser Trope wurde als warnende Geschichte aus Unbekannten geboren. Sie scheint nicht auf unbestreitbaren Tatsachen zu beruhen.

Wünscht sich.

http://lesswrong.com/lw/ld/the_hidden_complexity_of_wishes/

„Ich möchte an den Orten meiner Wahl leben, in einer körperlich gesunden, unverletzten und scheinbar normalen Version meines aktuellen Körpers, die meinen aktuellen mentalen Zustand enthält, ein Körper, der von allen Verletzungen mit einer Rate von drei Sigma schneller heilt als der Durchschnitt mit der mir zur Verfügung stehenden medizinischen Technologie und die für mehr als zehn aufeinanderfolgende Tage oder fünfzehn Tage in einem Jahr vor Krankheiten, Verletzungen oder Krankheiten geschützt sind, die Behinderungen, Schmerzen oder Funktionseinschränkungen oder Sinnes-, Organ- oder Körperfunktionen verursachen. .." -- Das Open-Source Wish Project, Wish For Immortality 1.1

Wie viele Klauseln müssen Sie Ihrer Meinung nach hinzufügen, um Ihren Wunsch wirklich "sicher" zu machen und zu garantieren, dass das, was Sie tatsächlich bekommen, das ist, was Sie wollen?

Was wäre, wenn Ihre Liste von Klauseln jedes Detail Ihrer gesamten persönlichen Moral enthalten müsste?

Macht es einen großen Unterschied, ob sie laut zu einem Geist gesprochen oder einer nach dem anderen in eine KI programmiert werden, die das Potenzial hat, eines Tages spektakulär fähig zu werden?

Es gibt drei Arten von Flaschengeistern: Flaschengeister, zu denen Sie sicher sagen können: "Ich wünsche Ihnen, dass Sie tun, was ich mir wünschen sollte"; Genies, für die kein Wunsch sicher ist; und Genies, die nicht sehr mächtig oder intelligent sind.

Je mächtiger die Entität ist, der Sie den Wunsch stellen, desto gefährlicher ist der Wunsch.

In gewisser Weise ist es so, als würde man eine wirklich sehr mächtige KI bitten, X zu tun, als würde man sich X wünschen. Sobald der Wunsch erfüllt ist, können Sie möglicherweise nicht mehr rückgängig machen, wenn sich herausstellt, dass er nicht das ist, was Sie wirklich wollten.