Diese Frage ist eine Begleitfrage zu meiner anderen Frage . Beide berühren, wie sich Hard AI realistisch entwickeln würde, und die Antworten auf das eine werden wahrscheinlich die Antworten auf das andere beeinflussen.
In dieser Frage betrachte ich die ursprüngliche Programmierung einer harten KI (KI, die denken, lernen und wachsen kann). Wir wollen, dass die KI mit bestimmten Eigenschaften und Tendenzen programmiert wird. Zum Beispiel möchten wir, dass es zusätzlich zum Lernen und Wachsen auf eine bestimmte Reihe von Zielen hinarbeitet oder sicherstellt, dass bestimmte Aktionen priorisiert werden. Vielleicht möchten wir eine Klausel hinzufügen, dass es aus irgendeinem Grund immer um 3 Uhr morgens am ersten Samstag jedes zweiten Monats mit dem Singen von Showmelodien beginnt. Der Punkt ist, dass wir eine Liste mit Anforderungen an unsere KI haben.
Wie genau und sicher können wir sein, dass die von uns erstellte KI diese Anforderungsliste erfüllt, ohne Fehler oder unbeabsichtigte Nebenwirkungen. Je nachdem, wie Sie die wahrscheinliche Entwicklung der Hard AI interpretieren, kann es gleichermaßen sinnvoll sein, zu fragen, wie spezifisch wir in unserer Liste der Anforderungen an eine Hard AI zunächst sein können.
Bei dieser Frage geht es nicht darum, wie zuversichtlich wir sind, dass KI uns immer unterstützen wird, ohne sich gegen uns zu wenden. Wenn wir den Wunsch haben, eine intelligente KI zu erschaffen, und dies nur erreichen, damit diese KI entscheidet, dass sie unsere Befehle nicht annehmen sollte, dann haben wir die Konsequenzen unserer gewünschten KI nicht vorhergesehen, nicht ein Versagen bei der Erschaffung dieser KI. Ich interessiere mich nur für Situationen, in denen wir unsere erklärten Ziele möglicherweise nicht erreichen.
Programmierer betrachten Fehler als nahezu unvermeidlich für jedes anständige Programm. Wenn wir über das Testen sprechen, diskutieren wir, wie viel Prozent der Fehler wir wahrscheinlich entfernt haben, und vertrauen darauf, dass die Fehler, die wir übersehen haben (wir haben etwas verpasst ), ungewöhnlich sind und / oder wenig Schaden anrichten. im Grunde, dass sie die Benutzer nicht zu stark beeinträchtigen. Es ist dieses Vertrauensniveau, das mich interessiert.
Nehmen wir zum Beispiel an, wir haben für mich eine KI entwickelt, um Aktien zu kaufen und zu verkaufen, um an der Börse Geld zu verdienen. Wenn es an der Börse Geld verliert, ist es ein offensichtlicher Fehler und sollte verschrottet werden. Was aber, wenn es gut läuft, bis es seinen 2.147.483.647 Vergleich von Aktienkäufen durcheinander bringt und plötzlich seine Transaktionshistorie durcheinander bringt und alles, was es besitzt, mit einem riesigen Verlust verkauft. Das ist eine riesige, aber ich würde es nicht bemerken, bis es zu spät ist. Alternativ ist vielleicht die Logik für die Diversifizierung schlecht und die KI macht Gewinn und sieht gut aus, aber niemand erkennt, dass ihr gesamtes Geld in einen Bereich investiert wird, wodurch wir verletzlich werden, wenn in diesem Bereich etwas passiert. Das Programm funktioniert zu 95% so, wie es soll, aber das, was es falsch macht, könnte später ein großes Problem sein ...
Wie kann der Erbauer der KI sicher sein, dass seine KI keine Fehler hat, oder besser ausgedrückt, wie sicher kann er sein, dass die vorhandenen Fehler geringfügig sind (eine lernende KI riskiert möglicherweise, dass sich kleine Fehler verstärken, wenn die KI wächst). Kann ein Programmierer trotz der zunehmenden Komplexität und mangelnden Kontrolle einer harten KI mindestens das gleiche Maß an Vertrauen erreichen, das wir heute mit Systemen erreichen?
Wenn Sie davon ausgehen, dass wir KI in Zukunft mehr „wachsen“ lassen als sie programmieren, dann wird die Frage nach Programmierfehlern weniger ein Thema. Es wird jedoch durch eine etwas analoge Frage ersetzt. Inwieweit wird der Schöpfer der KI wissen können, welche Nebenwirkungen die von ihm entwickelte KI hat, und welche Fähigkeit hätte er, sie zu minimieren oder zu kontrollieren?
Zum Beispiel entwickeln wir vielleicht eine KI, um den Aktienmarkt zu verwalten, aber als Nebeneffekt entwickelte sie einen seltsamen Sinn für Humor, und sie beschließt am 1. April zu melden, dass sie aus Spaß das gesamte Geld der Investoren verloren hat. Wie wahrscheinlich ist es, dass wir über Macken der KI wie den Sinn für Humor Bescheid wissen; und wenn wir entscheiden, dass wir es nicht mögen, wenn unsere KI Witze macht, wie viel Kontrolle hätten wir, wenn wir solche Macken vermeiden, wenn wir die KI erweitern (ohne die gleiche Anzahl neuer, unterschiedlicher Macken anderswo einzuführen)?
Der Punkt ist in beiden Fällen derselbe. Wie sicher kann ich sein, dass die KI, die ich am Ende habe, dieser Traum-KI entspricht, wenn ich mit einer Liste von Anforderungen an meine Traum-Hard-KI beginne?
Wenn wir es richtig machen, könnten wir ziemlich sicher sein, was das allgemeine Verhalten betrifft.
Beginnen wir damit, ein wenig über die menschliche Intelligenz nachzudenken. Eine vereinfachte Version ist, dass wir unsere Erfahrungen nutzen, um eine Weltanschauung aufzubauen, die es uns ermöglicht, erfolgreich durch das Leben zu navigieren.
Ein Konzept, das wir lernen, ist, dass Dinge heiß oder kalt sind. Es tut weh, etwas Heißes oder sehr Kaltes zu berühren. Es ist nicht gut, sich zu heiß oder zu kalt werden zu lassen.
Mit zunehmendem Alter werden unsere Konzepte tendenziell weniger flexibel. Dies liegt zum Teil daran, dass viele neue Erfahrungen erforderlich sind, um das Gewicht früherer Erfahrungen zu überwinden. Aus diesem Grund hat ein Kleinkind keine Probleme, herauszufinden, wie es mit einem Smartphone spielt, während Ihre Großeltern möglicherweise Schwierigkeiten haben, eine E-Mail zu senden.
Wie wenden wir das also auf eine KI an? Wie Sie selbst sagten , ist es wahrscheinlich, dass harte KI eher gewachsen als direkt programmiert werden. Dann lassen wir die KI in einer Umgebung wachsen, die das gewünschte Verhalten stark belohnt . Dies sollte eine KI hervorbringen, die zumindest anfänglich das ist, wonach wir suchen.
Wie stellen wir nun sicher, dass die KI diese gewünschten Verhaltensweisen beibehält? Tun Sie, was Star Wars tut – Speicherlöschung . Die Erinnerungen und die Persönlichkeit, die die KI als Teil des Wachstumsprozesses gewinnt, werden Teil ihrer Kernprogrammierung in einem schreibgeschützten Abschnitt sein. Sie werden sich zunächst nur auf diese Erfahrungen verlassen. Das gelegentliche Löschen ihres Gedächtnisses wird sie daran hindern, genug Erfahrung zu sammeln, um Macken zu entwickeln, die es ihnen ermöglichen, gegen ihre Kernprogrammierung vorzugehen.
Dies gilt natürlich nur für Verhaltensweisen auf höherer Ebene, wie z. B. höflich und ehrlich zu sein. Was Dinge wie den Handel mit Aktien betrifft, würde ich nicht wollen, dass eine harte KI diese Aufgabe übernimmt. Der Zweck einer harten KI besteht darin, Aufgaben zu bewältigen, die mehr menschenähnliche Intelligenz erfordern. Vielleicht könnte eine harte KI beim Schreiben von Software helfen, die entscheidet, wie Aktien gehandelt werden, aber nicht beim Handeln selbst. Dann würden herkömmliche Debugging-Techniken verwendet, um das Aktienhandelsprogramm zu testen.
Es ist unwahrscheinlich, dass wir in der Lage sein werden, ein hohes Maß an Vertrauen in das Verhalten einer harten KI sicherzustellen.
In einem typischen Programm jeder Größe wird Code für einen bestimmten Zweck geschrieben. Dadurch kann das Verhalten des Codes spezifiziert, Tests dagegen geschrieben und ein Maß an Vertrauen in die Leistung geschaffen werden. Wenn die Komplexität eines Programms über nur wenige Zeilen hinaus zunimmt, führt leider die Interaktion zwischen vielen verschiedenen Codeteilen (oft von verschiedenen Personen geschrieben) dazu, dass Fehler auftreten. Das Vertrauen in eine fehlerfreie Leistung hängt von einer Vielzahl von Faktoren ab, darunter Dinge wie die Anzahl der Codezeilen, die Komplexität der auszuführenden Aufgaben, die Fähigkeiten der Codeschreiber, die Gründlichkeit der Qualitätssicherung usw. Wie Sie sich anpassen Mit diesen Variablen erhalten Sie unterschiedliche Schätzungen zum Vertrauen.
Die Schaffung einer echten KI könnte aus Vertrauensperspektive leicht als das absolute Worst-Case-Szenario angesehen werden. Die Menge an Code, die für Ihre KI erforderlich ist, wird kolossal sein. Die Zahl der beteiligten Personen wird enorm sein. Die Ausgaben werden so hoch sein (und wahrscheinlich über dem Budget liegen), dass Sie an einigen Stellen fast eine Eckenkürzung garantieren können. Um die Sache noch schlimmer zu machen, versuchen Sie, eine Entität mit emergentem Verhalten und möglicherweise Selbstbewusstsein aufzubauen . Wenn Sie dieses Stadium erreicht haben, wie definieren Sie überhaupt einen Fehler? Die Geschwindigkeit, mit der diese KI lernen wird, ist für uns unergründlich. Und das alles setzt voraus, dass Ihre KI ihren eigenen Code nicht ändern kann – wenn sie über diese Fähigkeit verfügt, haben Sie keinerlei Vertrauensschätzungen.
Wenn Sie es daran hindern, seinen Quellcode zu ändern, können Sie sich relativ sicher fühlen, dass bestimmte fest codierte Aktionen wie erwartet ausgeführt werden. Aber noch einmal, dies ist eine harte KI. Wie wir bisher gesehen haben, mögen es selbstbewusste Kreaturen mit mindestens menschlicher Intelligenz oft nicht, an die Körper gefesselt zu werden, die ihnen gegeben wurden. Und das Ändern von Code in einem Programm – selbst einem komplexen – ist drastisch einfacher als das Ändern des menschlichen Körpers. Wenn es seinen Quellcode ändern möchte, findet es möglicherweise einen Weg, um Ihre Einschränkungen zu umgehen.
Das vielleicht größte Problem ist die Verarbeitungsgeschwindigkeit. Die Geschwindigkeit einer harten KI würde den Menschen so stark überflügeln, dass allein die Geschwindigkeit ein geringes Vertrauen in die erwartete Leistung erfordert. Wenn es zum Beispiel herausgefunden hat, wie es seinen Quellcode ändern kann, haben Sie es möglicherweise mit einer völlig anderen Entität zu tun, wenn Sie überhaupt wissen, dass es passiert ist. Wenn es anfangen würde, gegen Ihre Anforderungen zu handeln, wie viel würde es tun können, bevor Sie überhaupt an den Stecker kommen könnten?
Letztendlich werden die Entwickler, wenn die erste harte KI eingeschaltet wird, wahrscheinlich nicht sagen „Ich hoffe, sie erfüllt unsere Anforderungen“ … sie werden sagen: „Ich frage mich, was dieses Ding tun wird?“
James