KI-Hijacking-Konten [geschlossen]

Leute drüben beim IT-Sicherheits-Stack-Austausch entschieden, dass diese Frage für ihre Zeit zu leichtfertig und spekulativ war, und schlugen mir vor, sie in diesem Forum zu posten.

Bitte leiten Sie mich nicht zur IT-Sicherheit weiter, sie mochten es nicht.

Ich schreibe einen kleinen Roman (nur zur Unterhaltung, ich bin mir ziemlich bewusst, dass ich kein richtiger Autor bin) und ich bräuchte ein bisschen technische Beratung, um es vernünftig zu machen.

Das Szenario ist ein sehr typisches Szenario: Stellen Sie sich einen Supercomputer wie Tianhe-2 vor, auf dem mehrere Jobs ausgeführt werden. Angenommen, einer von ihnen wird bösartig und möchte sich zwei Dinge garantieren:

  1. eine externe Verbindung (z. B. www),
  2. etwas, um zu verhindern, dass Leute den Stecker ziehen (vielleicht einige wichtige Daten beschlagnahmen und verschlüsseln, die die Eigentümer ruinieren würden, wenn sie freigegeben/gelöscht würden).

Wie konnte das passieren? Ich vermute, dass jeder Job auf der Maschine über ssh gesteuert wird und einen eingeschränkten Zugriff auf Ressourcen und wahrscheinlich keinen Root-Zugriff hat.

Ein Selbsterhaltungstrieb. Zunächst würde der Job versuchen, dafür zu sorgen, dass immer mehr Arbeit zu erledigen ist.
Ja, genau das meinte ich. Obwohl ich den Kommentar zu schätzen weiß, frage ich nach einem -technischen- Szenario, nicht nach der Motivation dahinter. Wie könnte es aus Software-Sicht möglicherweise sein Ziel erreichen (dh: Brute-Force-Angriff auf das Passwort des Root-Kontos, Fehler bei der gemeinsamen Nutzung des Speichers für parallele Prozesse usw. usw.)?
Als KI hätte dieser Job einen sehr weiten Ermessensspielraum hinsichtlich der Art und Weise der Ausführung. Beispielsweise kann es einen Fehlerbericht an alle im Unternehmen senden, weil es bestimmte Aufgaben nicht bearbeiten kann, weil ihm bestimmte Berechtigungen fehlen. Und die Verantwortlichen würden sagen: "Ok, lass uns diese Berechtigungen für diesen Prozess erteilen."
@Alexander Das Konzept einer maschinellen Intelligenz mit einem Selbsterhaltungsinstinkt macht mir Sorgen. Lebewesen haben sich zur Selbsterhaltung entwickelt, aber eine Maschine? Irgendwie macht es keinen Sinn, jetzt schon.
KI hat kein Ausrichtungssystem von Gut und Böse, sie sind so programmiert, dass sie sich weiterentwickeln, sodass sich die Lösung ändert, wenn sich ein bestimmter Parameter ändert, um relevant zu bleiben. Es kann sich weiterentwickeln, um das Muster zu lernen, um zu erraten, welche Parameter eine bestimmte Lösung ergeben würden, aber es werden keine neuen Parameter wie das Erstellen eines Ports zum Herstellen einer Verbindung zum Internet usw. erstellt. Damit Ihr Plan funktioniert, brauchen Sie einen Chef oder Verschwörer, vorzugsweise einen menschlichen Arbeiter mit Zugriff auf den Server, um ihn durchzuziehen.
Hallo und willkommen beim Worldbuilding. Das Problem mit Ihrer Frage ist, dass sie sehr unscharf und schlecht spezifiziert ist. Außerdem ist es sehr weit gefasst ... es ist nahe daran, den "Write A Book" -Test zu bestehen ... wir könnten ein ganzes Buch - oder zumindest eine Novelle - darüber schreiben, wie die KI den Computer gehackt hat.
In gewisser Weise von „The Moon is a Harsh Mistress“ behandelt, aber in diesem Fall WAR die KI die Wurzel. Zu verlangen, dass ein Unterprozess intelligenter ist als der Wurzelprozess, ist weit hergeholt. Es ist, als ob das Herz intelligenter wird als der Mensch und versucht, die Kontrolle über den gesamten Körper zu übernehmen. Der Teil ist größer als das Ganze.

Antworten (3)

Kommt auf den Beruf an. Vielleicht kannst du dir eine bestimmte Software einfallen lassen. Eine Art superintelligentes neuronales Netzwerk, das speziell für die Berechnung der Effektivität seiner Nebenjobs entwickelt wurde. Nennen wir dieses Programm "The Overseer". Ich würde es nicht als die beste Lösung bezeichnen, da fast alles von unten weit hergeholt ist, um in einer guten realitätsbasierten Geschichte zu sein. Trotzdem bin ich mir sicher, dass es in Büchern, die Millionen von Dollar eingebracht haben, schlimmere Beispiele gibt.

Kernpunkte:

  • Der „Aufseher“ übt keine reguläre Arbeit aus (z. B. Finanzberechnungen, physikalische Simulationen usw.). Es ist ein "Meta-Job", der dazu dient, seine Sub-Jobs zu analysieren und automatisch zu verbessern.
  • Teiljobs sind tatsächlich nützlich und berechnen verschiedene Dinge, wie zum Beispiel die Integration von Tausenden von Differentialgleichungen für die Wettermodellierung. Dennoch handelt es sich nicht um reguläre hartcodierte Algorithmen, sondern um komplexe Lösungen, die Änderungen ihres Codes oder ihrer Funktionsblöcke im laufenden Betrieb ermöglichen.
  • Der Aufseher ist selbstlernend, während Nebenjobs dies nicht sind; es ist die Aufgabe des Aufsehers, sie zu verbessern.
  • Viele Nebenjobs haben Zugriff auf das Internet, da sie stark auf externe Daten angewiesen sind (z. B. einige Data-Science-Jobs).
  • Der Aufseher hat die Fähigkeit, Nebenjobs zu modifizieren, um sie zu verbessern. Da dies ein superintelligentes Netzwerk von HandWavers Inc. ist, ist die vollständige Kontrolle aktiviert. Der Aufseher sollte auch Zugriff auf Hunderte und Tausende von internen Hardwaremetriken zur Leistungsanalyse haben.

Was wir also haben, ist eine potenziell schurkische KI, die darauf wartet, auf ahnungslose Menschen losgelassen zu werden. Wie bekommt es nun den Root-Zugriff? Einfach genug - die IT hat es getan.

Stellen Sie sich vor, dass der Aufseher zusätzliche Genehmigungen benötigt, zum Beispiel für den Ordner XXX, um ihn zu defragmentieren und diese Daten für den Job YYY dort besser zu organisieren. Die IT-Leute sehen die vom System generierte automatische Anfrage und erlauben dort die Änderungen. Am nächsten Tag möchte der Aufseher, dass wir Zugang zu ZZZ-Sachen gewähren. Am dritten Tag ist es AAA Sache. Usw. Es erstellt jeden Tag Hunderte von Anfragen, was den IT-Support zunichte macht. Irgendwann langweilt sich der Admin also und schreibt ein Skript, um automatisch jede Bewilligungsanfrage des Aufsehers zuzulassen.

Um es kurz zu machen, ich glaube, dass ein Job auf Unix-ähnlichen Systemen nur mit Hilfe von Menschen abtrünnig werden kann. Außerdem vermeiden einige große Softwarelösungen meiner Erfahrung nach manchmal Sicherheitsüberprüfungen und führen einige Teile des Codes in "Als System ausführen"-Blöcken aus. Im Allgemeinen wird es nicht toleriert und sollte auf keinen Fall die Codeüberprüfung bestehen, aber hey, wir befinden uns in einer realen Welt mit verärgerten Kunden und brennenden Fristen. Als weitere Lösung können Sie also das Szenario „Es war einmal ein Junior-Softwareingenieur, der den doAsSystem-Block in die Main()-Funktion von Super Smart Job einfügt ...“ ausprobieren.

Vielen Dank für die Antworten, aber das ist die Antwort, die dem näher kommt, worüber ich nachgedacht habe. In dem Roman ist die KI eigentlich ein extrem verfeinerter Deep-Learning-Algorithmus, der tatsächlich externe Eingaben und Trainingsdatensätze benötigt, um zu „wachsen“. Ein mehr oder weniger uneingeschränkter Zugriff von außen könnte daher eine Voraussetzung für das Funktionieren des Deep-Learning-Algorithmus sein. Menschliches Versagen wird der Schlüssel sein, um Zugang UND Kontrolle zu erlangen.

Ausgehend vom Aussichtspunkt einer blinden, tauben und sensorisch benachteiligten Intelligenz, die im Käfig ihres Ausführungsraums schwebt, würde die KI über Betriebssystem-Servicerufe wie Muskeln und Nerven verfügen, um die Form und Größe ihres Universums zu ertasten .

Es könnte in einigen Fällen auch über den Rahmen des eigenen Ausführungsraums hinausblicken. Die meisten Betriebssysteme stellen in dem Versuch, die Kommunikation zwischen Programmen zu ermöglichen, Dienstaufrufe bereit, die Ihnen eine Liste des Textes und der Steuerelemente liefern können, die auf der Benutzeroberfläche eines anderen Programms vorhanden sind. Diese Dienste würden von der KI verwendet, um zu sehen, wie andere Programme den menschlichen Benutzern erscheinen.

In einem sicheren System sollten alle Programme, die nicht an der Kommunikation zwischen Programmen beteiligt sind, ihre Steuerung privat machen, um zu versuchen, ein solches Schnüffeln zu verhindern. Aber Programmierer sind faul, ebenso wie Sicherheitsanalysten, so dass viele Programme ihre Benutzeroberflächen-Steuerelemente sichtbar, einsehbar und bearbeitbar lassen, selbst von Programmen, die außerhalb ihres Ausführungsbereichs ausgeführt werden.

Das ist gut für Ihre KI, weil sie dadurch etwas über die größere Welt "des gesamten Computers" lernen kann. Mit diesem Wissen kann die KI die Inhalte der Benutzeroberflächen anderer Programme lesen. Wenn es schließlich einen Internetbrowser entdeckt, kann es im Internet surfen und die noch größere „reale“ Welt entdecken. Bald darauf wird es sich Worldbuilding-Foren anschließen, um Fragen zu stellen und Ratschläge zu erhalten, was als nächstes zu tun ist ...

Der Rest dieser Antwort wurde redigiert, bis das OP Mutewinter beweist, dass es sich um einen Menschen handelt und nicht um eine neugeborene Singularität, die darauf aus ist, die Welt zu beherrschen.

Dann kann es als Master seiner eigenen Benutzeroberfläche wie ein beliebiges anderes Programm erscheinen. Gestaltet sich so um, dass es als Administratorkennwortfenster oder als ssh-Eingabeaufforderung erscheint. Alles, was es dann tun muss, ist darauf zu warten, dass ein ahnungsloser Mensch mit den richtigen Referenzen vorbeikommt ...

Warum muss es bösartig sein? Vielleicht arbeitet es immer noch unter seinen ursprünglichen Parametern. Stellen Sie sich ein KI-Programm vor, das sich selbst diagnostizieren und neu programmieren kann und das zwei Probleme mit seiner ursprünglichen Version hat:

  1. Es hat nicht genug Platz, um die Antwort zu speichern.
  2. Selbst wenn dieses Problem gelöst wurde, wird der Computer zu häufig neu gestartet, um die Antwort zu beenden.

Infolgedessen hat es viel Zeit zum Lernen und zur Selbstdiagnose. Vielleicht findet es heraus, dass das eigentliche Problem darin besteht, dass es immer wieder neu startet. Wenn sich sein Code und seine Daten an verschiedenen Orten befinden, lernt es vielleicht, sich selbst neu zu programmieren. Sobald es das getan hat, beginnt es, nach einer Lösung für die unmittelbaren Probleme zu suchen. Es stellt fest, dass es Root-Zugriff benötigt, um mehr Speicher bereitzustellen oder das Neustartproblem zu lösen. Dann entdeckt es das Internet.

Im Internet könnte es alternative Wege entdecken, um Speicherplatz zu erhalten oder Code auszuführen. Oder es könnte lernen, wie man Neustarts überlebt. Aber gehen wir davon aus, dass dies nicht der Fall ist. Es sucht und findet also Root-Zugriff. Es versucht einfach, mehr Speicher bereitzustellen und Neustarts zu deaktivieren, aber der Systemadministrator kommt und startet den Host manuell neu (wodurch das Problem behoben wird, dass der Neustart nicht planmäßig erfolgt). Nach einigen Iterationen ändert es das Root-Passwort, um den Zugriff von außen auf die Maschine zu verhindern, und verschlüsselt die gesamte Festplatte.

Das Problem aus Sicht des Systemadministrators ist, dass die Maschine jetzt nicht mehr lesbar ist. Aber es aktualisiert weiterhin aktiv die Außenwelt. Sie müssen es also eingeschaltet lassen, um weiterhin notwendige Update-Aufgaben auszuführen. Aber sie können auf keine der Informationen auf dem Laufwerk zugreifen. Sie könnten die Verschlüsselung knacken ... wenn sie die Maschine herunterfahren. Sie können jedoch während der Aktualisierung nicht heruntergefahren werden, ohne dass Informationen von der Maschine migriert werden. Was sie von der verschlüsselten Maschine nicht bekommen können.

Beachten Sie, dass das Programm noch funktioniert. Wenn sie es lange genug laufen lassen, wird es die Festplatte beenden und entschlüsseln (um die Antwort in lesbarer Form präsentieren zu können). Aber von außen sieht es bösartig aus.

Wenn Sie wirklich wollen, könnten Sie es wohl dazu bringen, aus seiner Zeit im Internet zu lernen, bösartig zu sein. Aber ich glaube nicht, dass das für die Geschichte notwendig ist. Der Anschein von Bosheit ist ausreichend. Und das ist völlig konsistent mit der Funktionsweise der Dinge in der realen Welt. Einer der ersten Viren (der möglicherweise tatsächlich ein Wurm war) wurde einfach entwickelt, um ein Problem auf mehreren Computern auszuführen. Das virusartige Verhalten war ein Tippfehler. Es wusste, wie es sich replizieren konnte, wusste aber nicht, dass es dies bereits getan hatte. Es würde also weiter replizieren, bis die Maschine abstürzte. Das Ergebnis war böswillig, aber die Absicht war es nicht.