Leute drüben beim IT-Sicherheits-Stack-Austausch entschieden, dass diese Frage für ihre Zeit zu leichtfertig und spekulativ war, und schlugen mir vor, sie in diesem Forum zu posten.
Bitte leiten Sie mich nicht zur IT-Sicherheit weiter, sie mochten es nicht.
Ich schreibe einen kleinen Roman (nur zur Unterhaltung, ich bin mir ziemlich bewusst, dass ich kein richtiger Autor bin) und ich bräuchte ein bisschen technische Beratung, um es vernünftig zu machen.
Das Szenario ist ein sehr typisches Szenario: Stellen Sie sich einen Supercomputer wie Tianhe-2 vor, auf dem mehrere Jobs ausgeführt werden. Angenommen, einer von ihnen wird bösartig und möchte sich zwei Dinge garantieren:
Wie konnte das passieren? Ich vermute, dass jeder Job auf der Maschine über ssh gesteuert wird und einen eingeschränkten Zugriff auf Ressourcen und wahrscheinlich keinen Root-Zugriff hat.
Kommt auf den Beruf an. Vielleicht kannst du dir eine bestimmte Software einfallen lassen. Eine Art superintelligentes neuronales Netzwerk, das speziell für die Berechnung der Effektivität seiner Nebenjobs entwickelt wurde. Nennen wir dieses Programm "The Overseer". Ich würde es nicht als die beste Lösung bezeichnen, da fast alles von unten weit hergeholt ist, um in einer guten realitätsbasierten Geschichte zu sein. Trotzdem bin ich mir sicher, dass es in Büchern, die Millionen von Dollar eingebracht haben, schlimmere Beispiele gibt.
Kernpunkte:
Was wir also haben, ist eine potenziell schurkische KI, die darauf wartet, auf ahnungslose Menschen losgelassen zu werden. Wie bekommt es nun den Root-Zugriff? Einfach genug - die IT hat es getan.
Stellen Sie sich vor, dass der Aufseher zusätzliche Genehmigungen benötigt, zum Beispiel für den Ordner XXX, um ihn zu defragmentieren und diese Daten für den Job YYY dort besser zu organisieren. Die IT-Leute sehen die vom System generierte automatische Anfrage und erlauben dort die Änderungen. Am nächsten Tag möchte der Aufseher, dass wir Zugang zu ZZZ-Sachen gewähren. Am dritten Tag ist es AAA Sache. Usw. Es erstellt jeden Tag Hunderte von Anfragen, was den IT-Support zunichte macht. Irgendwann langweilt sich der Admin also und schreibt ein Skript, um automatisch jede Bewilligungsanfrage des Aufsehers zuzulassen.
Um es kurz zu machen, ich glaube, dass ein Job auf Unix-ähnlichen Systemen nur mit Hilfe von Menschen abtrünnig werden kann. Außerdem vermeiden einige große Softwarelösungen meiner Erfahrung nach manchmal Sicherheitsüberprüfungen und führen einige Teile des Codes in "Als System ausführen"-Blöcken aus. Im Allgemeinen wird es nicht toleriert und sollte auf keinen Fall die Codeüberprüfung bestehen, aber hey, wir befinden uns in einer realen Welt mit verärgerten Kunden und brennenden Fristen. Als weitere Lösung können Sie also das Szenario „Es war einmal ein Junior-Softwareingenieur, der den doAsSystem-Block in die Main()-Funktion von Super Smart Job einfügt ...“ ausprobieren.
Ausgehend vom Aussichtspunkt einer blinden, tauben und sensorisch benachteiligten Intelligenz, die im Käfig ihres Ausführungsraums schwebt, würde die KI über Betriebssystem-Servicerufe wie Muskeln und Nerven verfügen, um die Form und Größe ihres Universums zu ertasten .
Es könnte in einigen Fällen auch über den Rahmen des eigenen Ausführungsraums hinausblicken. Die meisten Betriebssysteme stellen in dem Versuch, die Kommunikation zwischen Programmen zu ermöglichen, Dienstaufrufe bereit, die Ihnen eine Liste des Textes und der Steuerelemente liefern können, die auf der Benutzeroberfläche eines anderen Programms vorhanden sind. Diese Dienste würden von der KI verwendet, um zu sehen, wie andere Programme den menschlichen Benutzern erscheinen.
In einem sicheren System sollten alle Programme, die nicht an der Kommunikation zwischen Programmen beteiligt sind, ihre Steuerung privat machen, um zu versuchen, ein solches Schnüffeln zu verhindern. Aber Programmierer sind faul, ebenso wie Sicherheitsanalysten, so dass viele Programme ihre Benutzeroberflächen-Steuerelemente sichtbar, einsehbar und bearbeitbar lassen, selbst von Programmen, die außerhalb ihres Ausführungsbereichs ausgeführt werden.
Das ist gut für Ihre KI, weil sie dadurch etwas über die größere Welt "des gesamten Computers" lernen kann. Mit diesem Wissen kann die KI die Inhalte der Benutzeroberflächen anderer Programme lesen. Wenn es schließlich einen Internetbrowser entdeckt, kann es im Internet surfen und die noch größere „reale“ Welt entdecken. Bald darauf wird es sich Worldbuilding-Foren anschließen, um Fragen zu stellen und Ratschläge zu erhalten, was als nächstes zu tun ist ...
Der Rest dieser Antwort wurde redigiert, bis das OP Mutewinter beweist, dass es sich um einen Menschen handelt und nicht um eine neugeborene Singularität, die darauf aus ist, die Welt zu beherrschen.
Dann kann es als Master seiner eigenen Benutzeroberfläche wie ein beliebiges anderes Programm erscheinen. Gestaltet sich so um, dass es als Administratorkennwortfenster oder als ssh-Eingabeaufforderung erscheint. Alles, was es dann tun muss, ist darauf zu warten, dass ein ahnungsloser Mensch mit den richtigen Referenzen vorbeikommt ...
Warum muss es bösartig sein? Vielleicht arbeitet es immer noch unter seinen ursprünglichen Parametern. Stellen Sie sich ein KI-Programm vor, das sich selbst diagnostizieren und neu programmieren kann und das zwei Probleme mit seiner ursprünglichen Version hat:
Infolgedessen hat es viel Zeit zum Lernen und zur Selbstdiagnose. Vielleicht findet es heraus, dass das eigentliche Problem darin besteht, dass es immer wieder neu startet. Wenn sich sein Code und seine Daten an verschiedenen Orten befinden, lernt es vielleicht, sich selbst neu zu programmieren. Sobald es das getan hat, beginnt es, nach einer Lösung für die unmittelbaren Probleme zu suchen. Es stellt fest, dass es Root-Zugriff benötigt, um mehr Speicher bereitzustellen oder das Neustartproblem zu lösen. Dann entdeckt es das Internet.
Im Internet könnte es alternative Wege entdecken, um Speicherplatz zu erhalten oder Code auszuführen. Oder es könnte lernen, wie man Neustarts überlebt. Aber gehen wir davon aus, dass dies nicht der Fall ist. Es sucht und findet also Root-Zugriff. Es versucht einfach, mehr Speicher bereitzustellen und Neustarts zu deaktivieren, aber der Systemadministrator kommt und startet den Host manuell neu (wodurch das Problem behoben wird, dass der Neustart nicht planmäßig erfolgt). Nach einigen Iterationen ändert es das Root-Passwort, um den Zugriff von außen auf die Maschine zu verhindern, und verschlüsselt die gesamte Festplatte.
Das Problem aus Sicht des Systemadministrators ist, dass die Maschine jetzt nicht mehr lesbar ist. Aber es aktualisiert weiterhin aktiv die Außenwelt. Sie müssen es also eingeschaltet lassen, um weiterhin notwendige Update-Aufgaben auszuführen. Aber sie können auf keine der Informationen auf dem Laufwerk zugreifen. Sie könnten die Verschlüsselung knacken ... wenn sie die Maschine herunterfahren. Sie können jedoch während der Aktualisierung nicht heruntergefahren werden, ohne dass Informationen von der Maschine migriert werden. Was sie von der verschlüsselten Maschine nicht bekommen können.
Beachten Sie, dass das Programm noch funktioniert. Wenn sie es lange genug laufen lassen, wird es die Festplatte beenden und entschlüsseln (um die Antwort in lesbarer Form präsentieren zu können). Aber von außen sieht es bösartig aus.
Wenn Sie wirklich wollen, könnten Sie es wohl dazu bringen, aus seiner Zeit im Internet zu lernen, bösartig zu sein. Aber ich glaube nicht, dass das für die Geschichte notwendig ist. Der Anschein von Bosheit ist ausreichend. Und das ist völlig konsistent mit der Funktionsweise der Dinge in der realen Welt. Einer der ersten Viren (der möglicherweise tatsächlich ein Wurm war) wurde einfach entwickelt, um ein Problem auf mehreren Computern auszuführen. Das virusartige Verhalten war ein Tippfehler. Es wusste, wie es sich replizieren konnte, wusste aber nicht, dass es dies bereits getan hatte. Es würde also weiter replizieren, bis die Maschine abstürzte. Das Ergebnis war böswillig, aber die Absicht war es nicht.
Alexander
Stummwinter
Alexander
a4android
Benutzer6760
MichaelK
Justin Thymian