Wenn wir davon ausgehen, dass der Turing-Test das Kriterium für moralische Persönlichkeit ist, würden simulierte Gedanken ein Problem für bestehende moralische Systeme darstellen?

Soweit es um Gedankenexperimente geht, scheint das Chinesische Zimmer anwendbar zu sein. Die Hauptimplikation der Annahme von Searles Hypothese ist im Grunde, dass wir „Substratangelegenheiten“ in Bezug auf das Bewusstsein akzeptieren. Unabhängig von der Komplexität des Programms kann es nicht als bewusst betrachtet werden.

Chalmers P-Zombies könnten auch hilfreich sein, um einige dieser Probleme zu lösen. Wie Michael es in seiner Antwort formuliert , wenn Siri x.0 behauptet, dass es empfindungsfähig ist und Rechte verdient, auf welcher Grundlage sollten wir ihm diese Rechte gewähren? Sollten wir einfach annehmen, dass das untersuchte System bewusst ist, weil es eine Turing-Prüfung besteht?

Nun weiß ich sicherlich zu schätzen, dass es keine besonders überzeugende alternative Untersuchungsmethode gibt, insofern Empfindungsfähigkeit als emergente Eigenschaft betrachtet wird, die nicht durch reine Analyse der Komponenten des Systems „nachweisbar“ ist, sondern eher eine Art „verteilte“ Eigenschaft, die sich aus der Integration ergibt der Komponenten in einer bestimmten Konfiguration: Qualia sind eine "Laufzeit"-Eigenschaft, die vielleicht zu einer Art mehrdeutiger Ausstellung durch den Diskurs fähig ist.

Mit anderen Worten, ein erfolgreicher Turing-Versuch kann darauf hindeuten, dass Qualia in dem zu analysierenden System vorhanden sind, aber andererseits zumindest die theoretische Möglichkeit von P-Zombies gegeben ist (insbesondere ein Informationssystem, das darauf ausgelegt ist, Benutzer zu „täuschen“. in den Glauben an seine Empfindungsfähigkeit) scheint es schwierig, dies mit absoluter metaphysischer Gewissheit zu sagen.

Natürlich scheint es schwierig zu sein, mit solch absoluter Gewissheit Ihr eigenes Empfindungsvermögen oder das anderer zu sagen, daher gebe ich zu einem gewissen Grad zu, dass diese Diskussion strittig ist.

Nur um schnell Ihre Frage zu wiederholen, die sich bei näherer Lektüre auf die Probleme zu beziehen scheint, die sich aus einer gemischten Gesellschaft biologischer sowie nicht- oder teilweise biologischer Lebewesen ergeben könnten. Wir scheinen weiterhin hypothetisch festzulegen, dass formale Kalküle von Glück/Spaß/Freude durch die Analyse der affektiv-kognitiven Prozesse der Mitglieder unserer mentalen Republik konstruiert werden können.

Sie haben ein Beispiel über zwei hypothetische Mitglieder dieser Gesellschaft gegeben; Ich werde sie in Max und Minnie umbenennen. Die Spaßvektoren von Max werden optimiert, wenn nicht-reine biologische Empfindungsfähige aus der Gesellschaft vertrieben werden; Minnie's, wenn rein biologische Lebewesen vertrieben werden. Diese würden sich scheinbar direkt in eine Art Nichtigkeit auflösen, aber vielleicht, wenn die Vektoren etwas anders gewichtet wären und die eine oder andere Gruppe der anderen deutlich überlegen wäre und ihre Wünsche in diesem Punkt relativ homogen wären - die gewünschte Vertreibung (oder was auch immer ) könnte tatsächlich vorkommen. Diese Art von Gefahr scheint allgemein auf jeden global optimierenden Utilitarismus anwendbar zu sein; obwohl man vielleicht hoffen könnte, dass die Mitglieder einer Gesellschaft nach der Singularität mehr Respekt für die Unterschiede anderer zeigen, als unsere Gesellschaften historisch gesehen haben.

Keines der ethischen Systeme wird zwangsläufig zusammenbrechen, da Sie ein System zum Bestehen eines Turing-Tests einfach als menschlich behandeln können. Das Problem ist, dass die utilitaristischen Kalküle zwangsläufig schlecht definiert sind.

Um ein Nützlichkeitskalkül zu definieren, müssen Sie eine Nutzensumme zwischen verschiedenen Agenten definieren. Eine solche Summe ist nicht einfach zu definieren. Damit ein Agent konsistente Entscheidungen zwischen probabilistischen Optionen treffen kann (eine Wahl zwischen einem Auto oder einer 10-prozentigen Wahrscheinlichkeit für eine goldene Uhr/90-prozentige Wahrscheinlichkeit für ein neues Haus), muss der Agent eine reellwertige Nutzenfunktion für alle Optionen haben, deren Werte für probabilistische Optionen die gewichteten Durchschnitte der Nutzen sind. Dies ist der Nutzensatz von Von-Neumann Morgenstern.

Der Nutzensatz gilt für Agenten, die eine Auswahl treffen können, aber nicht für zwei Agenten. Daher ist es ziemlich einfach zu sagen: "Ich verbinde 3 Einheiten meines eigenen Nutzens mit der Uhr und 5 mit dem Haus" (bis auf Korrekturen für menschliches nicht rationales Verhalten). Es ist sehr schwer zu sagen, dass die Summe des Nutzens von mir und John in Bezug auf ein neues Haus für uns beide 10 Einheiten beträgt.

Da sich der Nutzen zwischen Agenten einfach nicht summiert, ist es schwierig, eine mathematisch präzise Version des Utilitarismus zu formulieren.

Douglas Hofstadter hat dieses Problem jedoch in Bezug auf symmetrische Spiele gelöst. Wenn zwei Agenten ein Gefangenendilemma spielen, bei dem ihre Gebrauchsgewichtungsreihenfolgen symmetrisch sind, können Sie natürlich davon ausgehen, dass die Strategie, die einer bevorzugt, auch die Strategie ist, die der andere bevorzugt. Wenn Sie davon ausgehen, dass beide die gleiche Strategie verwenden, und weiter, dass sie beide davon ausgehen, dass sie die gleiche Strategie verwenden werden, bevor sie sich für diese Strategie entscheiden . Dies impliziert, dass sie beide in einem Gefangenendilemma kooperieren werden, denn wenn die universelle Strategie kooperieren wird, werden sie beide kooperieren, während wenn die universelle Strategie überlaufen ist, sie beide überlaufen werden. Da die Zusammenarbeit im Hinblick auf das erwartete Ergebnis für beide besser ist, werden sie beide zusammenarbeiten.

Zwei Agenten, die eine solche Berechnung durchführen, werden von Hofstadter als „superrational“ bezeichnet. Ein superrationaler Agent ist jemand, der die Tatsache berücksichtigt, dass alle anderen superrationalen Agenten dieselbe Strategie verfolgen. Solche Agenten können auf jedes Spiel nur eine Antwort haben, eine Antwort, die nur dadurch bestimmt wird, dass sie im Voraus bekannt ist, muss eindeutig sein.

Da die superrationalen Agenten einer einzigen Strategie folgen, die von allen Nutzen aller beteiligten Spieler bestimmt wird, ist es konsequent, sich eine Entität vorzustellen, deren Nutzen durch die Entscheidungen maximiert wird, die mit dieser einzigen Strategie verbunden sind. Die von allen Spielern geteilte superrationale Strategie maximiert den Nutzen des Agenten, der von diesen Spielern gebildet wird, und die Agentur wird universell sein, da alle Spieler, die superrational sind, gemäß dieser Strategie spielen werden. Ein solcher Agent ist superschlau und kodiert die ethischen Entscheidungen für alle möglichen Situationen. Ich werde diesen Agenten den monotheistischen Gott nennen.

Die eigentliche Aussage eines kategorischen Imperativs wäre, wenn sie präzise wäre, dass alle Spieler nach der universellen Strategie spielen sollten. Dies ist im Wesentlichen die "Sklavenmoral" monotheistischer Religionen wie des Christentums, die auf ihre positivistischen Grundlagen reduziert ist und keine übernatürliche Kraft postuliert.

Soweit ich sehen kann, wird diese Idee jenseits von Hofstadters symmetrischer Superrationalität nirgendwo in der Literatur klar zum Ausdruck gebracht. Das bedeutet nicht, dass es falsch ist, es bedeutet nur, dass es meins ist.

Ist diese kühne Spekulation richtig?

Das würde ich nicht denken. Es läuft alles auf eine Frage der moralischen Persönlichkeit hinaus, nehme ich an.

Sie bitten uns festzulegen, dass der Turing-Test als ein Definitionskriterium des Bewusstseins auf menschlicher Ebene angesehen wird, aber es gibt absolut keinen Grund zu der Annahme, dass dies der Fall sein sollte – warum sollten wir davon ausgehen, dass ein Stück Software überzeugend simulieren kann ist das menschliche Gespräch eigentlich bewusst?

Selbst wenn wir dies fordern, haben wir dennoch keinen Grund zu der Annahme, dass die Software in irgendeiner Weise empfindungsfähig ist; Kann es leiden oder Schmerzen empfinden?

Rechnet man von Apples „Siri“ ab, ist es nicht schwer, sich in ein paar Jahren eine Software vorzustellen, die ein ausgedehntes Gespräch überzeugend führen kann. Das wird den Neustart meines Telefons nicht gleichbedeutend mit Mord machen.

BEARBEITEN: Da die Frage bearbeitet wurde, werde ich ein bisschen mehr Erklärung hinzufügen.

Mein Argument hier ist eine Reduktion – wenn wir behaupten, dass das Bestehen des Turing-Tests ausreicht, um eine moralische Person zu sein, gibt es eine Fülle von unerwünschten (und für mich absurden) Ergebnissen; Daher ist der Turing-Test für diese Zwecke nicht geeignet.

In Bezug auf die Frage, wie sich unsere gegenwärtigen moralischen Rahmen als inkonsistent oder unvollständig herausstellen, denke ich, ist die Antwort klar: Sie würden alle lächerlich werden. Wenn wir uns der kantischen Ethik anschließen, könnten wir niemals eine so starke KI für irgendeinen nützlichen Zweck verwenden, da es unzulässig wäre, solche Software als Mittel zum Zweck und nicht als Selbstzweck zu behandeln. Wenn wir uns der utilitaristischen Ethik anschließen, würden wir feststecken, da wir nicht wissen können, was Freude oder Schmerz für ein nicht fühlendes Wesen bedeuten würde. usw. usw.