Kriterien zur Bewertung kognitiver Systeme

Im ersten Kapitel des Buches „How to Build a Brain“ legt Chris Eliasmith schnell einige Kriterien fest, die er zur Bewertung des im Buch beschriebenen kognitiven Systems Spaun verwenden wird. Er beschreibt sie sehr detailliert in Kapitel 8, aber unten ist mein Versuch, sie zusammenzufassen.


1. Repräsentationsstruktur

Systematik

Das System sollte Konzepte auf miteinander verbundene Weise verbinden und verstehen, dass es Klassen von Konzepten gibt, da das menschliche Denken systematisch ist. Zum Beispiel sollte es für das System bei gegebenem blue ballund möglich sein, über das Konzept von nachzudenken .red squareblue square

Kompositionalität

Konzepte sollten aus der Kombination von Konzepten bis zu dem Grad erstellt werden, der von realen kognitiven Systemen unterstützt wird. Beispielsweise sollte es angesichts der Konzepte von petund fishmöglich sein, über das neuartige Konzept nachzudenken pet fish.

Produktivität

Das System sollte in der Lage sein, viele Repräsentationen basierend auf einigen wenigen grundlegenden Repräsentationen in dem Maße zu erstellen, wie sie von echten kognitiven Systemen unterstützt werden.

Das massive Bindungsproblem

Das System sollte einen gut skalierbaren Bindungsvorgang identifizieren.

2. Leistungsbedenken

Syntaktische Verallgemeinerung

Fähigkeit, die Struktur der Sprache unabhängig vom Inhalt zu nutzen.

Robustheit

Ein paar Neuronen zu verlieren oder Rauschen ausgesetzt zu sein, sollte das System nicht zerstören.

Anpassungsfähigkeit

Sie sollten in der Lage sein, ein einzelnes System für mehrere Aufgaben zu verwenden.

Erinnerung

Das System sollte in der Lage sein, die Beziehung zu den verschiedenen Arten des Gedächtnisses (Arbeits-, Langzeitgedächtnis) darzustellen.

Skalierbarkeit

Große Teile des Gehirns sollten modelliert werden und in der Lage sein, eine Vielzahl von Aufgaben zu erfüllen.

3. Wissenschaftlicher Wert

Triangulation

Kontakt mit möglichst vielen Quellen experimenteller Daten.

Kompaktheit

Gute Theorien lassen sich kompakt und ohne Ad-hoc-Zusätze formulieren.


Er erklärt in dem Kapitel, dass dies eigentlich eine Synthese verschiedener anderer Kriterien ist, die von verschiedenen Autoren vorgeschlagen wurden. Obwohl mir der wissenschaftliche Wert ziemlich einfach erscheint und sehr ausführlich ausgearbeitet wurde, bin ich mir bei den anderen Kriterien in Bezug auf Vollständigkeit und Akzeptanz weniger sicher. Wurden schon früher Versuche zu einheitlichen Kriterien unternommen? Gibt es vollständigere Kriterien? Stehen diese Kriterien im Widerspruch zu anderen Vorstellungen darüber, was ein kognitives System verkörpern sollte?

Antworten (2)

Einen detaillierten Kriterienkatalog liefert Hofstadter in Fluid Concepts and Creative Analogies. Einige seiner Kriterien, die ich oben nicht erwähnt sehe, betreffen den Fluss der Informationsverarbeitung : ob das bewertete Modell auf psychologisch plausible Weise durch den Möglichkeitsraum fließt oder nicht , und wie man das misst.

Zum Beispiel... Stellen Sie sich Folgendes vor: „Ein Schläger und ein Ball kosten 110 USD. Der Schläger kostet 100 USD mehr als der Ball. Wie viel kostet der Ball?“

Nun hat die Kognitionspsychologie gezeigt, dass die Menschen darauf vorbereitet sind zu sagen „der Ball kostet 10 USD“. Was falsch ist! Ein gutes kognitives Modell sollte auch an usd10 „denken“, bevor es an usd5 denkt. Andernfalls respektiert es den Informationsverarbeitungsfluss nicht.

Er erwähnt auch metaphorisch die Idee, "Läsionen" in das Modell aufzunehmen, so dass sich das erwartete Ergebnis dieser Komponente drastisch ändern sollte, wenn eine Komponente des Modells "lästiert" wird.

Der Informationsfluss ist eine interessante Ergänzung, obwohl ich mich frage (ohne Ihre Referenz oder die OPs zu lesen), wie er sich von Kompositionalität und Systematik unterscheidet. Läsionen scheinen durch Robustheit abgedeckt zu sein.
Ich stimme Nick zu, würde es Ihnen etwas ausmachen, ein Beispiel für den Fluss der Informationsverarbeitung auszuarbeiten und beizufügen . Nämlich was ein gutes System und was ein schlechtes System tun würde.
Sicher. Angenommen: „Ein Schläger und ein Ball kosten 110 USD. Der Schläger kostet 100 USD mehr als der Ball. Wie viel kostet der Ball?“ Nun hat die Kognitionspsychologie gezeigt, dass die Menschen darauf vorbereitet sind zu sagen „der Ball kostet 10 USD“. Was falsch ist. Ein gutes kognitives Modell sollte auch an usd10 „denken“, bevor es an usd5 denkt. Andernfalls respektiert es den Informationsverarbeitungsfluss nicht.
Das scheint unter "Triangulation" zu fallen? Ich glaube, ich verstehe hier falsch. Können Sie beschreiben, wie sie sich unterscheiden?
Vielleicht, aber Triangulation erscheint mir zu breit angelegt. Es enthält nicht explizit die Informationsverarbeitungspfade, was mir sehr am Herzen liegt. Während ich den Informationsverarbeitungsfluss also in einen eigenen Header stellen würde, sehe ich, wie man ihn ganz gut in eine Triangulation werfen könnte.

Einiges weggelassen

  1. Obwohl sich die Kriterien auf das Erlernen neuer Aufgaben in Anpassungsfähigkeit beziehen, geht es nicht um die Fähigkeit, einfach zwischen Aufgaben zu wechseln.

  2. Obwohl Triangulation übereinstimmende Daten anspricht, geht es nicht um die Erdung der Daten in der realen Welt im Vergleich zu Daten, die aus einem Datensatz gespeist werden. Mit anderen Worten, es geht nicht um die Qualität der abgeglichenen Daten.

  3. Kompaktheit geht nicht darauf ein, wie einfach etwas zu erklären oder zu verstehen ist. Dies könnte tatsächlich klug sein, da das Verstehen stark von den Werkzeugen abhängt, die der Person zur Verfügung stehen, die nach dem Verstehen greift.

Gibt es vollständigere Kriterien?

Das oben bereitgestellte Kriterium bietet eine Übersicht auf hoher Ebene der Ziele, die von jedem kognitiven System angestrebt werden sollten, es geht jedoch nicht darauf ein, wie ein System dieses Ziel verfolgen sollte.

Eine vollständigere Bewertung der Methoden und Werkzeuge, die verwendet werden sollten, finden Sie in Terry Stewarts Doktorarbeit A Methodology for Computational Cognitive Modeling , die eine Reihe von statistischen Methoden und Werkzeugen beschreibt , die Kognitionswissenschaftler (auch ohne signifikanten statistischen Hintergrund) verwenden können.