Ausgewählte Projekte

Wahrnehmung und Metawahrnehmung

bild

Abbildung 3. (a) mehrdeutiger Necker-Würfel und (b) disambiguierte Würfel-Varianten.

Bei längerer Betrachtung des mehrdeutigen Necker-Würfels (Abb. 3a, Necker 1832), einer der prominentesten sog. Kippfiguren, wird unsere Wahrnehmung instabil und wechselt spontan zwischen zwei Interpretationsmöglichkeiten (Abb. 3b) hin und her. Fügt man dem Bild des Necker-Würfels Tiefeninformation hinzu, wird der veränderte Würfel eindeutig und unsere Wahrnehmung stabil. In einer Reihe von EEG-Studien mit verschiedenen mehrdeutigen Stimuli und disambiguierten Varianten suchten wir nach Unterschieden zwischen der instabilen neuronalen Repräsentation mehrdeutiger und der stabilen Repräsentation eindeutiger visueller Information (Kornmeier & Bach 2009, Kornmeier et al. 2016, Joos et al. 2020a and 2020b). Zu unserer Überraschung fanden wir über grundverschiedene Stimulus-Kategorien hinweg ein sehr klares EEG-Muster mit niedrigen Amplituden zweier ereigniskorrelierter Potenziale („EKPs“, P200 und P400) bei mehrdeutigen Stimuli und hohen Amplituden bei eindeutigen Stimulus-Varianten (Abb. 4, Spalten 1 bis 3).

Mehrdeutigkeit scheint hier aber nicht der entscheidende Faktor zu sein, denn wir fanden mittlerweile sehr ähnliche Ergebnisse, wenn wir die Sichtbarkeit visueller Stimuli manipulierten, z.B. die Mundkrümmung von fröhlichen und traurigen Smileys (Abb. 4, rechte Spalte), oder den Linienverlauf von Buchstaben (hier ohne Abbildung).

bild
Abbildung 4. (a) von links nach rechts: Necker-Gitter (Geometrie), schematische Darstellung des sog. Motion-Quartett (Bewegung, Von Schiller 1933; online Animation), Borings Alte/Junge Frau (Gestalt, Boring 1930), Smiley Stimuli. Die Stimuli in schwarzen Rahmen stellen mehrdeutige, in roten Rahmen disambiguierte Stimulus-Varianten dar. (b) Grand Mean EKP-Kurven (mittlere Kurve) ± SEM (obere und untere Kurven) von EEG-Elektrode Cz jeweils evoziert durch die mehrdeutigen (rote Kurven) und eindeutigen (schwarze Kurven) Stimulus-Varianten. Die disambiguierten Stimulus-Varianten evozieren deutlich erkennbar höhere EKP-Amplituden. (c) VoltageMaps für P200 und P400 zeigen in Falschfarben die Verteilung der EKP-Aktivität zu einem bestimmten Zeitpunkt (jeweils links 200 ms und rechts 400 ms nach Stimulus onset). Rote Farbe bedeutet hohe Amplituden, blaue Farbe niedrige Amplituden. Bemerkenswert ist die Vergleichbarkeit der EKP-Ergebnisse über sehr verschiedene Stimulus-Kategorien (Spalten) hinweg. (d) Scatterplot mit den individuellen Amplitudenwerten der einzelnen Versuchspersonen (Kreise und Sternchen repräsentieren P200- und P400-Amplituden). Die Amplitudenunterschiede zeigen sich auch auf individuellem Niveau.

In Kooperation mit der Klinik für Psychiatrie und Psychotherapie des Universitätsklinikums Freiburg, sowie der Psychiatrie Strasbourg untersuchen wir in diesem Zusammenhang u.a. Patienten mit psychiatrischen Erkrankungen, die zum Teil pathologisch unter instabilen Wahrnehmungs- und/oder mentalen Zuständen leiden, um Modelle und daraus resultierende Hypothesen zu testen und gleichzeitig diese Erkrankungen besser zu verstehen.

Referenzen

Boring EG (1930). A new ambiguous figure. Am J Psychol. 42, 444–445.

Joos E, Giersch A, Hecker L, Schipp J, Tebartz van Elst L & Kornmeier J (2020a). Large EEG amplitude effects are highly similar across Necker cube, smiley, and abstract stimuli. PLoS ONE 15(5): e0232928.

Joos E, Giersch A, Bhatia K, Heinrich SP, Tebartz van Elst L, Kornmeier J (2020b) Using the perceptual past to predict the perceptual future influences the perceived present – a novel ERP paradigm PLoS ONE 15(9): e0237663.

Kornmeier J & Bach M (2009). Object perception: when our brain is impressed but we do not notice it. Journal of Vision, 9(1),7 1-10.

Kornmeier J, Wörner R & Bach M (2016). Can I trust in what I see? – EEG Evidencefor a Cognitive Evaluation of Perceptual Constructs. Psychophysiology, 53, 1507–1523.

Necker LA (1832). Observations on some remarkable optical phaenomena seen in Switzer-land; and on an optical phaenomenon which occurs on viewing a figure of a crystal or geo-metrical solid. The London and Edinburgh Philosophical Magazine and Journal of Science, 1(5), 329–337.

Schiller PV (1933). Stroboskopische Alternativversuche. Psychologische Forschung, 17, 179–214.


Wahrnehmungsinstabilität und die verallgemeinerte Quantentheorie

bild

Abbildung 5. Grand mean Daten (± SEM) zur negativen Korrelation zwischen Kipprate bei Betrachtung eines Necker-Würfels (psychophysisches Maß) und Latenz einer Komponente des ereigniskorrelierten Potenzials (CPP: centro-parietal positivity). Das Einhergehen von höheren CPP-Latenzen mit niedrigeren Kippraten wird vom Necker-Zeno Modell auch quantitativ so vorhergesagt. Rote / blaue Sympole = Meditations-erfahrene / unerfahrene Probanden; helle Farben: passive Beobachtung; dunkle Farben: willentlicher Versuch, die Wahrnehmung stabil zu halten. Abbildung aus Kornmeier et al. 2017.

Trotz der bisherigen Erfolgsgeschichte naturwissenschaftlicher und insbesondere neu-rowissenschaftlicher Forschung gibt es noch keine überzeugenden Antworten auf zentrale Fragen zu Bewusstsein, freiem Willen oder zum psycho-physischen Problem. Interessant in diesem Zusammenhang sind allerdings Überlegungen, die der Physiker und Nobelpreisträger Wolfgang Pauli und der berühmte Psychiater Carl Gustav Jung (z.B. Atmanspacher & Fuchs 2014) zusammen angestellt haben und die schließlich Atmanspacher und Kollegen zur Formulierung der „Verallgemeinerten Quantentheorie“ führten (Atmanspacher et al. 2002). Die Verallgemeinerte Quantentheorie ist eine formale Rahmentheorie, die eine Anwendung mathematischer Grundlagen auch jenseits der Physik erlaubt, und aus der sich präzise und empirisch überprüfbare Hypothesen ableiten lassen. Ein sehr guter Übersichtsartikel von Harald Atmanspacher befindet sich in der Stanford Encyclopedia of Philosophy (Atmanspacher 2020). Atmanspacher und Kollegen wählten Bistabilität von Kippfiguren als Modellsituation für diese Theorie und entwickelten das sogenannte Necker-Zeno Modell für bistabile Wahrnehmung, das auf quantentheoretischen Überlegungen basiert (Atmanspacher et al. 2004, 2008). Das Necker-Zeno Modell präsentiert eine Relation dreier Observablen von drei verschiedenen Zeitskalen, die in Psychologie und Kognitionswissenschaften häufig diskutiert werden. In den vergangenen Jahren konnten wir sowohl psychophysische als auch elektrophysiologische empirische Bestätigung dieser Relation finden. Insbesondere postulieren die Autoren des Necker-Zeno Modells erhöhte Werte auf bestimmten Zeitskalen bei Menschen mit Meditationserfahrung, was wir vor einiger Zeit in einer EEG-Studie bestätigen konnten (Kornmeier et al. 2017).

Referenzen

Atmanspacher, H (2020). Quantum Approaches to Consciousness. The Stanford Encyclopedia of Philosophy.

Atmanspacher H, Bach M, Filk T, Kornmeier J,& Römer H (2008). Cognitive time scales in a Necker-Zeno Model for bistable perception. The Open Cybernetics and Systemics Journal, 2, 234–251.

Atmanspacher H& Fuchs CA (2014). The Pauli-Jung conjecture and its impact today. Imprint Academic.

Atmanspacher H, Römer H & Walach H (2002). Weak quantum theory: Complementarity and entanglement in physics and beyond. Found Phys, 32, 379–406.

Kornmeier J, Friedel E, Wittmann M & Atmanspacher H (2017). EEG correlates of cognitive time scales in the Necker-Zeno model for bistable perception. Consciousness and Cognition 53, 136 - 150.

Datenanalyse mit Methoden künstlicher Intelligenz

bild

Abbildung 6. Beispiel für ein Feedforward / Fully Connected Neural Network (aus Hramov et al. 2019). Blaue Kurven (links) sind Beispiele einzelner EEG Kurven von einer Versuchsperson. si, ui und y sind Neurone eines künstlichen Netzwerks. ωi symbolisieren Gewichtungen für die Informationsübertragung zwischen Neuronen aufeinander folgender Ebenen. Während des Trainings eines solchen künstlichen Netzwerks werden die ωi schrittweise verändert um die Netzwerkleistung zu verbessern.

Wissenschaftliche Daten (in unserem Falle z.B. EEG, fMRI oder Verhaltensdaten) enthalten Muster, die wir meist mit bloßem Auge nicht sehen können. Ausgefeilte Analysemethoden erlauben jedoch, solche Muster zu identifizieren, ausgefeilte grafische Methoden ihre Darstellung. Auswertungsergebnisse hängen dabei immer sehr stark von der gewählten Methode, ihren technischen Einschränkungen und von den Methoden-spezifischen Annahmen ab. Methoden der künstlichen Intelligenz (KI) – und speziell des maschinellen Lernens (ML) – zeigen eine zunehmende Leistungsfähigkeit bei der Analyse von wissenschaftlichen Daten. ML-Methoden werden mittlerweile in neurowissenschaftlicher und dort speziell in der klinischen Forschung, z.B. bei der Segmentierung von 3D Tomographiebildern, oder bei Klassifikationsaufgaben in der Psychopathologie und anderen Bereichen verwendet (Milletari et al. 2016, Qureshi et al. 2019, Rad & Furlanello 2016).

Allerdings geht die oft höhere Leistungsfähigkeit von ML-Lösungen gegenüber früheren Standartmethoden mit einem langwierigen Training des künstlichen Netzwerks einher. Dabei gewinnen leistungsfähige Computer und insbesondere Hochleistungs-Grafikkarten immer mehr an Bedeutung. Im Herbst 2019 konnten wir in diesem Zusammenhang erfolgreich ein Eucor–Seeding Projekt zur Auswertung klinischer Daten einwerben. Darüber hinaus bekamen wir im Rahmen einer Ausschreibung der Firma NVIDIA den Zuschlag für eine Hochleistungs-Grafikkarte (Nvidia Titan V). Unter Einsatz dieser Grafikkarte werten wir aktuell vorhandene EEG-Daten mit KI-Methoden aus und entwickeln künstliche neuronale Netze zur Analyse der Quellen, welche dem EEG zugrunde liegen.

Referenzen

Milletari F, Navab N & Ahmadi SA (2016). V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation. 2016 Fourth International Conference on 3D Vision (3DV), 565–571.

Rad NM &Furlanello C (2016). Applying Deep Learning to Stereotypical Motor Movement Detection in Autism Spectrum Disorders. 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW), 1235–1242.

Qureshi MNI, Oh J & Lee B (2019). 3D-CNN based discrimination of schizophrenia using resting-state fMRI. Artificial Intelligence in Medicine, 98, 10–17.

ConvDip: Ein Convolutional Neural Network zur besseren Analyse von M/EEG Quellen

Neben funktionellen Fragestellungen werfen EEG-Muster an der Kopfoberfläche auch die Frage nach den zu Grunde liegenden Quellen auf: Aus welcher Hirnregion kommt das Signal, das wir an der Kopfhaut messen? Diese Frage, auch inverses Problem genannt, beschäftigt Wissenschaftlerinnen und Wissenschaftler seit Beginn der EEG-Aufzeichnungen. Das Problem ist jedoch unterbestimmt. Das heißt, ein gegebenes EEG-Muster an der Kopfoberfläche kann durch mehrere verschiedene Konfigurationen von Quellen verursacht werden. Es gibt also keine eindeutige Lösung. Ansätze zur Lösung des inversen Problems gibt es reichlich, jeder mit seinen Vor- und Nachteilen. Ein Problem eines viel verwendeten Ansatzes (Minimum-Norm-Lösungen) ist z.B. die breite räumliche Verteilung der rekonstruierten Aktivitätsquellen welche nicht mit den bisherigen Befunden und theoretischen Modellen von neuronalen Signalen vereinbar ist (Nunez & Srinivasan 2006).

Mit „ConvDip“ (Hecker et al. 2020) haben wir eine Methode zur Lösung des inversen Problems mithilfe eines Convolutional Neural Networks (CNN) entwickelt. Wir haben physiologisch plausible künstliche Quellen generiert, und die entsprechenden EEG-Signale für Positionen typischer EEG-Elektroden berechnet. Mit Hilfe dieser Daten haben wir das Netzwerk trainiert und schließlich mit einem separaten Satz künstlicher Daten die Leistungsfähigkeit des trainierten ConvDip-Netzes getestet. In unseren Untersuchungen konnte diese Methode bereits erfolgreich sowohl simulierte als auch echte Daten verarbeiten und in allen Tests die Leistung von klassischen Ansätzen übertreffen.

bild
Abbildung 7. Links : Boxplots der Varianzen, die durch die Projektion der gefundenen Quellen auf die Kopfoberfläche erklärt werden, separat für die verschiedenen Quellenanalyse-Methoden. Die horizontale Linie (bei 81%) markiert den prozentualen Signalanteil in den künstlich erzeugten EEG-Daten. ConvDip erklärt signifikant mehr Varianz als die anderen zwei Methoden, unabhängig von der Anzahl der modellierten Quellen. Rechts: Normalisierte mittlere quadratische Fehler der verschiedenen inversen Lösungen für verschiedene Anzahlen modellierter Quellen. ConvDip produziert signifikant weniger normalisierte mittlere quadratische Fehler als die anderen beiden Methoden. Die weißen horizontalen Linien in den Boxplots markieren die Mediane, die Rechtecke darüber und darunter die Interquartilsbereiche. Die Whiskers umspannen die zentralen 95% der Daten.

Referenzen

Hecker L, Rupprecht R, Tebartz van Elst L, Kornmeier J (2021) ConvDip: A convolutional neural network for improved M/EEG Source Imaging. Frontiers in Neuroscience 15.

Hramov AE, Maksimenko V, Koronovskii A, Runnova AE, Zhuravlev M, Pisarchik AN & Kurths J (2019). Percept-related EEG classification using machine learning approach and fea-tures of functional brain connectivity. Chaos: An Interdisciplinary Journal of Nonlinear Science, 29(9), 093110.

Nunez P & Srinivasan R (2006). Electric Fields of the Brain: The Neurophysics of EEG. Ox-ford 561, University Press, USA, 2006.

Milletari F, Navab N & Ahmadi SA (2016). V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation. 2016 Fourth International Conference on 3D Vision (3DV), 565–571.

Qureshi MNI, Oh J & Lee B (2019). 3D-CNN based discrimination of schizophrenia using resting-state fMRI. Artificial Intelligence in Medicine, 98, 10–17.

Rad NM &Furlanello C (2016). Applying Deep Learning to Stereotypical Motor Movement Detection in Autism Spectrum Disorders. 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW), 1235–1242..