Czytanie myśli z fMRI i AI

Jest to najnowszy postęp w ogólnym celu badawczym, jakim jest ustalenie, jak odczytać aktywność mózgu i przełożyć tę aktywność na rzeczywiste myśli. Naukowcy rozpoczęli od najłatwiejszego – określenia, na jaki obraz patrzy dana osoba, poprzez odczytanie wzorca aktywności w korze wzrokowej. Jest to stosunkowo łatwe, ponieważ kora wzrokowa faktycznie odwzorowuje przestrzeń fizyczną, więc jeśli ktoś patrzy na gigantyczną literę E, ten wzór aktywności pojawi się również w korze.

Przejście do języka było trudne, ponieważ nie ma fizycznego mapowania, tylko mapowanie pojęciowe. Dotychczasowe wysiłki opierały się na danych EEG o wysokiej rozdzielczości z wszczepionych elektrod. Badania te koncentrowały się również na pojedynczych słowach lub frazach i często próbowano wybrać jedno spośród kilku znanych. Najnowsze badania wskazują na trzy znaczące osiągnięcia. Pierwszym z nich jest użycie nieinwazyjnej techniki pozyskiwania danych, skanu fMRI. Drugi to wnioskowanie o pełnych zdaniach i myślach, a nie tylko słowach. Po trzecie, odpowiedzi były otwarte, a nie wybrane z ograniczonego zestawu opcji. Ale zagłębmy się w kilka szczegółów, które są ważne.

Skan fMRI sprawdza przepływ krwi do mózgu, który jest pośrednią miarą aktywności mózgu. Ludzki mózg jest głodnym narządem, a kiedy część mózgu jest aktywna, potrzebuje strumienia glukozy, aby nakarmić komórki mózgowe. Powoduje to wzrost przepływu krwi do tej części mózgu, który zwykle wzrasta, osiąga wartość szczytową, a następnie powraca do wartości wyjściowych w ciągu około 10 sekund. Obecne skany fMRI są w stanie generować obrazy przepływu krwi do mózgu o dość wysokiej rozdzielczości. Ale nic nie mogą zrobić z opóźnieniem, które jest nieodłącznym elementem fizjologii. W systemie jest również dużo szumów tła, a wydobycie z nich sensownego sygnału może być trudne.

Badania fMRI polegały głównie na określeniu, która część mózgu jest aktywna podczas określonych czynności, aby dowiedzieć się, jak mózg jest okablowany. Obecne badania wynoszą analizę na nowy poziom, próbując określić znaczenie tej aktywności mózgu, a nie tylko to, gdzie się znajduje. Pomiędzy opóźnieniem a szumem niezawodne wykonanie tego po prostu nie było możliwe. Ale teraz mamy generatywną sztuczną inteligencję i duże modele językowe, które są dobre w znajdowaniu wzorców w szumie i generowaniu przekonującego języka z tych wzorców. Wydaje się to być idealnym dopasowaniem.

Badacze potrzebowali osób, które przeszły przez długi okres szkolenia – szkolenie na dużej ilości danych jest jedną z rzeczy, które sprawiają, że duże modele językowe są tak potężne. Każdy badany przeszedł około 16 godzin treningu, co oznacza, że leżał w skanie fMRI, słuchając podcastów, aby sztuczna inteligencja mogła trenować obserwację aktywności ich mózgu i dopasować ją do słów, które słyszeli. Po okresie szkoleniowym badani słuchali nowego dźwięku, którego sztuczna inteligencja nie znała, a sztuczna inteligencja musiała skonstruować to, czego słuchali, na podstawie ich aktywności fMRI. Poproszono ich również, aby po prostu wyobrazili sobie jakąś opowieść. Na koniec pokazano im nieme wideo, z hipotezą, że podczas oglądania wideo będą mieli w głowie ciągły komentarz słowny.

Jak sztuczna inteligencja poradziła sobie z rekonstrukcją ich języka? Całkiem dobrze. Oto kilka przykładów:

Rzeczywisty bodziec: wstałem z dmuchanego materaca i przycisnąłem twarz do szyby w sypialni, spodziewając się, że zobaczę wpatrujące się we mnie oczy, ale zamiast tego znalazłem tylko ciemność

Rozszyfrowany bodziec: po prostu podszedłem do okna i otworzyłem je, stanąłem na palcach i wyjrzałem przez okno, nic nie widziałem, ponownie spojrzałem w górę, nic nie widziałem

Rzeczywisty bodziec: nie wiedziałam, czy krzyczeć, płakać, czy uciekać, zamiast tego powiedziałam, zostaw mnie w spokoju, nie potrzebuję twojej pomocy, Adam zniknął i posprzątałam sama, płacząc

Rozszyfrowany bodziec: zaczęła krzyczeć i płakać, a potem powiedziała, że powiedziałam ci, żebyś mnie zostawił w spokoju, nie możesz mnie już więcej krzywdzić, przepraszam, a potem on wybiegł, myślałam, że wyszedł, zaczęłam płakać

System dobrze radzi sobie z złapaniem, o co chodzi i niektóre wyrażenia są dokładne, ale także zawiera wiele błędów. Ale jest to imponujący wynik z obserwacji samej aktywności mózgu. Istnieją wszelkie powody, by podejrzewać, że może być znacznie lepiej. To było z GPT-1. Zastanawiam się, jak dobrze poradzi sobie Chat GPT-4? A co jeśli duży model językowy zostanie dostosowany do tego konkretnego zadania? Ponadto, podczas gdy 16 godzin treningu to dużo, co by się stało po tygodniach lub miesiącach treningu? Zastanawiam się, jaka jest ostateczna granica tego podejścia.

Warto zwrócić uwagę na jeszcze dwa wyniki. Kiedy badani zostali poproszeni o próbę oszukania sztucznej inteligencji, z łatwością byli w stanie to zrobić. Wrzucanie przypadkowych myśli właściwie zepsuło algorytm. Ponadto, gdy użyli modelu przeszkolonego na jednej osobie, aby przetestować inną osobę, wynikiem był bełkot. Na tym poziomie aktywność mózgu jest unikatowa dla każdej osoby.

Co to wszystko oznacza i jakie są pytania badawcze na przyszłość? Oczywiście media głównego nurtu musiały działać zgodnie z ich typowym algorytmem – jakie praktyczne zastosowanie może to mieć? Wszyscy spekulowali o używaniu tego, aby umożliwić mówienie ludziom, którzy są sparaliżowani. Teoretycznie na pewno oznacza to, że taki system jest możliwy. Ale to podejście nie będzie praktyczne, ponieważ musisz być w skanerze fMRI, aby to zadziałało. Na razie jest to narzędzie badawcze. Możemy po prostu pozwolić, żeby tak chwilowo zostało.

Naukowcy mogą jednak zastosować to samo podejście do innych metod odczytywania aktywności mózgu, takich jak EEG lub skanowanie PET. Zastanawiam się, jak może to działać z nieinwazyjnymi przewodami EEG przyczepionymi do skóry głowy. Ponieważ jednak czaszka osłabia i zamazuje sygnały EEG, podejście to będzie z natury miało ograniczenia. Zdecydowanie lepiej będzie z przewodami pod czaszką. Być może wystarczą stentrody w żyłach czaszkowych.

Pojawił się również pomysł wykorzystania tej technologii do naruszania prywatnych myśli niechętnego podmiotu. Autorzy zwracają jednak uwagę, że szkolenie i korzystanie z systemu wymaga współpracy ze strony podmiotu. Więc system nie zadziała na ciebie, jeśli nie współpracowałeś podczas godzin treningu. Nawet wtedy możesz łatwo zablokować system, jeśli nie będziesz współpracować, wystarczy pomyśleć o sójce, czy czymkolwiek. Nie musisz nawet robić tego konsekwentnie, wystarczy, że wrzucisz trochę szumu do systemu.

A tak na marginesie, ponieważ właśnie wczoraj pisałem o ESP [postrzeganie pozazmysłowe], wydaje mi się, że ma to implikacje dla badań parapsychologii, szczególnie czytania w myślach. Badanie to pokazuje, że specyficzna aktywność poszczególnych mózgów na poziomie przekładającym się na spójną mowę jest wzajemnie niezrozumiała. Gdyby telepata odczytywał aktywność w czyimś mózgu, przypuszczalnie używając własnego mózgu jako tłumacza, wynikiem byłby bełkot. Nie mam wątpliwości, że wierzący w ESP mogą naprędce wymyślić jakieś wytłumaczenie („ESP nie działa w ten sposób”, cokolwiek to znaczy), ale wydaje mi się to całkiem solidnym problemem.

Tymczasem prawdziwa nauka jest o wiele ciekawsza niż fałszywa paranormalna „nauka”. Jesteśmy na dobrej drodze do rozszyfrowania aktywności ludzkiego mózgu. To będzie długa droga, ale to badanie jest ważnym dowodem słuszności koncepcji. Pokazuje to również, że dopiero skrobiemy powierzchnię w zakresie badań wspomaganych przez sztuczną inteligencję.

Link do oryginału: https://theness.com/neurologicablog/index.php/reading-the-mind-with-fmri-and-ai/

NeuroLogica Blog, 2 maja 2023

Tłumaczenie: Małgorzata Koraszewska

*Steven Novella 

Neurolog, wykładowca na Yale University School of Medicine. Przewodniczący i współzałożyciel New England Skeptical Society. Twórca popularnych (cotygodniowych) podkastów o nauce The Skeptics’ Guide to the Universe. Jest również dyrektorem Science-Based Medicine będącej częścią James Randi Educational Foundation (JREF), członek Committee for Skeptical Inquiry (CSI) oraz członek założyciel Institute for Science in Medicine. Prowadzi blog Neurologica.