Prawda

Piątek, 29 marca 2024 - 09:11

« Poprzedni Następny »


ChatGPT niemal zdaje lekarski egzamin końcowy


Steven Novella 2023-02-21


Pojawienie się kilku aplikacji sztucznej inteligencji (AI) do użytku publicznego, takich jak Dalle-2, Midjourney i ChatGPT, sprawiło, że sztuczna inteligencja stała się jednym z największych newsów naukowych minionego roku. Sam obszernie o tym pisałem i intensywnie korzystałem z tych aplikacji, aby zorientować się, co mogą, a czego nie mogą zrobić. Możliwości tych systemów zmieniają się jednak szybko.

Ostatnio pisałem o potencjale aplikacji podobnej do ChatGPT jako systemu eksperckiego wspomagającego praktykę lekarską. Już jest aktualizacja warta nowego postu (również ta została opublikowana na SBM). Jeśli chodzi o tło, ChatGPT to duży model językowy, zasadniczo potężny chatbot, który jest w stanie generować odpowiedzi w języku naturalnym, które są spójne w odpowiedziach na słowa użytkownika. Zadaj mu pytanie lub daj mu zadanie, a wypluje całkiem przyzwoitą odpowiedź. Jest szkolony na danych z Internetu do 2021 roku. Aplikacja denerwuje wielu nauczycieli, ponieważ tworzy dobre eseje, przynajmniej na poziomie szkoły średniej. Nie sądzę, aby ostatecznie stanowiło to problem, ale zmusi nauczycieli do ponownego przemyślenia zadań opartych na esejach.

 

Jako wyznacznik rzeczywistego potencjału tych aplikacji AI, Microsoft podobno zainwestował miliardy dolarów w ChatGPT i włącza go do swojej wyszukiwarki Bing. Google odpowiedziało na to swoją własną aplikacją, Bard, która ma wyboisty początek, ale poczekajmy z oceną. Następna wersja ChatGPT, wersja 4, pojawi się wkrótce i obiecuje, że będzie jeszcze potężniejsza i aktualna. Konkluzja – spodziewaj się, że zobaczysz to oprogramowanie wszędzie, w tle naszego doświadczenia komputerowego. W rzeczywistości ChatGPT będzie pisać to oprogramowanie.

 

Zawsze jednak pozostaje pytanie, w jaki sposób społeczeństwo będzie wchodzić w interakcję z nową technologią i jak ludzie będą się z nią czuć. Kiedy już przejdziemy przez etap nowości i nadmiernego entuzjazmu, czy ludzie gremialnie włączą nową technologię do swojego codziennego życia? Smartfon jest prawdopodobnie najlepszym niedawnym przykładem nowej technologii, która szybko zmieniła świat. Segue to kultowy kontrprzykład. Myślę, że odpowiedzią na nowe aplikacje AI jest sposób ich stosowania. Jedna „killer app” i wkrótce nie będziemy pamiętać, jak to się stało, że radziliśmy sobie bez tej technologii. Przewiduję, że aplikacje AI typu ChatGPT będą doskonałymi osobistymi asystentami.

 

To, o czym mówiłem na SBM, to potencjał oprogramowania AI w stylu ChatGPT jako doskonałego systemu eksperckiego dla lekarzy. Tym, co stanowi o świetności tych systemów, jest posiadanie przez nie ogromnej bazy danych informacji na wyciągnięcie (cyfrowej) ręki. Mogą szybko przeszukać te informacje i przedstawić czytelne podsumowanie. Świat medyczny domaga się takiej aplikacji, ponieważ jesteśmy coraz bardziej pogrążeni w nieustannej lawinie nowych badań, standardów praktyki i opcji leczenia. To może i powinno stać się niezbędnym narzędziem dla każdego klinicysty.

 

Najwyraźniej nie jestem jedyną osobą, która wpadła na ten (co prawda oczywisty) pomysł. Uniwersytet Stanforda stworzył PubMedGPT – wersję ChatGPT wyszkoloną wyłącznie w zakresie literatury medycznej. Przynajmniej może to służyć jako doskonała wyszukiwarka – „Pokaż mi wszystkie opublikowane badania w ciągu ostatnich 2 lat dotyczące terapii X choroby Y”. PubMed to nieocenione i niezbędne źródło informacji. Ale jego wyszukiwarka jest nieco niezgrabna. Często łączę to z Google, które ma po prostu lepszą wyszukiwarkę. Przede wszystkim chciałbym, aby PubMed włączył technologię ChatGPT do swojej wyszukiwarki.

 

Aby przetestować model, PubMedGPT przeszedł trzyczęściowe egzaminy USMLE, które lekarze muszą zdać, aby uzyskać licencję [odpowiednik polskiego lekarskiego egzaminu końcowego – LEK, przyp. tłum.]. Wynik egzaminu jest określany w procentach, ale zwykle trzeba poprawnie odpowiedzieć na około 60% pytań (to naprawdę trudny test, więc nie myśl, że to zły wynik). PubMedGPT uzyskał wynik 50,8%, co nie jest wynikiem pozytywnym, ale całkiem niezłym jak na chatbota. Wiele pytań jest subtelnych i skomplikowanych koncepcyjnie, więc jest to imponujący pokaz.

 

Jednak ChatGPT (szkolony w Internecie od 2021 r.) również został przetestowany. W trzech testach uzyskał od 52,4 do 75%, ze średnim wynikiem tuż poniżej progu 60%. Żeby było jasne, nie zdałby wszystkich trzech egzaminów, ale to imponujący wynik. Jest też lepszy niż PubMedGPT, co jest interesujące. Zastanawiam się, jak poradziłaby sobie aplikacja GPT, gdyby była najpierw szkolona w całym Internecie, a następnie w PubMed, dając pierwszeństwo informacjom z PubMed?

 

Powinniśmy myśleć o tym wyniku w taki sam sposób, jak o pierwszym razie, gdy program komputerowy był bliski pokonania światowego mistrza szachowego. Wkrótce te programy szachowe były tak dobre, że żaden ludzki gracz nie mógł się do nich zbliżyć. Podobnie, nie sądzę, że minie dużo czasu (jeśli prace nad tą konkretną aplikacją będą kontynuowane), zanim będziemy mieć medyczne systemy eksperckie GPT, które uzyskają 80% poprawnych wyników, a ostatecznie ponad 90% poprawnych. 

 

ChatGPT zdaje również egzaminy z szkoły prawniczej oraz egzaminy MBA. Ponownie, nie przewyższa najlepszych uczniów, ani nawet przeciętnych uczniów, ale daj mu czas.

 

To wszystko jest dobre. Pokazuje potencjał tego typu zastosowań technologii AI. Z niecierpliwością czekam na dzień, w którym na biurku w mojej klinice pojawi się w komputerach aplikacja MedicalGPT, gotowa do dostarczania aktualnych informacji, które pomogą mi w podejmowaniu decyzji klinicznych. Pomyśl o oszczędnościach w służbie zdrowia. Microsoft inwestuje miliardy dolarów w uzyskanie przewagi w wojnach wyszukiwarek. Możemy zainwestować miliardy dolarów w poprawę opieki zdrowotnej.


ChatGPT Almost Passes Medical Licensure Exams

NeuroLogica Blog, 13 lutego 2023

Tłumaczenie: Małgorzata Koraszewska

 
*Steven Novella 

Neurolog, wykładowca na Yale University School of Medicine. Przewodniczący i współzałożyciel New England Skeptical Society. Twórca popularnych (cotygodniowych) podkastów o nauce The Skeptics’ Guide to the Universe. Jest również dyrektorem Science-Based Medicine będącej częścią James Randi Educational Foundation (JREF), członek Committee for Skeptical Inquiry (CSI) oraz członek założyciel Institute for Science in Medicine. Prowadzi blog Neurologica.


Skomentuj Tipsa en vn Wydrukuj






Nauka

Znalezionych 1470 artykuły.

Tytuł   Autor   Opublikowany

Kameleon przekazuje różne informacje różnymi częściami ciała   Yong   2013-12-14
Paradoksalne cechy genetyki inteligencji   Ridley   2013-12-18
Wielki skandal z biopaliwami   Lomborg   2013-12-19
Przedwczesna wiadomość o śmierci samolubnego genu   Coyne   2013-12-22
Czy jest życie na Europie?   Ridley   2013-12-22
Nowa data udomowienia kotów: około 5300 lat temu – i to w Chinach   Coyne   2013-12-26
Na Zeusa, natura jest przeżarta rują i korupcją   Koraszewski   2013-12-26
Proces cywilizacji   Ridley   2013-12-28
Jak karakara wygrywa z osami   Cobb   2013-12-29
Żebropławy, czyli dziwactwa ewolucji   Coyne   2013-12-30
Czy może istnieć sztuka bez artysty?    Wadhawan   2013-12-30
Zderzenie mentalności   Koraszewski   2014-01-01
Skrzydlaci oszuści i straż obywatelska   Young   2014-01-02
Delfiny umyślnie narkotyzują się truciznami rozdymków   Coyne   2014-01-04
Długi cień anglosfery   Ridley   2014-01-05
Ciemna materia genetyki psychiatrycznej   Zimmer   2014-01-06
Co czyni nas ludźmi?   Dawkins   2014-01-07
Twoja choroba na szalce   Yong   2014-01-08
Czy mamut włochaty potrzebuje adwokata?   Zimmer   2014-01-09
Pradawne rośliny kwitnące znalezione w bursztynie   Coyne   2014-01-10
Ratując gatunek możesz go niechcący skazać   Yong   2014-01-11
Ewolucja ukryta w pełnym świetle   Zimmer   2014-01-13
Koniec humanistyki?   Coyne   2014-01-15
Jak poruszasz nogą, która kiedyś była płetwą?   Yong   2014-01-16
Jak wyszliśmy na ląd, kość za kością   Zimmer   2014-01-19
Twoja wewnętrzna mucha   Cobb   2014-01-22
Ukwiał żyje w antarktycznym lodzie!   Coyne   2014-01-25
Dlaczego poligamia zanika?   Ridley   2014-01-26
Wspólne pochodzenie sygnałów płodności   Cobb   2014-01-28
Ewolucja i Bóg   Coyne   2014-01-29
O delfinach, dużych mózgach i skokach logiki   Yong   2014-01-30
Dziennikarski „statek upiorów” Greg Mayer   Mayer   2014-01-31
Dlaczego leniwce wypróżniają się na ziemi?   Bruce Lyon   2014-02-02
Moda na kopanie nauki   Coyne   2014-02-03
Neandertalczycy: bliscy obcy   Zimmer   2014-02-05
O pochodzeniu dobra i zła   Coyne   2014-02-05
Sposób znajdowania genów choroby   Yong   2014-02-07
Czy humaniści boją się nauki?   Coyne   2014-02-07
Kiedy zróżnicowały się współczesne ssaki łożyskowe?   Mayer   2014-02-10
O przyjaznej samolubności   Koraszewski   2014-02-12
Skąd wiesz, że znalazłeś je wszystkie?   Zimmer   2014-02-15
Nauka odkrywa nową niewiedzę o przeszłości   Ridley   2014-02-18
Żyjące gniazdo?   Zimmer   2014-02-19
Planeta tykwy pospolitej   Zimmer   2014-02-21
Nowe niezwykłe skamieniałości typu “Łupki z Burgess”   Coyne   2014-02-22
Dziennik z Mozambiku: Pardalota   Naskręcki   2014-02-23
Wskrzeszona odpowiedź z kredy na “chorobę królów”   Yong   2014-02-26
Dziennik z Mozambiku: Sybilla     2014-03-01
Spojrzeć ślepym okiem   Yong   2014-03-02
Intelektualne danie dnia  The Big Think   Coyne   2014-03-04
Przeczołgać się przez mózg i nie zgubić się   Zimmer   2014-03-05
Gdzie podziewają się żółwiki podczas zgubionych lat?   Yong   2014-03-10
Supergen, który maluje kłamcę   Yong   2014-03-14
Idea, którą pora oddać na złom   Koraszewski   2014-03-15
Zwycięstwa bez chwały   Ridley   2014-03-17
Twarde jak skała   Naskręcki   2014-03-18
Pasożyty informacyjne   Zimmer   2014-03-19
Seymour Benzer: humor, historia i genetyka   Cobb   2014-03-21
Kto to był Per Brinck?   Naskręcki   2014-03-23
Potrafimy rozróżnić między przynajmniej bilionem zapachów   Yong   2014-03-25
Godzina Ziemi czyli o celebrowaniu ciemności   Lomborg   2014-03-27
Słonie słyszą więcej niż ludzie   Yong   2014-03-30
Niebo gwiaździste nade mną, małpa włochata we mnie   Koraszewski   2014-03-31
Wielkoskrzydłe   Naskręcki   2014-04-02
Najstarsze żyjące organizmy   Coyne   2014-04-03
Jak zmienić bakterie jelitowe w dziennikarzy   Yong   2014-04-06
Eureka! Sprytne wrony to odkryły   Coyne   2014-04-07
Sukces upraw GM w Indiach   Lomborg   2014-04-09
Wirus, który sterylizuje owady, ale je pobudza   Yong   2014-04-12
Przystosować się do zmiany klimatu   Ridley   2014-04-14
Jeden oddech, który zmienił planetę   Naskręcki   2014-04-16
Najgorsze w karmieniu komarów jest czekanie   Yong   2014-04-17
Kłopotliwa podróż w przyszłość   Ridley   2014-04-19
Pierwsze spojrzenie na mikroby współczesnych łowców zbieraczy     2014-04-23
Seksizm w nauce o jaskiniowych owadach   Coyne   2014-04-26
Musza bakteria zaprasza inne muszki na uczty owocowe   Yong   2014-04-27
Zachwycający rabuś, który liczy sto milionów lat   Cobb   2014-04-28
Mądrość (małych) tłumów   Zimmer   2014-04-29
Tak bada się ewolucję inteligencji u zwierząt   Yong   2014-05-02
Fantastyczna mimikra tropikalnego pnącza   Coyne   2014-05-03
Dlaczego większość zasobównie wyczerpuje się   Ridley   2014-05-04
Pomidory tworzą pestycydy z zapachu swoich sąsiadów   Yong   2014-05-07
Potrawy z pasożytów   Zimmer   2014-05-08
Technologia jest często matką nauki, a nie odwrotnie   Ridley   2014-05-09
Montezuma i jego flirty   Coyne   2014-05-11
Insekt dziedziczy mikroby z plemnika taty   Yong   2014-05-12
Polowanie na nietoperze   Naskręcki   2014-05-14
Zmień swoje geny przez zmianę swojego życia   Coyne   2014-05-15
Obrona śmieciowego DNA   Zimmer   2014-05-17
Gdzie są badania zwierzęcych wagin?   Yong   2014-05-20
Niemal ssaki   Naskręcki   2014-05-21
Zobaczyć jak splątane są gałęzie drzewa   Zimmer   2014-05-23
Dlaczego ramiona ośmiornicy nie plączą się   Yong   2014-05-24
Niezwykły pasikonik szklany   Naskręcki   2014-05-27
Wąż zgubiony i ponownie odnaleziony   Mayer   2014-05-28
Niespodziewani krewni mamutaków   Yong   2014-05-30
Trochę lepszy  świat   Ridley   2014-05-31
Tam, gdzie są ptaki   Mayer   2014-06-01
Ewolucja, ptaki i kwiaty   Coyne   2014-06-02
Jestem spełniony   Naskręcki   2014-06-04

« Poprzednia strona  Następna strona »
Polecane
artykuły

Lekarze bez Granic


Wojna w Ukrainie


Krytycy Izraela


Walka z malarią


Przedwyborcza kampania


Nowy ateizm


Rzeczywiste łamanie


Jest lepiej


Aburd


Rasy - konstrukt


Zielone energie


Zmiana klimatu


Pogrzebać złudzenia Oslo


Kilka poważnych...


Przeciwko autentyczności


Nowy ateizm


Lomborg


„Choroba” przywrócona przez Putina


„Przebudzeni”


Pod sztandarem


Wielki przekret


Łamanie praw człowieka


Jason Hill


Dlaczego BIden


Korzenie kryzysu energetycznego



Obietnica



Pytanie bez odpowiedzi



Bohaterzy chińskiego narodu



Naukowcy Unii Europejskiej



Teoria Rasy



Przekupieni



Heretycki impuls



Nie klanial



Cervantes



Wojaki Chrystusa


Listy z naszego sadu
Redaktor naczelny:   Hili
Webmaster:   Andrzej Koraszewski
Współpracownicy:   Jacek, , Małgorzata, Andrzej, Henryk