Prawda

Wtorek, 19 marca 2024 - 08:04

« Poprzedni Następny »


ChatGPT niemal zdaje lekarski egzamin końcowy


Steven Novella 2023-02-21


Pojawienie się kilku aplikacji sztucznej inteligencji (AI) do użytku publicznego, takich jak Dalle-2, Midjourney i ChatGPT, sprawiło, że sztuczna inteligencja stała się jednym z największych newsów naukowych minionego roku. Sam obszernie o tym pisałem i intensywnie korzystałem z tych aplikacji, aby zorientować się, co mogą, a czego nie mogą zrobić. Możliwości tych systemów zmieniają się jednak szybko.

Ostatnio pisałem o potencjale aplikacji podobnej do ChatGPT jako systemu eksperckiego wspomagającego praktykę lekarską. Już jest aktualizacja warta nowego postu (również ta została opublikowana na SBM). Jeśli chodzi o tło, ChatGPT to duży model językowy, zasadniczo potężny chatbot, który jest w stanie generować odpowiedzi w języku naturalnym, które są spójne w odpowiedziach na słowa użytkownika. Zadaj mu pytanie lub daj mu zadanie, a wypluje całkiem przyzwoitą odpowiedź. Jest szkolony na danych z Internetu do 2021 roku. Aplikacja denerwuje wielu nauczycieli, ponieważ tworzy dobre eseje, przynajmniej na poziomie szkoły średniej. Nie sądzę, aby ostatecznie stanowiło to problem, ale zmusi nauczycieli do ponownego przemyślenia zadań opartych na esejach.

 

Jako wyznacznik rzeczywistego potencjału tych aplikacji AI, Microsoft podobno zainwestował miliardy dolarów w ChatGPT i włącza go do swojej wyszukiwarki Bing. Google odpowiedziało na to swoją własną aplikacją, Bard, która ma wyboisty początek, ale poczekajmy z oceną. Następna wersja ChatGPT, wersja 4, pojawi się wkrótce i obiecuje, że będzie jeszcze potężniejsza i aktualna. Konkluzja – spodziewaj się, że zobaczysz to oprogramowanie wszędzie, w tle naszego doświadczenia komputerowego. W rzeczywistości ChatGPT będzie pisać to oprogramowanie.

 

Zawsze jednak pozostaje pytanie, w jaki sposób społeczeństwo będzie wchodzić w interakcję z nową technologią i jak ludzie będą się z nią czuć. Kiedy już przejdziemy przez etap nowości i nadmiernego entuzjazmu, czy ludzie gremialnie włączą nową technologię do swojego codziennego życia? Smartfon jest prawdopodobnie najlepszym niedawnym przykładem nowej technologii, która szybko zmieniła świat. Segue to kultowy kontrprzykład. Myślę, że odpowiedzią na nowe aplikacje AI jest sposób ich stosowania. Jedna „killer app” i wkrótce nie będziemy pamiętać, jak to się stało, że radziliśmy sobie bez tej technologii. Przewiduję, że aplikacje AI typu ChatGPT będą doskonałymi osobistymi asystentami.

 

To, o czym mówiłem na SBM, to potencjał oprogramowania AI w stylu ChatGPT jako doskonałego systemu eksperckiego dla lekarzy. Tym, co stanowi o świetności tych systemów, jest posiadanie przez nie ogromnej bazy danych informacji na wyciągnięcie (cyfrowej) ręki. Mogą szybko przeszukać te informacje i przedstawić czytelne podsumowanie. Świat medyczny domaga się takiej aplikacji, ponieważ jesteśmy coraz bardziej pogrążeni w nieustannej lawinie nowych badań, standardów praktyki i opcji leczenia. To może i powinno stać się niezbędnym narzędziem dla każdego klinicysty.

 

Najwyraźniej nie jestem jedyną osobą, która wpadła na ten (co prawda oczywisty) pomysł. Uniwersytet Stanforda stworzył PubMedGPT – wersję ChatGPT wyszkoloną wyłącznie w zakresie literatury medycznej. Przynajmniej może to służyć jako doskonała wyszukiwarka – „Pokaż mi wszystkie opublikowane badania w ciągu ostatnich 2 lat dotyczące terapii X choroby Y”. PubMed to nieocenione i niezbędne źródło informacji. Ale jego wyszukiwarka jest nieco niezgrabna. Często łączę to z Google, które ma po prostu lepszą wyszukiwarkę. Przede wszystkim chciałbym, aby PubMed włączył technologię ChatGPT do swojej wyszukiwarki.

 

Aby przetestować model, PubMedGPT przeszedł trzyczęściowe egzaminy USMLE, które lekarze muszą zdać, aby uzyskać licencję [odpowiednik polskiego lekarskiego egzaminu końcowego – LEK, przyp. tłum.]. Wynik egzaminu jest określany w procentach, ale zwykle trzeba poprawnie odpowiedzieć na około 60% pytań (to naprawdę trudny test, więc nie myśl, że to zły wynik). PubMedGPT uzyskał wynik 50,8%, co nie jest wynikiem pozytywnym, ale całkiem niezłym jak na chatbota. Wiele pytań jest subtelnych i skomplikowanych koncepcyjnie, więc jest to imponujący pokaz.

 

Jednak ChatGPT (szkolony w Internecie od 2021 r.) również został przetestowany. W trzech testach uzyskał od 52,4 do 75%, ze średnim wynikiem tuż poniżej progu 60%. Żeby było jasne, nie zdałby wszystkich trzech egzaminów, ale to imponujący wynik. Jest też lepszy niż PubMedGPT, co jest interesujące. Zastanawiam się, jak poradziłaby sobie aplikacja GPT, gdyby była najpierw szkolona w całym Internecie, a następnie w PubMed, dając pierwszeństwo informacjom z PubMed?

 

Powinniśmy myśleć o tym wyniku w taki sam sposób, jak o pierwszym razie, gdy program komputerowy był bliski pokonania światowego mistrza szachowego. Wkrótce te programy szachowe były tak dobre, że żaden ludzki gracz nie mógł się do nich zbliżyć. Podobnie, nie sądzę, że minie dużo czasu (jeśli prace nad tą konkretną aplikacją będą kontynuowane), zanim będziemy mieć medyczne systemy eksperckie GPT, które uzyskają 80% poprawnych wyników, a ostatecznie ponad 90% poprawnych. 

 

ChatGPT zdaje również egzaminy z szkoły prawniczej oraz egzaminy MBA. Ponownie, nie przewyższa najlepszych uczniów, ani nawet przeciętnych uczniów, ale daj mu czas.

 

To wszystko jest dobre. Pokazuje potencjał tego typu zastosowań technologii AI. Z niecierpliwością czekam na dzień, w którym na biurku w mojej klinice pojawi się w komputerach aplikacja MedicalGPT, gotowa do dostarczania aktualnych informacji, które pomogą mi w podejmowaniu decyzji klinicznych. Pomyśl o oszczędnościach w służbie zdrowia. Microsoft inwestuje miliardy dolarów w uzyskanie przewagi w wojnach wyszukiwarek. Możemy zainwestować miliardy dolarów w poprawę opieki zdrowotnej.


ChatGPT Almost Passes Medical Licensure Exams

NeuroLogica Blog, 13 lutego 2023

Tłumaczenie: Małgorzata Koraszewska

 
*Steven Novella 

Neurolog, wykładowca na Yale University School of Medicine. Przewodniczący i współzałożyciel New England Skeptical Society. Twórca popularnych (cotygodniowych) podkastów o nauce The Skeptics’ Guide to the Universe. Jest również dyrektorem Science-Based Medicine będącej częścią James Randi Educational Foundation (JREF), członek Committee for Skeptical Inquiry (CSI) oraz członek założyciel Institute for Science in Medicine. Prowadzi blog Neurologica.


Skomentuj Tipsa en vn Wydrukuj






Nauka

Znalezionych 1467 artykuły.

Tytuł   Autor   Opublikowany

Ideolodzy: dlaczego nauczanie genetyki musi mieć charakter społeczno-polityczny   Coyne   2024-03-19
Przepływ genów od neandertalczyków i denisowian do ludzi „współczesnych” i odwrotnie   Coyne   2024-03-14
Wejdź – skoro nalegasz   Tonhasca Júnior   2024-03-09
Czy “bezpłciowe” bakterie tworzą biologiczne gatunki?   Coyne   2024-03-06
Carl Zimmer o gatunkach i ochronie     2024-02-29
Kolejna błędna próba skorygowania ewolucji   Coyne   2024-02-22
Ryjący w ziemi przedsiębiorcy   Tonhasca Júnior   2024-02-15
Olbrzymie armie o niezliczonych umiejętnościach    Tonhasca Júnior   2024-02-08
Wejdź, powiedziała, dam ci schronienie przed burzą   Tonhasca Júnior   2024-01-15
Czy ludzie wyewoluowali w wodzie?   Coyne   2024-01-08
Jak upadają wielcy   Tonhasca Júnior   2024-01-04
Oczy reniferów zmieniają kolor, żeby łatwiej im było dostrzec jadalne porosty   Coyne   2023-12-30
Życzliwi przestępcy   Tonhasca Júnior   2023-12-28
Conor Friedesdorf (i Alexander Barvinok) o ideologicznym przymusie na amerykańskich uczelniach   Coyne   2023-12-26
Zdumiewający manipulatorzy   Tonhasca Júnior   2023-12-25
Nie gryzie się ręki, która cię zapyla   Tonhasca Júnior   2023-10-19
Rewolucja komunikacyjna   Hannam   2023-10-18
BBC szerzy propagandę rolnictwa organicznego, a biedni na świecie cierpią   i Kathleen Hefferon   2023-10-13
Niezwykły przypadek koewolucji i specyficzności zapylacz/storczyk   Coyne   2023-10-07
Płeć męska lub żeńska: nie ma nic pomiędzy   Elliot   2023-10-03
Myślenie intuicyjne i analityczne   Novella   2023-09-29
„Kryzys klimatyczny” to mistyfikacja   Williams   2023-09-25
Jak (i dlaczego) ośmiornica edytuje swój RNA   Lewis   2023-09-23
„Najbardziej znany zabójca ludzi”: jakie są prawdziwe początki XIV-wiecznej Czarnej Śmierci?   Lewis   2023-09-15
Do jakiego stopnia pary mają wspólne cechy?   Novella   2023-09-14
Kenia daje zielone światło 58 projektom GMO – naukowcy na całym świecie kontynuują badania w dziedzinie biotechnologii, mimo procesów sądowych i dezinformacji   Ombogo   2023-09-08
Lancet atakuje anty-przebudzenie, a czytelnik odpowiada   Coyne   2023-08-24
Więcej wyrafinowanej teologii: uczony religijny zastanawia się, czy neandertalczycy mieli nieśmiertelne dusze   Coyne   2023-08-16
Aktywiści anty-GMO w Afryce szerzą mity i strach, ale nie przedstawiają żadnych naukowych dowodów   Abutu   2023-08-14
Mało znana strona ryjkowców   Tonhasca Júnior   2023-08-11
Dlaczego nie można być osobą transrasową?   Coyne   2023-08-10
Walka z malarią za pomocą inżynierii genetycznej   Novella   2023-08-08
Jak restrykcje Unii Europejskiej podsycały głosy przeciwko GMO, jak również głód na globalnym Południu, a zwłaszcza w Afryce   Oria   2023-08-02
Nieznośni mali pomocnicy   Tonhasca Junior   2023-07-29
Macedońskie skarby   Tonhasca Júnior   2023-07-26
GMO i motyle   Novella   2023-07-25
Narzucanie ideologii naturze: Kew Garden celebruje „rośliny queer”   Coyne   2023-07-24
Smak miesiąca   Tonhasca Júnior   2023-07-20
Kłopoty na wylocie   Szczęsny   2023-07-18
Ideologiczne podważanie biologii   i Luana S. Maroja   2023-07-17
Role mężczyzn i kobiet w polowaniu, raz jeszcze   Coyne   2023-07-15
David Hillis o specjacji   Coyne   2023-07-13
Niechętni dawcy i pracowici biorcy   Tonhasca Júnior   2023-07-08
Grube problemy z jelitem   Szczęsny   2023-07-07
Badaczka z Leakey Foundation twierdzi, że kości orangutanów mówią nam, że biologiczna płeć jest spektrum, a nie binarna   Coyne   2023-06-30
Przez dziurkę od klucza   Szczęsny   2023-06-24
Nowa (nie podparta żadnymi dowodami) hipoteza, która eliminuje role płciowe w społecznościach łowców-zbieraczy   Coyne   2023-06-22
Błędne wyobrażenia o ewolucji   Coyne   2023-06-16
Influencerzy z podziemia   Tonhasca Júnior   2023-06-13
Jak wyewoluowało ubarwienie ostrzegawcze?   Coyne   2023-06-12
„San Francisco Chronicle” bardzo myli się w sprawie biologicznej płci   Coyne   2023-06-09
Kolczasty problem   Tonhasca Júnior   2023-06-06
Wpaść w amok. Empiryczna analiza szaleńczych zabójstw pokazuje, że wyłaniają się dwa różne wzorce.   King   2023-06-03
Błędna krytyka genetycznych testów na pochodzenie   Coyne   2023-06-02
Zdatny do lotu   Tonhasca Júnior   2023-06-01
‘Raniąca’ idea merytorycznych podstaw nauki    i Jerry Coyne   2023-05-29
Główny problem w filogenezie zwierząt wydaje się być rozwiązany   Coyne   2023-05-26
Americana   Tonhasca Júnior   2023-05-24
Czy uprawa jabłek odzwierciedla bigoterię?   Coyne   2023-05-18
Kenia: Musimy zająć się brakiem bezpieczeństwa żywnościowego, ale najpierw musimy położyć kres dezinformacji na temat upraw modyfikowanych genetycznie   Oria   2023-05-16
Czytanie myśli z fMRI i AI   Novella   2023-05-05
Jest lepiej niż myślisz   Lomborg   2023-05-03
Dwudziestu dziewięciunaukowców publikuje artykuł w obronie merytorycznych podstaw w nauce     2023-05-01
Niewygodna historia   Ferguson   2023-04-28
Biologia rezygnacji z działania: kiedy kontynuować, a kiedy spasować   Coyne   2023-04-26
Porywacze ciał   Tonhasca Júnior   2023-04-25
Porażka jest kluczowym składnikiem innowacji   Ridley   2023-04-22
Używanie roślin jako biofrabryk   Novella   2023-04-14
Dawno zmarli przemawiają do nas   Tonhasca Júnior   2023-04-12
Wątpliwi pomocnicy    Tonhasca Júnior   2023-04-08
Uganda: aktywiści przeciwni biotechnologii szerzą dezinformację   Wetaya   2023-04-05
Anglia pozwala na uprawy poddane edycji genów   Novella   2023-04-03
Recenzja z książki  Can “The Whole World” Be Wrong?   Rose   2023-04-01
Psychologia ewolucyjna dla początkujących   Coyne   2023-03-27
“Konwergentna” ewolucja mrówek grzybiarek Starego i Nowego świata   Coyne   2023-03-23
Gigantyczna armia małych zabójców   Tonhasca Júnior   2023-03-22
Colin Wright broni binarności płci u zwierząt   Coyne   2023-03-15
AI: gorąca randka z “Sydneyem ”   Gotefridi   2023-03-15
Zmienić język w ekologii i biologii ewolucyjnej! Przykład anemii sierpowatej   Coyne   2023-03-13
Wzrost liczby nieobecnych ojców i towarzyszące temu społeczne problemy   Geary   2023-03-11
No pasarán    Tonhasca Júnior   2023-03-04
Dezinformacja o GMO: Kenijczykom będzie trudno podejmować racjonalne decyzje i to może kosztować życie   Mykonyo   2023-02-24
Twardy kwiat do zgryzienia    Tonhasca Júnior   2023-02-22
ChatGPT niemal zdaje lekarski egzamin końcowy   Novella   2023-02-21
“Rogi” trylobitów mogły być używane jako broń w walkach między samcami   Coyne   2023-02-15
Postmodernizm obnażony   Dawkins   2023-02-14
Powody naszych wierzeń. Jak i dlaczego irracjonalność trzyma nas w swoich szponach i jak możemy z tym walczyć?   Pinker   2023-02-13
Kiedy zapada noc i ziemia jest ciemna   Tonhasca Júnior   2023-02-10
W nowej książce jest słuszna krytyka idei, że są lepsze i gorsze gatunki, ale jest także błędne twierdzenie, że gatunki nie są realne   Coyne   2023-02-06
Kolczatki wydmuchują bąbelki śluzu z nosa, żeby się ochłodzić   Coyne   2023-02-02
Mali i zręczni influencerzy   Tonhasca Júnior   2023-01-31
Dowody na ewolucję: Bezwłose zwierzęta mają martwe geny na sierść   Coyne   2023-01-23
Krew, znój, łzy i pot   Tonhasca Júnior   2023-01-19
Bąkojady czyszczą nosorożce   Coyne   2023-01-18
Mózg używa geometrii hiperbolicznej   Novella   2023-01-16
O wspaniały nowy świecie   Tonhasca Júnior   2023-01-12
Ciepło zabija. Zimno zabija wielu więcej   Jacoby   2023-01-09
Po co badać przestrzeń kosmiczną?   Jacoby   2023-01-04
Rdzenni Amerykanie żądają doczesnych resztek pumy z Griffith Park   Coyne   2023-01-03
Świetny artykuł o epigenetyce   Coyne   2022-12-30

« Poprzednia strona  Następna strona »
Polecane
artykuły

Lekarze bez Granic


Wojna w Ukrainie


Krytycy Izraela


Walka z malarią


Przedwyborcza kampania


Nowy ateizm


Rzeczywiste łamanie


Jest lepiej


Aburd


Rasy - konstrukt


Zielone energie


Zmiana klimatu


Pogrzebać złudzenia Oslo


Kilka poważnych...


Przeciwko autentyczności


Nowy ateizm


Lomborg


„Choroba” przywrócona przez Putina


„Przebudzeni”


Pod sztandarem


Wielki przekret


Łamanie praw człowieka


Jason Hill


Dlaczego BIden


Korzenie kryzysu energetycznego



Obietnica



Pytanie bez odpowiedzi



Bohaterzy chińskiego narodu



Naukowcy Unii Europejskiej



Teoria Rasy



Przekupieni



Heretycki impuls



Nie klanial



Cervantes



Wojaki Chrystusa


Listy z naszego sadu
Redaktor naczelny:   Hili
Webmaster:   Andrzej Koraszewski
Współpracownicy:   Jacek, , Małgorzata, Andrzej, Henryk