Studiul, publicat în revista Scientific Reports, a fost realizat de o echipă de cercetători din Marea Britanie care a dorit să evalueze dacă inteligența artificială poate îndeplini standardele medicale cerute unui medic junior. ChatGPT-4 a fost supus unui set de 191 de întrebări inspirate din United Kingdom Medical Licensing Assessment (UKMLA), acoperind 24 de domenii clinice.
Întrebările, formulate atât în format cu variante multiple, cât și în răspunsuri deschise, au avut scopul de a testa atât memoria, cât și capacitatea de raționament a modelului AI. Nouă întrebări care necesitau interpretarea imaginilor au fost eliminate, întrucât ChatGPT, în forma sa standard, nu poate analiza imagini.
ChatGPT-4 a impresionat atunci când a avut la dispoziție opțiuni de răspuns. În prima lucrare, a atins o acuratețe de 86,3%, iar în a doua, 89,6%. Performanța sa la întrebările de diagnostic a fost remarcabilă, cu 91,2% acuratețe în cazul întrebărilor cu variante multiple.
Totuși, atunci când a trebuit să răspundă liber, fără sugestii, performanțele au scăzut: 61,5% și 74,7% în cele două lucrări. Această diferență a sugerat cercetătorilor că prezența opțiunilor multiple poate uneori să inducă în eroare AI-ul, în loc să-l ajute.
Deși ChatGPT-4 s-a dovedit competent în diagnosticarea afecțiunilor, rezultatele au fost mult mai slabe în ceea ce privește managementul clinic – o componentă esențială a practicii medicale. Fără variante de răspuns, acuratețea AI-ului a scăzut drastic la doar 51,2% în scenariile ce presupuneau decizii de tratament sau îngrijire a pacientului.
Cercetătorii subliniază că modelele lingvistice mari (LLM), cum este și ChatGPT, pot procesa corect informațiile din scenarii clinice, dar nu au o înțelegere reală a contextului medical. „LLM-urile sunt capabile să proceseze cu competență scenariile clinice, dar rămân incapabile să înțeleagă aceste scenarii clinice”, au explicat autorii.
În concluziile studiului, specialiștii afirmă că, deși ChatGPT-4 a trecut simularea examenului medical, utilizarea sa directă în practica clinică este limitată. Cel mai potrivit rol pentru AI, în acest moment, este acela de instrument suplimentar – pentru învățare, monitorizare sau sprijin decizional.
„Este mai potrivit ca instrument suplimentar, de monitorizare sau de învățare decât ca diagnostic sau interacțiune cu spitalul”, avertizează cercetătorii.
Studiul adaugă astfel o perspectivă importantă în dezbaterea tot mai aprinsă despre rolul inteligenței artificiale în medicină și limitele actuale ale acesteia în fața complexității reale a cazurilor clinice.
