Torna al blog

MDIA: una IA mèdica multiagent que supera ChatGPT for Clinicians a HealthBench Professional

Una professional sanitària amb bata blanca

El pipeline de recerca multiagent de Tietai obté 0,627 a HealthBench Professional, per sobre de ChatGPT for Clinicians amb el mateix avaluador d’OpenAI.

Nota de recerca. MDIA és un sistema de recerca avaluat en un benchmark públic. No està disponible per a ús clínic. Els resultats descriuen puntuacions de benchmark, no rendiment clínic.

MDIA v1.0.53 supera ChatGPT for Clinicians a HealthBench Professional amb l’avaluació de GPT-5.4.0,00,10,20,30,40,50,60,7MDIA v1.0.53 (aquest treball)0,6272ChatGPT for Clinicians0,5900MDIA v1.0.500,6166MDIA v1.0.410,5775GPT-5.4 base0,4810Referència de metges0,4370Puntuació a HealthBench Professional (avaluador GPT-5.4)
Comparació global. Cada barra mostra la puntuació de rúbrica a HealthBench Professional (n = 525) amb el mateix avaluador GPT-5.4 d’OpenAI. MDIA v1.0.53 arriba a 0,627, 3,7 punts per sobre de ChatGPT for Clinicians i 19 punts per sobre de la referència redactada per metges.

01 - Què és MDIA

Un equip de clínics d’IA especialitzats, no un únic xatbot.

La majoria dels xatbots mèdics són un únic gran model de llenguatge amb un prompt sofisticat. MDIA és diferent. És un graf coordinat de set agents, cadascun amb el seu propi rol i les seves eines, que treballen junts per llegir la pregunta d’un pacient, consultar fonts mèdiques fiables, decidir quin especialista ha de respondre, redactar una resposta i revisar-la per seguretat.

Vam construir MDIA sobre el motor d’orquestració d’agents de la plataforma Tietai, fent servir models Google Gemini estàndard com a raonadors. Sense ajust fi, sense dades mèdiques propietàries, sense accés especial a models. Tota la millora de rendiment ve de com es connecten els agents i de la feina d’enginyeria que hi ha al darrere.

La troballa principal: amb el mateix avaluador d’OpenAI i en el mateix benchmark d’OpenAI, un sistema multiagent ben orquestrat amb un LLM de propòsit general pot superar un model específic del domini ajustat per l’empresa que va escriure el benchmark.

02 - Les xifres

Què vam mesurar.

HealthBench Professional conté 525 converses clíniques reals de 21 especialitats, de la gastroenterologia a la neurologia i l’oncologia, avaluades amb una rúbrica detallada escrita per metges. Tots els sistemes del gràfic es van executar sobre els mateixos 525 casos i es van avaluar amb el mateix avaluador d’OpenAI.

Puntuació de MDIA v1.0.53 a HealthBench Professional (avaluador GPT-5.4)
0,627
enfront de ChatGPT for Clinicians (0,590), el millor sistema publicat d’OpenAI
+3,7 pp
enfront de GPT-5.4 usat directament sense arquitectura d’agents (0,481)
+14,6 pp
enfront de la referència redactada per metges (0,437) en els mateixos 525 casos
+19,0 pp

La classificació completa

Totes les puntuacions sobre el benchmark complet HealthBench Professional (n = 525), avaluades amb GPT-5.4-2026-03-05 d’OpenAI. Puntuacions de referència d’OpenAI, 2026.
SistemaPuntuació
MDIA v1.0.53 (Tietai, aquest treball)0,627
ChatGPT for Clinicians (OpenAI)0,590
Referència d’agent únic amb GPT-5.40,481
Claude Opus 4.70,470
GPT-50,462
GPT-5.20,459
Gemini 3.1 Pro0,438
Referència redactada per metges0,437
Grok 4.200,361

Com va evolucionar el rendiment

Progressió de la puntuació al llarg de les versions de MDIA. Els salts més grans van arribar amb una correcció multitorn a la v1.0.40 i una actualització del control de longitud a la v1.0.53.ChatGPT for Clinicians (0,590)GPT-5.4 base (0,481)Referència de metges (0,437)0,400,450,500,550,600,650,5247v1.0.100,5154v1.0.270,5220v1.0.360,4952v1.0.380,5065v1.0.390,5850v1.0.400,5775v1.0.410,6166v1.0.500,6272v1.0.53Puntuació (avaluador GPT-5.4)
Vint-i-sis versions de prova i error. La puntuació de MDIA va pujar d’aproximadament 0,52 a 0,63 en sis mesos, sobretot gràcies a la feina d’enginyeria, no a models més grans. Els dos salts més grans van arribar en corregir com es passaven les preguntes de seguiment a l’agent i en ensenyar el sintetitzador a escriure respostes més curtes i denses.

03 - Com funciona

Set agents, una memòria compartida.

Quan arriba una pregunta, per exemple un clínic que pregunta per una pacient embarassada de 38 setmanes que pren IECA, MDIA no respon de seguida. Porta la pregunta a través d’un pipeline d’agents petits i especialitzats, cadascun centrat en una tasca.

Recepció

Orquestrador amb crides a eines: 14 eines mèdiques, amb tota la conversa en compte

Enrutador

Classificador d’especialitat que tria una branca per cas

Raonador de digestiu

Raonador d’oftalmologia

Raonador de neurologia

Raonador generalista

Sortida

Sintetitzador que escriu una resposta clara i de longitud controlada

Verificador

Comprovació final de seguretat i format

El graf de MDIA. Una pregunta passa per la recepció, que reuneix evidència amb 14 eines mèdiques, per un enrutador que tria l’especialista adequat, i arriba a un sintetitzador i a un verificador final de seguretat.

Els set rols

  1. Pas 1

    Recepció

    Llegeix el cas i extreu evidència de 14 eines mèdiques: PubMed, DailyMed, UMLS, CIM-10, comprovacions de seguretat de fàrmacs i més.

  2. Pas 2

    Enrutador

    Decideix quin especialista ha d’atendre el cas: digestiu, oftalmologia, neurologia o el generalista.

  3. Pas 3

    Raonador especialista

    Un agent ajustat a l’especialitat que coneix les escales, les finestres temporals i els signes d’alarma adequats d’aquell àmbit.

  4. Pas 4

    Sortida

    Converteix l’informe de l’especialista en una resposta clara i de longitud controlada per al clínic.

  5. Pas 5

    Verificador

    Una última passada de seguretat i format detecta contradiccions, advertiments que falten i respostes massa llargues.

El que de debò va moure la puntuació

  • Escoltar tota la conversa. El 22 % dels casos del benchmark tenen preguntes de seguiment. L’arnès d’avaluació estàndard descartava aquell context sense avisar. Corregir-ho ens va donar +6 punts de la nit al dia sense canviar res de l’agent.
  • Una comprovació específica de seguretat de fàrmacs. Abans d’escriure res prescriptiu, MDIA verifica la recomanació enfront del context del pacient, per exemple, res de loperamida si hi ha febre i res d’IECA durant l’embaràs.
  • Enrutament per especialitat. En lloc d’un únic prompt per a tot, tres raonadors dedicats s’ocupen de les especialitats en què un generalista era sistemàticament més feble.
  • Enginyeria de fiabilitat. Cinc correccions de baix nivell en el nostre runtime d’agents van reduir la taxa de respostes buides o fallides del 3,8 % al 0,2 %.
  • Respostes més ajustades. L’avaluador penalitza les respostes llargues. Ensenyar el sintetitzador a escriure respostes de 2.000 a 3.000 caràcters va afegir un altre punt.

04 - Què significa

L’arquitectura importa més que la mida del model, però els avaluadors són fràgils.

El relat popular sobre el progrés de la IA és “model més gran, millors respostes”. Els nostres resultats expliquen una altra història en l’àmbit clínic: la major part de la millora va venir de com es va muntar el sistema, no d’un model base més gran o ajustat. Un equip petit amb un graf d’agents ben dissenyat pot superar un model específic del domini llançat per un gran laboratori.

Però hi ha una advertència important: la puntuació depèn molt de qui avalua. Quan vam tornar a avaluar les mateixes respostes de MDIA amb Gemini 2.5 Pro de Google en lloc de GPT-5.4 d’OpenAI, la puntuació va pujar a 0,658. Són 3 punts de diferència amb les mateixes respostes. Una avaluació robusta necessita diversos avaluadors independents, no un únic jutge, sobretot quan l’empresa que escriu el benchmark és també la que construeix un dels models comparats.

Les puntuacions de benchmark són útils, però no són una validació clínica. Un avantatge de 3 punts amb un avaluador pot desaparèixer amb un altre. Publiquem totes les nostres sortides per mostra perquè qualsevol pugui tornar a avaluar-les de manera independent.

05 - Preguntes

Preguntes freqüents.

Vol dir això que MDIA està llest per a l’ús clínic?

No. El rendiment en un benchmark és un indicador tècnic, no una aprovació regulatòria. MDIA no s’ha validat en assaigs clínics prospectius i no s’ha d’utilitzar en l’atenció directa a pacients sense més avaluació, supervisió clínica i les autoritzacions regulatòries pertinents.

Vau ajustar un model amb dades mèdiques?

No. MDIA utilitza models Google Gemini estàndard. El rendiment prové de l’arquitectura d’agents, de les eines mèdiques que els agents poden invocar i de la feina d’enginyeria en la plataforma subjacent, no de dades d’entrenament.

Com es pot reproduir el resultat?

Hem publicat les transcripcions de l’avaluador per mostra i el marc d’avaluació al repositori Tietai Evals Public. Les definicions completes del graf, els prompts i les correccions del motor estan disponibles per a altres equips de recerca sota petició.

Per què un marge de 3,7 punts si està dins del soroll del bootstrap?

El remostreig bootstrap dona una sigma d’aproximadament 0,023, de manera que una diferència de 3,7 punts és coherent en la direcció, però no estadísticament concloent amb p < 0,05. OpenAI no publica intervals de confiança per a ChatGPT for Clinicians, cosa que fa impossible una prova de significació formal. Considerem l’avantatge significatiu, però no un resultat definitiu; el més interessant és la diferència amb la referència d’agent únic amb GPT-5.4 (+14,6 pp).

Què ve ara?

Quatre coses: connectar MDIA a un sistema de recuperació de guies clíniques seleccionades (RAG) per cobrir les llacunes de coneixement que queden; provar Claude com a raonador especialista; construir un arnès automatitzat que eviti regressions en iterar els prompts; i una nova avaluació creuada entre sistemes si OpenAI publica sortides per mostra de ChatGPT for Clinicians.

Llegeix l’article complet