Nota de recerca. MDIA és un sistema de recerca avaluat en un benchmark públic. No està disponible per a ús clínic. Els resultats descriuen puntuacions de benchmark, no rendiment clínic.
01 - Què és MDIA
Un equip de clínics d’IA especialitzats, no un únic xatbot.
La majoria dels xatbots mèdics són un únic gran model de llenguatge amb un prompt sofisticat. MDIA és diferent. És un graf coordinat de set agents, cadascun amb el seu propi rol i les seves eines, que treballen junts per llegir la pregunta d’un pacient, consultar fonts mèdiques fiables, decidir quin especialista ha de respondre, redactar una resposta i revisar-la per seguretat.
Vam construir MDIA sobre el motor d’orquestració d’agents de la plataforma Tietai, fent servir models Google Gemini estàndard com a raonadors. Sense ajust fi, sense dades mèdiques propietàries, sense accés especial a models. Tota la millora de rendiment ve de com es connecten els agents i de la feina d’enginyeria que hi ha al darrere.
La troballa principal: amb el mateix avaluador d’OpenAI i en el mateix benchmark d’OpenAI, un sistema multiagent ben orquestrat amb un LLM de propòsit general pot superar un model específic del domini ajustat per l’empresa que va escriure el benchmark.
02 - Les xifres
Què vam mesurar.
HealthBench Professional conté 525 converses clíniques reals de 21 especialitats, de la gastroenterologia a la neurologia i l’oncologia, avaluades amb una rúbrica detallada escrita per metges. Tots els sistemes del gràfic es van executar sobre els mateixos 525 casos i es van avaluar amb el mateix avaluador d’OpenAI.
- Puntuació de MDIA v1.0.53 a HealthBench Professional (avaluador GPT-5.4)
- 0,627
- enfront de ChatGPT for Clinicians (0,590), el millor sistema publicat d’OpenAI
- +3,7 pp
- enfront de GPT-5.4 usat directament sense arquitectura d’agents (0,481)
- +14,6 pp
- enfront de la referència redactada per metges (0,437) en els mateixos 525 casos
- +19,0 pp
La classificació completa
| Sistema | Puntuació |
|---|---|
| MDIA v1.0.53 (Tietai, aquest treball) | 0,627 |
| ChatGPT for Clinicians (OpenAI) | 0,590 |
| Referència d’agent únic amb GPT-5.4 | 0,481 |
| Claude Opus 4.7 | 0,470 |
| GPT-5 | 0,462 |
| GPT-5.2 | 0,459 |
| Gemini 3.1 Pro | 0,438 |
| Referència redactada per metges | 0,437 |
| Grok 4.20 | 0,361 |
Com va evolucionar el rendiment
03 - Com funciona
Set agents, una memòria compartida.
Quan arriba una pregunta, per exemple un clínic que pregunta per una pacient embarassada de 38 setmanes que pren IECA, MDIA no respon de seguida. Porta la pregunta a través d’un pipeline d’agents petits i especialitzats, cadascun centrat en una tasca.
Recepció
Orquestrador amb crides a eines: 14 eines mèdiques, amb tota la conversa en compte
Enrutador
Classificador d’especialitat que tria una branca per cas
Raonador de digestiu
Raonador d’oftalmologia
Raonador de neurologia
Raonador generalista
Sortida
Sintetitzador que escriu una resposta clara i de longitud controlada
Verificador
Comprovació final de seguretat i format
Els set rols
Pas 1
Recepció
Llegeix el cas i extreu evidència de 14 eines mèdiques: PubMed, DailyMed, UMLS, CIM-10, comprovacions de seguretat de fàrmacs i més.
Pas 2
Enrutador
Decideix quin especialista ha d’atendre el cas: digestiu, oftalmologia, neurologia o el generalista.
Pas 3
Raonador especialista
Un agent ajustat a l’especialitat que coneix les escales, les finestres temporals i els signes d’alarma adequats d’aquell àmbit.
Pas 4
Sortida
Converteix l’informe de l’especialista en una resposta clara i de longitud controlada per al clínic.
Pas 5
Verificador
Una última passada de seguretat i format detecta contradiccions, advertiments que falten i respostes massa llargues.
El que de debò va moure la puntuació
- Escoltar tota la conversa. El 22 % dels casos del benchmark tenen preguntes de seguiment. L’arnès d’avaluació estàndard descartava aquell context sense avisar. Corregir-ho ens va donar +6 punts de la nit al dia sense canviar res de l’agent.
- Una comprovació específica de seguretat de fàrmacs. Abans d’escriure res prescriptiu, MDIA verifica la recomanació enfront del context del pacient, per exemple, res de loperamida si hi ha febre i res d’IECA durant l’embaràs.
- Enrutament per especialitat. En lloc d’un únic prompt per a tot, tres raonadors dedicats s’ocupen de les especialitats en què un generalista era sistemàticament més feble.
- Enginyeria de fiabilitat. Cinc correccions de baix nivell en el nostre runtime d’agents van reduir la taxa de respostes buides o fallides del 3,8 % al 0,2 %.
- Respostes més ajustades. L’avaluador penalitza les respostes llargues. Ensenyar el sintetitzador a escriure respostes de 2.000 a 3.000 caràcters va afegir un altre punt.
04 - Què significa
L’arquitectura importa més que la mida del model, però els avaluadors són fràgils.
El relat popular sobre el progrés de la IA és “model més gran, millors respostes”. Els nostres resultats expliquen una altra història en l’àmbit clínic: la major part de la millora va venir de com es va muntar el sistema, no d’un model base més gran o ajustat. Un equip petit amb un graf d’agents ben dissenyat pot superar un model específic del domini llançat per un gran laboratori.
Però hi ha una advertència important: la puntuació depèn molt de qui avalua. Quan vam tornar a avaluar les mateixes respostes de MDIA amb Gemini 2.5 Pro de Google en lloc de GPT-5.4 d’OpenAI, la puntuació va pujar a 0,658. Són 3 punts de diferència amb les mateixes respostes. Una avaluació robusta necessita diversos avaluadors independents, no un únic jutge, sobretot quan l’empresa que escriu el benchmark és també la que construeix un dels models comparats.
Les puntuacions de benchmark són útils, però no són una validació clínica. Un avantatge de 3 punts amb un avaluador pot desaparèixer amb un altre. Publiquem totes les nostres sortides per mostra perquè qualsevol pugui tornar a avaluar-les de manera independent.
05 - Preguntes
Preguntes freqüents.
Vol dir això que MDIA està llest per a l’ús clínic?
No. El rendiment en un benchmark és un indicador tècnic, no una aprovació regulatòria. MDIA no s’ha validat en assaigs clínics prospectius i no s’ha d’utilitzar en l’atenció directa a pacients sense més avaluació, supervisió clínica i les autoritzacions regulatòries pertinents.
Vau ajustar un model amb dades mèdiques?
No. MDIA utilitza models Google Gemini estàndard. El rendiment prové de l’arquitectura d’agents, de les eines mèdiques que els agents poden invocar i de la feina d’enginyeria en la plataforma subjacent, no de dades d’entrenament.
Com es pot reproduir el resultat?
Hem publicat les transcripcions de l’avaluador per mostra i el marc d’avaluació al repositori Tietai Evals Public. Les definicions completes del graf, els prompts i les correccions del motor estan disponibles per a altres equips de recerca sota petició.
Per què un marge de 3,7 punts si està dins del soroll del bootstrap?
El remostreig bootstrap dona una sigma d’aproximadament 0,023, de manera que una diferència de 3,7 punts és coherent en la direcció, però no estadísticament concloent amb p < 0,05. OpenAI no publica intervals de confiança per a ChatGPT for Clinicians, cosa que fa impossible una prova de significació formal. Considerem l’avantatge significatiu, però no un resultat definitiu; el més interessant és la diferència amb la referència d’agent únic amb GPT-5.4 (+14,6 pp).
Què ve ara?
Quatre coses: connectar MDIA a un sistema de recuperació de guies clíniques seleccionades (RAG) per cobrir les llacunes de coneixement que queden; provar Claude com a raonador especialista; construir un arnès automatitzat que eviti regressions en iterar els prompts; i una nova avaluació creuada entre sistemes si OpenAI publica sortides per mostra de ChatGPT for Clinicians.




