Torna al blog

Embeddings per a codificació clínica: generals o específics?

Un metge experimentat

Un estudi de Tietai que mostra que un bi-encoder biomèdic en castellà amb reranking per cross-encoder supera els embeddings públics i BM25 en la cerca de codis CIM-10 / CIE-10-ES.

Nota de recerca. Aquest estudi avalua models de recuperació en benchmarks públics. No descriu cap producte disponible ni el seu rendiment clínic.

Menció clínica

Una consulta breu en EN, ES, CA, IT, PT o FR

Fase 1 · Bi-encoder (multilingüe)

Codifica la consulta i cada descripció CIE-10 per separat i les ordena per similitud del cosinus. Entrenat amb 19.502 exemples sintètics depurats de 17 capítols de la CIM-10.

Els k millors candidats

Fase 2 · Reranker cross-encoder (castellà)

Llegeix cada parell consulta–codi conjuntament i reordena la llista curta. Entrenat amb 10.628 grups listwise amb negatius difícils clínicament plausibles.

Codis CIE-10-ES ordenats

Lateralitat, gravetat, etiologia i tipus d’episodi resolts en l’ordre final

Recuperació CIM en dues fases. Un bi-encoder multilingüe recupera codis CIE-10 candidats i, després, un cross-encoder ajustat al castellà reordena la llista curta per recuperar distincions clínicament rellevants com la lateralitat, la gravetat, l’etiologia i el tipus d’episodi.

01 - La pregunta

Poden els recuperadors compactes i específics de la tasca superar els embeddings públics generalistes?

Els embeddings de frases funcionen bé per a la cerca semàntica àmplia, però la codificació CIM no és cerca semàntica àmplia. El model ha d’assignar mencions clíniques breus a un vocabulari controlat on els codis veïns sovint es diferencien per un qualificador: localització anatòmica, lateralitat, gravetat, tipus de contacte o etiologia.

L’article es pregunta si una supervisió sintètica d’alta qualitat pot tancar aquesta bretxa en la codificació clínica en castellà. Fem servir un LLM de frontera per generar exemples multilingües basats en la jerarquia de la CIM-10, ajustem un bi-encoder biomèdic en castellà i, després, entrenem un reranker cross-encoder sobre grups listwise amb negatius difícils clínicament plausibles.

La troballa principal: per a la recuperació CIM-10/CIE-10-ES en castellà, una supervisió alineada amb la tasca i uns negatius clínicament significatius importen més que la mida de l’embedding o el preentrenament biomèdic genèric en anglès.

02 - Mètode

Un bi-encoder per a l’exhaustivitat, un cross-encoder per a la precisió del codi exacte.

El recuperador fa servir una arquitectura estàndard en dues fases, però alineada amb cura. La fase 1 codifica cada consulta i cada descripció CIE-10 per separat i ordena per similitud del cosinus. La fase 2 llegeix conjuntament cada parell consulta-codi i reordena els millors candidats amb un objectiu listwise.

Les dades d’entrenament no es van tractar com a sortida sintètica en brut. Vam depurar els exemples generats amb validació basada en regles, deduplicació semàntica, comprovacions de coherència lingüística i inspecció manual per mostreig abans de fer-los servir per construir el bi-encoder i els classificadors de reordenació. Aquesta depuració és central a l’article: l’objectiu no és simplement generar més dades, sinó crear exemples i negatius difícils que reflecteixin les distincions clíniques codificades a la CIM-10.

Exemples sintètics per al bi-encoder en 17 capítols de la CIM-10.
19.502
Idiomes utilitzats per a la supervisió sintètica: EN, ES, CA, IT, PT i FR.
6
Grups listwise del cross-encoder en castellà, amb un positiu i negatius difícils.
10.628
Resolucions d’avaluació: codi complet, categoria de 3 caràcters i capítol.
3

Estratègies de recuperació comparades

EstratègiaPaper en l’estudi
Tietai Cross-EncoderReordena la llista curta del bi-encoder i optimitza l’ordre del codi exacte.
Tietai Bi-EncoderBase de recuperació densa biomèdica en castellà ajustada amb supervisió sintètica.
BM25 (Postgres FTS)Referència lèxica de text complet sobre les descripcions de la CIE-10-ES.
ST MiniLM-L6-v2Referència pública de sentence-transformer de propòsit general.
ST BioBERTReferència de sentence-transformer biomèdic en anglès.
ST MPNet-v2Referència de sentence-transformer general més gran, de 768 dimensions.

03 - Resultats

F1 i MAP@10 posen el focus en la qualitat del rànquing.

A CodiESP v4, el cross-encoder de Tietai arriba a F1 = 0,709 i MAP@10 = 0,747 amb resolució de codi exacte. A DISTEMIST, arriba a F1 = 0,776 i MAP@10 = 0,812. La versió actualitzada de l’article tracta MAP@10 com a mètrica de rànquing i F1 com a mètrica de decisió top-1.

F1 de codi exacte a CodiESP del Tietai Cross-Encoder.
0,709
MAP@10 de codi exacte a CodiESP del Tietai Cross-Encoder.
0,747
F1 de codi exacte a DISTEMIST del Tietai Cross-Encoder.
0,776
MAP@10 de codi exacte a DISTEMIST del Tietai Cross-Encoder.
0,812

F1 i MAP@10 a CodiESP v4

ModelF1 exacteF1 categoriaMAP@10 exacteMAP@10 categoria
Tietai Cross-Encoder0,7090,8230,7470,851
Tietai Bi-Encoder0,3590,6170,4610,694
BM25 (Postgres FTS)0,2390,3760,3220,471
ST MiniLM-L6-v20,2250,3710,2870,426
ST BioBERT0,1930,3140,2520,373
ST MPNet-v20,1610,3170,2260,376
F1 i MAP@10 a CodiESP a nivell de codi exacte i de categoria.Tietai Cross-EncoderTietai Bi-EncoderBM25 (Postgres FTS)ST MiniLM-L6-v2ST BioBERTST MPNet-v20%20%40%60%80%100%F1 exacteF1 categoriaMAP@10 exacteMAP@10 categoria
F1 i MAP@10 a CodiESP. El cross-encoder de Tietai lidera totes les mètriques. MAP@10 és més alt que F1, cosa que mostra que molts errors en top-1 encara tenen el codi correcte a la llista curta dels 10 primers.

Precisió, recall i F1 top-1 de codi exacte a CodiESP

ModelPrecisióRecallF1
Tietai Cross-Encoder0,7090,7090,709
Tietai Bi-Encoder0,3590,3590,359
BM25 (Postgres FTS)0,2540,2270,239
ST MiniLM-L6-v20,2250,2250,225
ST BioBERT0,1930,1930,193
ST MPNet-v20,1610,1610,161
Precisió, recall i F1 top-1 a CodiESP amb resolució de codi exacte.Tietai Cross-EncoderTietai Bi-EncoderBM25 (Postgres FTS)ST MiniLM-L6-v2ST BioBERTST MPNet-v20%20%40%60%80%100%PrecisióRecallF1
Precisió, recall i F1 top-1 de codi exacte a CodiESP. Els recuperadors densos emeten una predicció per consulta, de manera que les tres mètriques coincideixen. BM25 se’n desvia perquè no retorna cap candidat per a prop de l’11 % de les consultes de CodiESP.
Precisió a k per model de recuperació a CodiESP, per a coincidències de codi exacte i de categoria.Tietai Cross-EncoderTietai Bi-EncoderBM25 (Postgres FTS)ST MiniLM-L6-v2ST BioBERTST MPNet-v2Codi exacte0%20%40%60%80%100%13510kCategoria (3 caràcters)13510k
Precision@k a CodiESP. La precisió disminueix amb k perquè cada consulta sol tenir un únic codi correcte, però l’ordre dels models és estable tant en codi exacte com en categoria.
Recall a k per model de recuperació a CodiESP, per a coincidències de codi exacte i de categoria.Tietai Cross-EncoderTietai Bi-EncoderBM25 (Postgres FTS)ST MiniLM-L6-v2ST BioBERTST MPNet-v2Codi exacte0%20%40%60%80%100%13510kCategoria (3 caràcters)13510k
Recall@k a CodiESP. El cross-encoder arriba a R@10 = 0,813 en codi exacte i 0,903 en categoria, mentre que el bi-encoder retalla bona part de la diferència en posicions més profundes.

Exactitud top-1 per jerarquia a CodiESP

Exactitud top-1 a CodiESP a nivell de codi exacte, categoria i capítol.Tietai Cross-EncoderTietai Bi-EncoderBM25 (Postgres FTS)ST MiniLM-L6-v2ST BioBERTST MPNet-v20%20%40%60%80%100%Codi exacteCategoria (3 caràcters)Capítol
Exactitud jeràrquica a CodiESP. La mateixa decisió top-1 millora del codi exacte a la categoria i al capítol, cosa que reflecteix amb quina freqüència els models troben la família de malalties correcta encara que el codi complet sigui erroni.

F1 i MAP@10 a DISTEMIST

ModelF1 exacteF1 categoriaMAP@10 exacteMAP@10 categoria
Tietai Cross-Encoder0,7760,8180,8120,846
Tietai Bi-Encoder0,6030,6900,6820,747
BM25 (Postgres FTS)0,4310,4700,5040,537
F1 i MAP@10 a DISTEMIST a nivell de codi exacte i de categoria.Tietai Cross-EncoderTietai Bi-EncoderBM25 (Postgres FTS)0%20%40%60%80%100%F1 exacteF1 categoriaMAP@10 exacteMAP@10 categoria
F1 i MAP@10 a DISTEMIST. L’ordre relatiu entre cross-encoder, bi-encoder i BM25 no canvia en un corpus clínic en castellà independent.
Precisió a k per model de recuperació a DISTEMIST, per a coincidències de codi exacte i de categoria.Tietai Cross-EncoderTietai Bi-EncoderBM25 (Postgres FTS)Codi exacte0%20%40%60%80%100%13510kCategoria (3 caràcters)13510k
Precision@k a DISTEMIST. La precisió cau a mesura que creix k, però els models densos específics de la tasca continuen per davant de la referència lèxica BM25 tant en codi exacte com en categoria.
Exactitud top-1 a DISTEMIST a nivell de codi exacte, categoria i capítol.Tietai Cross-EncoderTietai Bi-EncoderBM25 (Postgres FTS)0%20%40%60%80%100%Codi exacteCategoria (3 caràcters)Capítol
Exactitud jeràrquica a DISTEMIST. L’exactitud puja del codi exacte a la categoria i al capítol, mentre que l’ordre dels models es manté: cross-encoder, bi-encoder i després BM25.

04 - Interpretació

El coll d’ampolla és l’alineació amb la tasca, no l’escala de l’embedding.

L’ordre de les referències públiques és el resultat negatiu important. BioBERT-ST té preentrenament biomèdic, però està centrat en l’anglès. MPNet-v2 té embeddings més grans, però continua per darrere de MiniLM-L6-v2. Ni l’escala ni el preentrenament genèric de domini no resolen per si sols la recuperació de codis clínics en castellà.

La recuperació CIM exigeix que els models separin conceptes germans semànticament propers però operativament diferents. El bi-encoder capta bé la informació temàtica a nivell de capítol, però el rànquing de codi exacte necessita un reranker entrenat amb negatius difícils extrets de codis CIE-10 veïns.

  • L’alineació amb la tasca importa. Els exemples sintètics han de reflectir la jerarquia de la CIM, no només una relació biomèdica àmplia.
  • Els negatius difícils importen. Els codis veïns ensenyen al model a distingir etiologia, anatomia, gravetat i tipus d’episodi.
  • La reordenació importa. El cross-encoder afegeix la discriminació a nivell de qualificador que exigeixen les normes de la CIE-10-ES.
  • Poques dades poden ser suficients. Un corpus sintètic compacte pot entrenar un recuperador competitiu quan els exemples estan alineats amb l’estructura del vocabulari objectiu.
  • El preentrenament biomèdic no es transfereix automàticament. Els codificadors biomèdics en anglès continuen tenint dificultats quan tant la consulta com el vocabulari objectiu són en castellà.

Per a la cerca de codificació clínica en producció, la lliçó pràctica és entrenar per al vocabulari objectiu, l’idioma objectiu i el problema de rànquing objectiu. La unitat útil no és un model d’embeddings més gran; és un recuperador entrenat en les distincions que els codificadors realment han de fer.

Llegeix l’article complet