Detritus Wiki

User Tools

Site Tools

Trace:
medicacion2021

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
medicacion2021 [2021/03/27 12:25]
osotolongo [Limpiando y Haciendo las reglas] 		medicacion2021 [2021/04/03 10:42]
osotolongo [tl;dr]
Line 1: Line 1:
 ====== Informe de medicacion ====== ====== Informe de medicacion ======
  
 +Ver programas en github: https://github.com/asqwerty666/medica
 +
 +===== tl;dr =====
 +
 +El formato de la base de datos de input ha de ser:
 +<code>
 +<ID_Subject>;<ID_visita>;<Texto libre>
 +</code>
 +
 +y se ejecutan dos scripts consecutivos,
 +
 +<code bash>
 +$ ./parse.pl medicamentos.db
 +$ ./apply_rules.pl -r med_rules_ed_0219.txt
 +</code>
 +
 +Y los resultados quedan en el archivo //meds_matrix.csv//. ;-)
 ===== Antes de empezar ===== ===== Antes de empezar =====
  
Line 23: Line 40:
 Asi que hacemos, Asi que hacemos,
 <code bash> <code bash>
-[osotolongo@brick03 medicacion]$ awk -F";" '{print $2";"$4";"$7}' anamnesi.csv | sed 's/,/ /g;s/-//g' > anamnesi.db +[osotolongo@brick03 medicacion]$ awk -F";" '{print $2";"$4";"$7}' anamnesi.csv | sed 's/-//;s/-//' > anamnesi.db 
 </code> </code>
  
Line 29: Line 46:
  
 <code bash> <code bash>
-[osotolongo@brick03 medica]$ head anamnesi.db+[osotolongo@brick03 medica]$ head anamnesi.db 
 Interno;Fecha_A_DN_EXN;Recetas_SIRE Interno;Fecha_A_DN_EXN;Recetas_SIRE
 19960001;19970430; 19960001;19970430;
-19960003;19960129;Boik Seguril Plurimen Aremis 50 100 Masdil Tensoprem +19960003;19960129;Boi-k Seguril Plurimen Aremis 50 1-0-0 Masdil Tensoprem 
-19960004;19960101;Meleril 50 Distraneurine Cisordimol 005 Nerdipina 111 +19960004;19960101;Meleril 50 Distraneurine Cisordimol 0-0-5 Nerdipina 1-1-1 
-19960006;19960117;Escazine 100 Remontal 111 Ciclofalina 330 Meleril 555 Aneurol si precisa Hidroferol 1 al m‚s+19960006;19960117;Escazine 1-0-0 Remontal 1-1-1 Ciclofalina 3-3-0 Meleril 5-5-5 Aneurol si precisa Hidroferol 1 al m‚s
 19960008;19960129; 19960008;19960129;
 19960009;19960116;Eskazine 2mg cada 8 hores Largactil intramuscular en cas d'agitaci¢ 19960009;19960116;Eskazine 2mg cada 8 hores Largactil intramuscular en cas d'agitaci¢
Line 43: Line 60:
  
 ---- ----
-**Ojo aqui:** El comando //awk// selecciona lsolo las columnas que necesitamos. Esto incluye el //ID//, la fecha de cada visita y el texto libre que se scribe en la receta. A las fechas le estoy quitando el caracter //-// y de texto libre estoy quitando las comas por si me introducen ruido. De este ultimo campo hay todavia mucha porqu ria que quitar pero eso lo voy a hace en el parser directamente.+**Ojo aqui:** El comando //awk// selecciona lsolo las columnas que necesitamos. Esto incluye el //ID//, la fecha de cada visita y el texto libre que se escribe en la receta. A las fechas le estoy quitando el caracter //-// y el texto libre lo dejo tal cual. De este ultimo campo hay mucha porqueria que quitar pero eso lo voy a hacer en el parser directamente.
 ---- ----
  
Line 65: Line 82:
  
 <code bash> <code bash>
-[osotolongo@brick03 medicacion]$ awk -F";" '{print $1";"$2";"$5}' seguimientos.csv | sed 's/,/ /g;s/-//g' > seguimientos.db +[osotolongo@brick03 medicacion]$ awk -F";" '{print $1";"$2";"$5}' seguimientos.csv | sed 's/-//g;s/-//g' > seguimientos.db 
 </code> </code>
  
Line 71: Line 88:
  
 <code bash> <code bash>
-[osotolongo@brick03 medica]$ head seguimientos.db+[osotolongo@brick03 medica]$ head seguimientos.db 
 Interno;FechaSeguiment;Receta_SIRE_SN Interno;FechaSeguiment;Receta_SIRE_SN
 19960014;19981217; 19960014;19981217;
-19960044;20050314;igual: tegretol:1/200+19960044;20050314;igual: tegretol:1/2-0-0
 19960068;19990713; 19960068;19990713;
-19960171;20100331;Reminyl 24 mgr LR 100  Axura 20 mgr  Omeprazol 20 mgr 100  Pazital  Nerdipina 101  Prevencor 010   Sumial 10 mgr  Sedotime 001   Plavix 010. +19960171;20100331;Reminyl 24 mgr LR 1-0-0, Axura 20 mgr, Omeprazol 20 mgr 1-0-0, Pazital, Nerdipina 1-0-1, Prevencor 0-1-0,  Sumial 10 mgr, Sedotime 0-0-1 , Plavix 0-1-0. 
-19960171;20110329;Dormicum   Esertia 10 mgr   Pantoprazol  Plavix   Reminyl   Simvastatina   Sumial Seroquel 100 mgr +19960171;20110329;Dormicum , Esertia 10 mgr , Pantoprazol, Plavix , Reminyl , Simvastatina , Sumial Seroquel 100 mgr 
-19960171;20120203;Alprazolam 0.25 mgr  Dormicum 7.5 mgr  Esertia 10 mgr   Pantoprazol   Plavix  Reminyl 24 mgr   Seroquel 200 111  Sinvastatina 20 mgr 100  Ebixa 20 mgr 100 +19960171;20120203;Alprazolam 0.25 mgr, Dormicum 7.5 mgr, Esertia 10 mgr , Pantoprazol , Plavix, Reminyl 24 mgr , Seroquel 200 1-1-1, Sinvastatina 20 mgr 1-0-0, Ebixa 20 mgr 1-0-0 
-19960171;20121108;Alprazolam 0.25 mgr  Dormicum 7.5 mgr Mirtazapina 10 mgr   Pantoprazol   Plavix Seroquel 100 111  Sinvastatina 20 mgr 100  Ebixa 20 mgr 100  Keppra 250 101 +19960171;20121108;Alprazolam 0.25 mgr, Dormicum 7.5 mgr,Mirtazapina 10 mgr , Pantoprazol , Plavix,Seroquel 100 1-1-1, Sinvastatina 20 mgr 1-0-0, Ebixa 20 mgr 1-0-0, Keppra 250 1-0-1 
-19960171;20130627;Alprazolam   Dormicum   Duphalac   Ebixa 20 mgr   Keppra 250 mgr   Misrtazapina 30 mgr   Pantoprazol   Plavix  Seroquel 100 mgr 111  Sinvastatina +19960171;20130627;Alprazolam , Dormicum , Duphalac , Ebixa 20 mgr , Keppra 250 mgr , Misrtazapina 30 mgr , Pantoprazol , Plavix, Seroquel 100 mgr 1-1-1, Sinvastatina 
-19960171;20140701;Adiro 100 mgr   Alprazolam 0.25 mgr   Dormicum 7.5 mgr   Duphalac   Keppra 250 mgr y 500 mgr   Pantoprazol 20 mgr   Seroquel 100 mgr 111  Sinvastatina 10 mgr+19960171;20140701;Adiro 100 mgr , Alprazolam 0.25 mgr , Dormicum 7.5 mgr , Duphalac , Keppra 250 mgr y 500 mgr , Pantoprazol 20 mgr , Seroquel 100 mgr 1-1-1, Sinvastatina 10 mgr
 </code> </code>
  
Line 94: Line 111:
  
 ===== Limpiando y Haciendo las reglas ===== ===== Limpiando y Haciendo las reglas =====
 +
 +==== Limpieza ====
  
 La manera mas sencilla de hacer el parser es en Perl por varias razones, La manera mas sencilla de hacer el parser es en Perl por varias razones,
Line 102: Line 121:
   - Es muy sencillo insertar un envio de email al final del script   - Es muy sencillo insertar un envio de email al final del script
  
-**No medicamenteos:** Como la mayor parte de la limpieza la voy a hacer con expresiones regulares, voy a tomar el archivo //stopwords_orange.txt// que contiene un grupo grande de cadenas de caracteres que **no** son medicamentos y voy a quitar todos lo numeros. tras esto, quito las lineas que queden en blanco o que esten repetidas.+**No medicamentos:** Como la mayor parte de la limpieza la voy a hacer con expresiones regulares, voy a tomar el archivo //stopwords_orange.txt// que contiene un grupo grande de cadenas de caracteres que **no** son medicamentos y voy a quitar todos lo numeros. Tras esto, quito las lineas que queden en blanco o que esten repetidas.
  
 <code bash> <code bash>
Line 108: Line 127:
 </code> </code>
  
-Ahora, este archivo lo necesito de input para el parser. Lo voy a convertir en un //array// y despues solo tengo que quitar estas palabras cada vez que las encuentre. O algo parecido. Asi que dentro del codigo edbo incluir,+Ahora, este archivo lo necesito de input para el parser. Lo voy a convertir en un //array// y despues solo tengo que quitar estas palabras cada vez que las encuentre. O algo parecido. Asi que dentro del codigo debo incluir,
  
 <code perl> <code perl>
Line 126: Line 145:
 </code> </code>
  
-y el ultimo campo lo metemos en un //array//, tomando los espacios como separador de valores,+y al ultimo campo le cambiamos acentos, dieresis, etc por la letra simple y le quitamos los caracteres no alfanumericos y lo metemos en un //array//, tomando los espacios como separador de valores,
  
 <code perl> <code perl>
 +                $free = unidecode($free);
 +                $free =~ s/\W/ /g;
                 my @afree = split / /, $free;                 my @afree = split / /, $free;
 </code> </code>
  
 A cada elemento del array le hacemos una limpieza en este orden, A cada elemento del array le hacemos una limpieza en este orden,
-  - le quitamos todos lo caracteres no alfanumericos,+
   - si empieza con numeros nos quedamos con lo que haya despues de los numeros,   - si empieza con numeros nos quedamos con lo que haya despues de los numeros,
   - si tiene numeros dentro, nos quedamos con lo que haya antes de los numeros,   - si tiene numeros dentro, nos quedamos con lo que haya antes de los numeros,
Line 145: Line 166:
                 my @nonfree;                 my @nonfree;
                 foreach my $token (@afree){                 foreach my $token (@afree){
-                        $token =~ s/\W//g; 
                         if( $token =~ /^\d+.*$/) { $token =~ s/^\d+//g;}                         if( $token =~ /^\d+.*$/) { $token =~ s/^\d+//g;}
                         if( $token =~ /^.+\d.*$/){ $token =~ s/\d.*//g; }                         if( $token =~ /^.+\d.*$/){ $token =~ s/\d.*//g; }
Line 167: Line 187:
 </code> </code>
  
-lo que me ha queado es una base de datos supuestamente limpia aunque aun deberia contener palabras que no son medicamentos. Voy a escribirla a disco,+lo que me ha quedado es una base de datos supuestamente limpia aunque aun deberia contener palabras que no son medicamentos. Voy a escribirla a disco,
  
 <code perl> <code perl>
Line 178: Line 198:
 } }
 </code> </code>
 +
 +==== Reglas ====
 +
 +Las palabras que se repiten mas de **X** veces van a ser las cabeceras de las reglas. Voy a seleccionarlas,
 +
 +<code perl>
 +my $repeat = 12;
 +foreach my $med (sort keys %meds){
 +        if ($meds{$med} > $repeat){ push @medkw, $med; }
 +}
 +</code>
 +
 +Y ahora, voy a calcular la distancia de cada palabra a las cabeceras de reglas y la voy a poner bajo la mas cercana. Las palabras que no entren bajo ninguna regla las pondre en un //array// aparte.
 +
 +<code perl>
 +my $dtresh = 5;
 +my %medgroups;
 +my @alonemeds;
 +foreach my $medword (sort keys %meds){
 +        my $mindist = 1000;
 +        my $keyguide = "";
 +        foreach my $medkey (@medkw){
 +                my $dist = distance($medword, $medkey, $dtresh);
 +                if ((defined $dist) && ($dist < $mindist)) {
 +                        $mindist = $dist;
 +                        $keyguide = $medkey;
 +                }
 +        }
 +        if ($keyguide) {
 +                push @{$medgroups{$keyguide}}, $medword;
 +        }else{
 +                push @alonemeds, $medword;
 +        }
 +}
 +</code>
 +
 +Y ahora guardo todo esto a disco,
 +
 +<code perl>
 +my $ofile = 'med_rules.txt';
 +my $obfile = 'med_no_rules.txt';
 +open ODF, ">$ofile" or die "Could not create file\n";
 +foreach my $mgroup (sort keys %medgroups){
 +        print ODF "$mgroup: ",join("|", sort @{$medgroups{$mgroup}}), "\n";
 +}
 +close ODF;
 +open ODF, ">$obfile" or die "Could not create file\n";
 +foreach my $med (@alonemeds){
 +        print ODF "$med\n";
 +}
 +close ODF;
 +</code>
 +
 +**Ahora, las reglas han de revisarse y editarse a mano. Esto no hay manera de evitarlo pero solo ha de hacerse una vez. La proxima vez que se haga el analisis se usara el mismo archivo de reglas.**
 +
 +===== Reglas de CIMA =====
 +
 +https://cima.aemps.es/cima/publico/nomenclator.html
 +
 +Me bajo la lista de medicamentos comercializados en España y la convierto a CSV. Luego hago esto:
 +
 +<code bash>
 +[osotolongo@brick03 medicaion_dev]$ awk -F";" '{print $2}' Medicamentos.csv | tail -n +2 | sed 's/\// /g' |awk '{print $1}' | tr '[:upper:]' '[:lower:]' | sort | uniq > medicamentos.list
 +</code>
 +
 +O si quiero tener los principios activos,
 +
 +<code bash>
 +[osotolongo@brick03 medicaion_dev]$ awk -F";" '{print $2";"$8";"$9}' Medicamentos.csv | tail -n +2 | sed 's/\// /g' | tr '[:upper:]' '[:lower:]' | sort | uniq | sed 's/\.//g' > medicamentos_pa.list
 +[osotolongo@brick03 medicaion_dev]$ sed 's/\([^ ]*\).*;\(.*\);\(.*\)/\1;\2;\3/' medicamentos_pa.list | uniq > mpa.list
 +</code>
 +
 +
 +===== Aplicando las reglas =====
 +
 +Aqui he de leer tres cosas antes que nada. Primero, las reglas que hemos construido. Estas las voy a asignar a un hash de arrays,
 +
 +<code perl>
 +my %wrules;
 +open RDF, "<$rules_file" or die "No rules file";
 +while (<RDF>){
 +        (my $rkey, my $rvalue) = /^(\w*): (.*)$/;
 +        chomp $rvalue;
 +        my @lpat = split /\|/, $rvalue;
 +        %{$wrules{$rkey}} = map {$_ => 1} @lpat unless !$rkey;
 +}
 +close RDF;
 +
 +</code>
 +
 +Luego, la lista de principios activos de [[https://cima.aemps.es/cima/publico/home.html|CIMA]].
 +
 +<code perl>
 +my %cima;
 +open ADF, "<$mpa";
 +while (<ADF>){
 +        my ($med, $pal, $pan) = /^(.*);(.*);(.*)$/;
 +        my @pas = split /, /, $pal;
 +        for (@pas) {s/\s+/_/g;}
 +        $cima{$med} = [ @pas ];
 +}
 +close ADF;
 +</code>
 +
 +
 +Ahora cargo base de datos ya revisada, que si todo va bien sera el output del script anterior.
 +
 +<code perl>
 +my $dbfile = 'parsed_meds.csv';
 +
 +my %visits;
 +my %meds;
 +open IDF, "<$dbfile" or die "Database file do not exists\n";
 +while(<IDF>){
 +        my ($pid, $vid, $ldata) = /^(\d+);(\d+);(.*)$/;
 +</code>
 +
 +Pero voy a ir llenando el hash de output (// %visits //) a medida que leo. Primero meto toda la medicacion de la visita en un array,
 +
 +<code perl>
 +        if($ldata){
 +                my @mlist = split /,/, $ldata;
 +</code>
 +
 +y ahora, para cada elemento de este array, recorro las reglas, buscando si este termino existe dentro de alguna regla. 
 +
 +<code perl>
 +                foreach my $med (@mlist){
 +                        if ($med){
 +                                foreach my $rkey (sort keys %wrules){
 +                                        if(exists($wrules{$rkey}{$med})){
 +                                                foreach my $pa (@{$cima{$rkey}}){
 +                                                        $meds{$pa} = 1;
 +                                                        $visits{$pid}{$vid}{$pa} = 1;
 +                                                }
 +                                                last;
 +                                        }
 +                                }
 +                        }
 +                }
 +</code>
 +
 +Cuando encuentro este elemento en las reglas, marco tods los ID de principios activos correspondientes a este medicamento como existentes en esa visita y ademas los sumo a las variables que he de escribir. Si no se encuentra este termino, se concluye que no es ningun medicamento (pues no esta en ninguna regla) y no se hace nada.
 +
 +Una vez llenados los medicamentos de cada visita hemos de escribirlo en forma matricial. Primero escribimos los headers,
 +
 +<code perl>
 + open ODF, ">$ofile" or die "Could not open file !!!!!!\n";
 +print ODF "Interno,Fecha_visita";
 +foreach my $med (sort keys %meds){
 +        print ODF ",$med";
 +}
 +print ODF "\n";
 +</code>
 +
 +Y ahora llenamos los valores correspondientes a cada visita con un 1, caso de existir y un 0 en caso contrario.
 +
 +<code perl>
 +foreach my $pid (sort keys %visits){
 +        foreach my $vid (sort keys %{$visits{$pid}}){
 +                print ODF "$pid,$vid";
 +                foreach my $med (sort keys %meds){
 +                        if(exists($visits{$pid}{$vid}{$med})){
 +                                print ODF ",1";
 +                        }else{
 +                                print ODF ",0";
 +                        }
 +                }
 +                print ODF "\n";
 +        }
 +}
 +close ODF;
 +</code>
 +
 +**TADA!**
 +
medicacion2021.txt · Last modified: 2021/04/03 10:42 by osotolongo

Page Tools

Except where otherwise noted, content on this wiki is licensed under the following license: CC Attribution-Share Alike 4.0 International
CC Attribution-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki