Detritus Wiki

User Tools

Site Tools

Trace: • mriface_reports
neuroimagen:mriface_reports

This is an old revision of the document!

Table of Contents

Extrayendo los datos de los informes de MRI FACE

Obteniendo los PatientID

Lo primero es sacar los Patient ID de cada MRI. Primero saco los sujetos del proyecto y los asocio a los IDs almacenados como label del experimento. 

[osotolongo@brick03 mri_face]$ xnatapic list_subjects --project_id unidad --label > xnat_subjects.list
[osotolongo@brick03 mri_face]$ while read -r line; do sbj=$(echo ${line} | awk -F"," '{print $1}'); slbl=$(echo ${line} | awk -F"," '{print $2}'); xpr=$(xnatapic list_experiments --project_id unidad --subject_id ${sbj} --modality MRI --label); echo "${slbl},${xpr}"; done < xnat_subjects.list | awk -F"," '{print $1","$3}' > sbj_ids.csv
[osotolongo@brick03 mri_face]$ head sbj_ids.csv 
20211269,D18290542
20211480,D21572561
20211176,D14074193
20151338,D21587192
20211523,D21587226
20211401,D21587147
20211281,D21580074
20210716,D21587448
20081210,D21582920
20211482,D21583488

Bajar PDFs

  1. Entrar en https://impax.corachan.com/
  2. Buscar por PatientID
  3. Salvar el report como pdf con el numero interno

Nota:

Si vas sacando y te pierdes siempre pues hacer, de vez en cuando, 

[osotolongo@brick03 mri_face]$ ls reports/*.pdf | sed 's/reports\/\(.*\)\.pdf/\1/' > sbjs_done.txt
[osotolongo@brick03 mri_face]$ grep -v "^`cat sbjs_done.txt`" sbj_ids.csv > sbj_ids_todo.csv

para limpiar la lista de los que faltan

Sacar info

Los convierto a txt, 

[osotolongo@brick03 mri_face]$ for x in reports/*.pdf ; do pdftotext ${x}; done
[osotolongo@brick03 mri_face]$ ls reports/
20081210.pdf  20140947.pdf  20151338.pdf  20201297.pdf  20211384.pdf  20211455.pdf  20211475.pdf  20211480.pdf  20211505.pdf  20211523.pdf  20211524.pdf  20211527.pdf  20211611.pdf
20081210.txt  20140947.txt  20151338.txt  20201297.txt  20211384.txt  20211455.txt  20211475.txt  20211480.txt  20211505.txt  20211523.txt  20211524.txt  20211527.txt  20211611.txt

Y voy a hacer un parser rapidito a ver que sale,

y entonces, 

[osotolongo@brick03 mri_face]$ ./parse0.pl reports
Subject,Kipps_F,Kipps_A,Kipps_P,ACG,Koedam_I,Koedam_D,Scheltens_I,Scheltens_D
20081210,NA,NA,NA,1,1,1,0,0
20140947,1,1,1,2,2,2,0,0
20151338,1,1,1,2,2,2,2,2
20201297,1,1,2,2,2,2,2,2
20211384,NA,NA,NA,1,1,1,3,3
20211455,2,2,2,1,2,2,3,3
20211475,NA,NA,NA,1,1,1,1,1
20211480,2,1,2,2,2,2,1,1
20211505,NA,NA,NA,1,1,1,1,2
20211523,NA,NA,NA,1,1,1,2,2
20211524,NA,NA,NA,2,2,2,1,0
20211527,2,1,1,1,2,2,1,1
20211611,NA,NA,NA,0,0,0,0,0

Y cuando casi eres feliz, te cambian la estructura de los informes LOL

Ahora la estructura es mas parseable pero ojo, hay que incluir tambien los infromes con el formato antiguo. ¿A que la vida es maravillosa?

Entonces lo que he hecho es rehacer toda la logica desde el principio

y entonces ejecutando algo como, 

$ ./parse1.pl reports/ > mri_face_reports.csv

Obtengo los valores en un xls y en un csv, 

Subject,Date,Fazekas,GCA_D,GCA_I,Kipps_A_D,Kipps_A_I,Kipps_F_D,Kipps_F_I,Kipps_P_D,Kipps_P_I,Koedam_D,Koedam_I,Scheltens_D,Scheltens_I
20050456,2022-03-06,3,3,3,2,2,2,3,2,2,1,3,2,2
20081210,2021-12-02,1,1,1,NA,NA,NA,NA,NA,NA,1,1,0,0
20090461,2022-01-28,1,1,1,1,2,1,1,1,2,0,3,2,2
20100678,2022-01-16,0,2,2,2,2,2,2,2,2,2,3,3,3
20140947,2021-12-11,1,2,2,1,1,1,1,1,1,2,2,0,0
20150926,2022-01-26,2,2,2,2,2,2,2,3,3,2,3,2,3
20151338,2021-12-04,1,2,2,1,1,1,1,1,1,2,2,2,2
20160418,2021-12-11,3,2,2,2,2,2,2,2,2,1,1,3,3
20170735,2021-12-22,2,1,1,1,1,0,0,1,1,1,1,1,1

Nota: Se han tomado en cuenta algunas consideraciones extra, por peticion popular,

  1. Si no está Fazekas ponemos 0
  2. Añadimos la fecha de la MRI a la tabla

Guardando todo en XNAT

La logica es la siguiente. Este proyecto continuara hasta alcanzar numeros grandes. Si corro el parser cada vez sobre toda la muestra puede llegar a demorar y va ser difcil de revisar.

Asi que voy a guardar todo lo que pueda en XNAT para almacenarlo y podre ir haciendolo a trozos después.

Informes

Lo primero que todo es guardar los informes en PDF para que siempre esten listos para consulta. Para ello creamos un Resource en XNAT para el visual report,

y entonces subimos el informe con algo asi, 

$ curl -f -X PUT -u "user:password" "http://detritus.fundacioace.com:8088/data/experiments/XNAT4_EXXXX/resources/RVR/files/report_XUSER.pdf?overwrite=true" -F file="@/path/to/report/XXXXX.pdf"

Agregando datos del informe

Ahora quiero guardar los datos extra de cada informe como otro resource. Digamos que tengo un CSV de este estilo, 

Subject,ATM_I,ATM_D,ACG,Fazekas
F001,NA,NA,NA,1
F002,2,2,NA,1
F003,0,0,NA,1
F005,NA,0,NA,1
F006,1,0,NA,1
F007,0,1,NA,0
F008,1,0,NA,NA
F009,0,0,NA,2
F010,0,NA,NA,1

pero los campos pueden variar. Lo que hago es importar el csv automagicamente con Text::CSV y crear un archivo json para copiar en cada RVR.

Por partes, importo el csv, 

my $ref_vr = csv(in => $vrfile, headers => "auto");

y creo el json en un archivo temporal con todos los campos, 

     foreach my $mrdata (@$ref_vr){
                my $rep_body = '{"ResultSet":{"Result":[{';
                my @rep_arr;
                foreach my $rk (sort keys %$mrdata){
                        #if ($rk ne 'Subject' and $rk ne 'Date'){
                        push @rep_arr, '"'.$rk.'":"'.${$mrdata}{$rk}.'"';
                        #}
                }
                $rep_body .= join ',', @rep_arr;
                $rep_body .= '}]}}';
                my $tvrf = mktemp($tmp_dir.'/rvr_data.XXXXX');
                open TDF, ">$tvrf";
                print TDF "$rep_body\n";
                close TDF;
      }

Ahor para subir ese archivo temporal tengo que hacer algo como, 

$ curl -f -X PUT -u "user:pass" "connection_site/data/experiments/experimento_evaluado/resources/RVR/files/report_data.json?overwrite=true" -F file="@archivo_temporal"

Asi que dentro del sitio he de hacer, 

                my $xcurl = 'curl -f -X PUT -u "'.$xconf{'USER'}.':'.$xconf{'PASSWORD'}.'" "'.$xconf{'HOST'}.'/data/experiments/'.$vrdata{${$mrdata}{'Subject'}}.'/resources/RVR/files/report_data.json?overwrite=true" -F file="@'.$tvrf.'"';
                print "$xcurl\n";
                system($xcurl);
                unlink $tvrf;

Subiendo todo

mirar sesiones aqui: https://wiki.xnat.org/documentation/how-to-use-xnat/generating-and-reusing-a-jsession-id-for-scripted-interactions

Lo que hago es unir todo esto en un solo script Perl

que ejecuto como, 

[osotolongo@brick03 mri_face]$ ./xnat_up_rvr.pl -i /nas/osotolongo/parsing/atm_v2_rev_again.csv -d /nas/osotolongo/parsing/facehbi_informes_mri/v2/pdfs/ -x f2cehbi
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100    32  100    32    0     0    307      0 --:--:-- --:--:-- --:--:--   310
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00001/resources/RVR/files/report_F001.pdf?overwrite=true" -F file="@/nas/osotolongo/parsing/facehbi_informes_mri/v2/pdfs/F001.pdf"
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00087/resources/RVR/files/report_F002.pdf?overwrite=true" -F file="@/nas/osotolongo/parsing/facehbi_informes_mri/v2/pdfs/F002.pdf"
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00088/resources/RVR/files/report_F003.pdf?overwrite=true" -F file="@/nas/osotolongo/parsing/facehbi_informes_mri/v2/pdfs/F003.pdf"
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00089/resources/RVR/files/report_F005.pdf?overwrite=true" -F file="@/nas/osotolongo/parsing/facehbi_informes_mri/v2/pdfs/F005.pdf"
...
...
...
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00697/resources/RVR/files/report_data.json?overwrite=true" -F file="@/old_nas/osotolongo/tmp/rvr_data.BgByl"
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00698/resources/RVR/files/report_data.json?overwrite=true" -F file="@/old_nas/osotolongo/tmp/rvr_data.SzT2s"
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00699/resources/RVR/files/report_data.json?overwrite=true" -F file="@/old_nas/osotolongo/tmp/rvr_data.vyeh8"
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00700/resources/RVR/files/report_data.json?overwrite=true" -F file="@/old_nas/osotolongo/tmp/rvr_data.zJvbo"
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00701/resources/RVR/files/report_data.json?overwrite=true" -F file="@/old_nas/osotolongo/tmp/rvr_data.55aWS"
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00702/resources/RVR/files/report_data.json?overwrite=true" -F file="@/old_nas/osotolongo/tmp/rvr_data.5m_vZ"
curl -f -X PUT -b JSESSIONID=EAD2EA07CDEE33D3D5178C11FF4EF514 "http://detritus.fundacioace.com:8088/data/experiments/XNAT5_E00703/resources/RVR/files/report_data.json?overwrite=true" -F file="@/old_nas/osotolongo/tmp/rvr_data.KIa5m"

Nota: El script es lo suficientemente abstracto pra ser incluido en el pipeline!!!!!

Datos demograficos

Como he de sacar los datos demograficos de la DB de Ekon, el primer paso es extraer los ID de los sujetos del proyecto de XNAT, estos deben corresponder al NHC en la DB. Esta parte es sencilla, 

[osotolongo@brick03 mri_face]$ curl -f -X GET  -u "user:pass" "http://detritus.fundacioace.com:8088/data/projects/unidad/subjects?format=csv" > all_subjects.csv
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 10597    0 10597    0     0  56014      0 --:--:-- --:--:-- --:--:-- 56367

[osotolongo@brick03 mri_face]$ head all_subjects.csv
ID,project,label,insert_date,insert_user,URI
XNAT05_S00035,unidad,20211269,2021-12-18 20:49:07.368,osotolongo,/data/subjects/XNAT05_S00035
XNAT05_S00042,unidad,20211480,2021-12-18 23:30:44.428,osotolongo,/data/subjects/XNAT05_S00042
XNAT05_S00062,unidad,20211176,2021-12-21 09:59:53.012,osotolongo,/data/subjects/XNAT05_S00062
XNAT05_S00027,unidad,20151338,2021-12-17 16:24:22.916,osotolongo,/data/subjects/XNAT05_S00027
XNAT05_S00028,unidad,20211523,2021-12-17 16:34:33.423,osotolongo,/data/subjects/XNAT05_S00028
XNAT05_S00030,unidad,20211401,2021-12-18 08:08:35.051,osotolongo,/data/subjects/XNAT05_S00030
XNAT05_S00031,unidad,20211281,2021-12-18 09:22:07.411,osotolongo,/data/subjects/XNAT05_S00031
XNAT05_S00032,unidad,20210716,2021-12-18 14:02:44.009,osotolongo,/data/subjects/XNAT05_S00032
XNAT05_S00033,unidad,20081210,2021-12-18 18:36:35.746,osotolongo,/data/subjects/XNAT05_S00033

Ahora para cada uno de los label, he de ejecutar, 

[osotolongo@brick03 mri_face]$ sqlcmd ${connection_chain} -s "," -W -Q "SELECT his_interno, xfecha_nac, xsexo_id FROM [UNIT4_DATA].[imp].[vh_pac_gral] WHERE his_interno = '"${nhc}"';" | grep ${nhc}
20200484,1945-05-27 00:00:00.000,2

Nota: En la DB de Ekon, 1 → male, 2 → female

Entonces con estos datos he de construir un CSV para importar en XNAT.

Y ahora puedo usar este metodo para subir el CSV

Obteniendo los datos de XNAT

Ahora voy a intentar rescatar desde XNAT los valores de RVR que he subido. Esto es, no hay una estructura fija, en principio, asi que tengo que obtener cualesquiera de los datos que haya definidos en el proyecto.

Para empezar se accede a XNAT y se abre la sesion, 

my $xconf_file = $ENV{'HOME'}.'/.xnatapic/xnat.conf';
my %xconf;
open IDF, "<$xconf_file";
while (<IDF>){
        if (/^#.*/ or /^\s*$/) { next; }
        my ($n, $v) = /(.*)=(.*)/;
        $xconf{$n} = $v;
}
my $q = 'curl -f -X POST -u "'.$xconf{'USER'}.':'.$xconf{'PASSWORD'}.'" "'.$xconf{'HOST'}.'/data/JSESSION"';
my $jid = qx/$q/;

y ahora vamos a tomar la lista de sujetos, 

my %subjects;
$q = 'curl -f -b JSESSIONID='.$jid.' -X GET "'.$xconf{'HOST'}.'/data/projects/'.$xprj.'/subjects?format=csv&columns=ID,label"';
my @sbj_res = split '\n', qx/$q/;

Esta respuesta de XNAT no es precisamente la lista de sujetos pero es bastante similar a lo que queremos y podemos ir recorriendo el array y construyendo nuestro output desde ahi. 

foreach my $sbj_prop (@sbj_res){
        if ($sbj_prop =~ /^XNAT/){
                my ($sid,$slabel) = $sbj_prop =~ /^(XNAT.+),(\S+),(.*)$/;
                $subjects{$sid}{'label'} = $slabel;

asi, separamos el valor de sid que es el ID asignado por XNAT y el label que no es mas que el ID que hemos asignado en nuestro proyecto. Ahora si hacemos, 

                my $qe = 'curl -f -b JSESSIONID='.$jid.' -X GET "'.$xconf{'HOST'}.'/data/projects/'.$xprj.'/subjects/'.$sid.'/experiments?format=json&xsiType=xnat:mrSessionData"';
                my $json_res = qx/$qe/;

Obtenemos un json con los experimentos del sujeto (tipicamente uno solo). Y usando el modulo JSON meto los contenidos en un AoH. 

                my $exp_prop = decode_json $json_res;
                foreach my $experiment (@{$exp_prop->{'ResultSet'}{'Result'}}){
                                $subjects{$sid}{'experimentID'} = $experiment->{'ID'};
                }

y ahora voy a obtener el archivo RVR que haya guardado y convertirlo en una fila del CSV. 

                if (exists($subjects{$sid}{'experimentID'}) and $subjects{$sid}{'experimentID'}){
                        my $qr = 'curl -f -b JSESSIONID='.$jid.' -X GET "'.$xconf{'HOST'}.'/data/projects/'.$xprj.'/experiments/'.$subjects{$sid}{'experimentID'}.'/resources/RVR/files?format=json"';
                        $json_res = qx/$qr/;
                        #print "$json_res\n";
                        my $rvr_prop = decode_json $json_res;
                        my $report_uri;
                        foreach my $rvr_res (@{$rvr_prop->{'ResultSet'}{'Result'}}){
                                if ($rvr_res->{'Name'} eq 'report_data.json'){
                                        $report_uri = $rvr_res->{'URI'};
                                }
                        }
                        if ($report_uri){
                                $qr = 'curl -f -b JSESSIONID='.$jid.' -X GET "'.$xconf{'HOST'}.$report_uri.'"';
                                $json_res = qx/$qr/;
                                #print "$json_res\n";
                                my $report_data = decode_json $json_res;
                                foreach my $var_data (@{$report_data->{'ResultSet'}{'Result'}}){
                                        my @akeys;
                                        my @adata;
                                        foreach my $kdata (sort keys %{$var_data}){
                                                unless ($dhead){
                                                        push @akeys, $kdata unless $kdata eq 'Subject';
                                                }
                                                push @adata, ${$var_data}{$kdata} unless $kdata eq 'Subject';
                                        }
                                        $dhead = 'Subject,'. join ',', @akeys unless $dhead;
                                        $dbody .= ${$var_data}{'Subject'}.','. join ',', @adata;
                                        $dbody .= "\n";
                                }
                        }
                }

Ojo, que como no se que estructura va a tener esto, solo veo de poner la columna Subject al inicio y lo demas lo intento adivinar automagicamente.

Pues esto despues de escupe a un archiv de output y ya esta.

Para lanzarlo ha de hacerse algo como, 

$ ./xnat_get_rvr.pl -x unidad -o rvr_output.csv

y si no se especifica el nombre de archivo output se creara uno con nombre como proyecto_rvr_data.csv que deberia esperarse que fuera algo como, 

[osotolongo@brick03 mri_face]$ head f5cehbi_rvr_data.csv
Subject,ACG,ACP_D,ACP_I,ATM_D,ATM_I,Fazekas
F005,1,2,2,0,1,1
F006,NA,NA,NA,0,1,1
F007,NA,NA,NA,1,0,0
F009,2,2,2,1,1,2
F010,NA,NA,NA,NA,NA,1
F014,NA,NA,NA,1,0,2
F015,1,1,1,1,1,NA
F023,NA,NA,NA,0,1,2
F024,1,1,1,2,2,1

Eso segun elproyecto que sea y las variables que se hayan guardado en el resource RVR.

Sacando edad de XNAT

Para sacar la lista de sujetos del proyecto hago simplemente, 

[osotolongo@brick03 ~]$ curl -b JSESSIONID=1709B38DD3BD206D00C3389592A4FC9E -X GET "http://detritus.fundacioace.com:8088/data/projects/unidad/subjects?format=csv&columns=ID,label"

La forma correcta de parsear el json para sacar la fecha de nacimiento es mas o menos asi, 

[osotolongo@brick03 ~]$ curl -b JSESSIONID=1709B38DD3BD206D00C3389592A4FC9E -X GET 'http://detritus.fundacioace.com:8088/data/subjects/XNAT05_S00052?format=json' | jq '.items[0].children[] | select(.field=="demographics") | .items[0].data_fields.dob'

y para sacar la fecha del primer MRI asignado a sujeto es, 

[osotolongo@brick03 ~]$ curl -b JSESSIONID=1709B38DD3BD206D00C3389592A4FC9E -X GET 'http://detritus.fundacioace.com:8088/data/projects/unidad/subjects/XNAT05_S00052/experiments?format=json' | jq '.ResultSet.Result[0].date'

o si se conoce el experimento, 

[osotolongo@brick03 ~]$ curl -b JSESSIONID=1709B38DD3BD206D00C3389592A4FC9E -X GET 'http://detritus.fundacioace.com:8088/data/projects/unidad/subjects/XNAT05_S00052/experiments/XNAT05_E00065?format=json' | jq '.items[0].data_fields.date'
neuroimagen/mriface_reports.1649149958.txt.gz · Last modified: 2022/04/05 09:12 by osotolongo