Detritus Wiki

User Tools

Site Tools

Trace: • xnat_pipelines
neuroimagen:xnat_pipelines

This is an old revision of the document!

Table of Contents

Plataforma XNAT - Pipelines

Instalación de los pipelines de Xnat

https://wiki.xnat.org/documentation/xnat-administration/configuring-the-pipeline-engine/installing-pipelines-in-xnat

Prerrequisitos:

  • XNat instalado y funcionando
  • Los programas Git y Mercurial para descargar código de repositorios.
  • El programa mrimicro que proporciona la herramienta dcm2niix que se usa para convertir DICOM en NIFTI.

Descarga del software

Seguimos el tutorial de arriba que sugiere una forma de instalación desde un directorio temporal, que requiere menos pasos que hacerlo, como indican en otros tutoriales, desde dentro del XNAT_HOME (el resultado es equivalente)

Sistema de pipelines

$ cd
$ mkdir tmp
$ cd tmp
$ git clone https://github.com/NrgXnat/xnat-pipeline-engine.git
$ cd xnat-pipeline-engine
$ vim gradle.properties
xnatUrl=http://detritus.fundacioace.com:8088/xnat
siteName=XNAT
adminEmail=osotolongo@fundacioace.com
smtpServer=smtp.fundacioace.com
destination=/nas/data/xnat/pipeline
modulePaths=/nas/daniel/tmp/modules

Nota: si no se pone el servidor SMTP correcto, no funcionará la característica de muchos pipelines de enviar un mensaje de correo al usuario diciéndole que un proceso largo ha terminado.

Pipeline que convierte DICOM a NIFTI

$ cd
$ cd tmp
$ mkdir modules
$ cd modules
$ hg clone https://bitbucket.org/nrg_customizations/nrg_pipeline_dicomtonifti

Este pipeline usa el dcm2niix para convertir los DICOM en un NIFTI 4D. Por eso el el ejecutable dcm2niix debería estar accesible y visible (o sea, en el PATH) del usuario bajo en que se ejecuta XNat. Si no es así, se debe incluir la ruta en el script de configuración: 

$ cd nrg_pipeline_dicomtonifti/scripts/scripts
$ vim dcm2niix_setup.sh
#!/bin/bash
 
DCM2NIIX_HOME=/nas/software/mricron/
export PATH=$DCM2NIIX_HOME:$PATH

Instalación del pipeline

Basta ejecutar desde el directorio xnat-pipeline-engine el programa gradlew (como root): 

$ cd
$ cd tmp/xnat-pipeline-engine
$ sudo ./gradlew

El programa gradlew instala en $XNAT_HOME/pipeline los módulos/pipelines que estaban en el paquete y otros que son usados desde él, así como varias herramientas para interactuar con XNat desde scripts.

Resultado de la instalación

En $XNAT_HOME/pipeline se habrán creado varios directorios, entre ellos el catalog, dentro del cual se pueden encontrar los distintos pipelines. En particular, el que interesa para este ejemplo es el dcm2niix. 

$ ls /nas/data/xnat/pipeline/catalog/
nt-tools         DicomToNifti      FSL_tools      pipeline-tools
birn_tools        Freesurfer        images         utils
commandlineTools  freesurfer_tools  mricron        validation_tools
dcm2niix          FSL               notifications  xnat_tools

Comprobación de la instalación

Accediendo a XNat, en el menú Administer > Pipelines, seleccionar el enlace a “Add pipeline to repository”. En la página que se abre, se debe introducir en el campo “Enter path to pipeline descriptor xml ⇒” la ruta absoluta a la descripción XML del pipeline que queremos usar: 

/nas/data/xnat/pipeline/catalog/dcm2niix/DicomToNifti_X.xml

Una vez definido el pipeline en XNat, se debe crear un proyecto y, dentro en él, seleccionar los pipelines que se quieren ejecutar sobre las secuencias que se cargarán en él.

Para ello, en el proyecto, se selecciona la pestaña “Pipelines” y se hace click sobre “Add more pipelines”: se debe añadir la línea de la tabla donde ponga “DicomToNifti_X.xml”. En la ventana que se abre, se deben seleccionar las dos opciones de configuración: 

* Launch pipeline automatically when session is archived

Esta opción nos recuerda que el procesamiento se lleva a cabo una vez se cargan las imágenes en el proyecto (o, si se cargan como “pre-archivo”, cuando se selecciona archivar éste).

Para comprobar que la conversión se ha completado, se puede seleccionar “Actions > Download images”. En la página que se carga, se verá en la columna central con los “Scan formats” un apartado “NIFTY”.

Ejemplos de pipelines

A continuación se explica cuál es la estructura de un pipeline y se dan ejemplos de modificación de un pipeline y de construcción de otro.

Estructura de un pipeline

Un pipeline se define en un archivo XML dentro de un subdirectorio de pipeline/catalog que se crea al instalar el pipeline engine (dentro de /nas/data/xnat). En el subdirectorio se recomienda la siguiente estructura:

  • descripción XML del pipeline
  • resources: subdirectorio con definiciones XML para llamar a programas externos
  • scripts: subdirectorio con los scripts o programas externos propios del pipeline

La descripción del pipeline se hace en un documento XML con la siguiente estructura: 

<?xml version="1.0" encoding="UTF-8"?>
 
<Pipeline xmlns="http://nrg.wustl.edu/pipeline"
          xmlns:xi="http://www.w3.org/2001/XInclude"
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:schemaLocation="http://nrg.wustl.edu/pipeline ..\schema\pipeline.xsd"
          xmlns:fileUtils="http://www.xnat.org/java/org.nrg.imagingtools.utils.FileUtils">
 
	<name>Name of the Pileline</name>
	<location>Directory</location>
	<description>A brief description</description>
 
	<resourceRequirements>...</resourceRequirements>
 
	<!-- info about the pipeline and input parameters received from Xnat -->
	<documentation>
		<authors>...</authors>
		<version>0</version>
		<input-parameters>
			<parameter>...</parameter>
			...
		</input-parameters>
	</documentation>
 
	<!-- what sort of data the pipeline applies to -->
	<xnatInfo appliesTo="xnat:mrSessionData"/>
 
	<!-- directory where log output is written -->
	<outputFileNamePrefix>...</outputFileNamePrefix>
 
	<!-- parameter on which to iterate steps through PIPELINE_LOOPON(iter) -->
	<loop id="iter" xpath="..."/>
 
	<!-- other parameters defined in the pipeline -->
	<parameters>
		<parameter>...</parameter>
		...
	</parameters>
 
	<!-- processing steps -->
	<steps>	
		<!-- first step (workdirectory and flow control options are shown as an example) -->
		<step id="1" description="Step 1" workdirectory="..." continueOnFailure="false" precondition="EXISTS(...)">
			<!-- command to be run (described as a resource XML) -->
			<resource name="command" location="directory" >
				<argument id="arg">
					<value>arg value</value>
				</argument>
			</resource>
		</step>
		...
	</steps>
 
</Pipeline>

Ejemplo: modificación del pipeline dcm2nii/DicomToNifti_X.xml

Queremos cambiar el modo en que se llama a dcm2niix desde este pipeline, de manera que se agreguen en los nombres de los archivos NII generados el nombre del paciente (%n), el número de adquisición de la serie (%s) y la descripción o tipo de serie (%d).

Para ello, primero definimos un input-parameter con la cadena de formato que se pasará a dcm2niix desde Xnat (que, en teoría, podríamos modificar al llamar al pipeline): 

<input-parameters>
	...
	<parameter>
		<name>output_nifti_filename_format</name>
		<values>
			<csv>%n_%s_%d</csv>
		</values>
		<description>Filename format</description>
	</parameter>
</input-parameters>

Luego, modificaremos la llamada a dcm2niix en el step “CONVERT” seleccionando nuestro argumento output_filename_format (usando la sintaxis XPath). Aprovechamos para añadir el nuevo argumento ignore_derived, para que en el procesamiento se ignoren las imágenes derivadas, los localizers y las imágenes 2D. 

	<step id="CONVERT" description="Convert each DICOM series into a 4d NIFTI file" precondition="EXISTS(^concat(/Pipeline/parameters/parameter[name='niidir']/values/unique/text(),'/',PIPELINE_LOOPON(series))^)" continueOnFailure="true">
		<resource name="dcm2niix" location="dcm2niix/resources">
			<argument id="gzip">
				<value>y</value><!-- compress -->
			</argument>
			<argument id="ignore_derived"><!-- new argument -->
				<value>y</value>
			</argument>
			<argument id="output_filename_format">
				<value>^/Pipeline/parameters/parameter[name='output_nifti_filename_format']/values/unique/text()^</value><!-- selection from parameters -->
			</argument>
			<argument id="output">
				<value>^concat(/Pipeline/parameters/parameter[name='niidir']/values/unique/text(),'/',PIPELINE_LOOPON(series))^</value>
			</argument>
			<argument id="input">
				<value>^concat(/Pipeline/parameters/parameter[name='rawdir']/values/unique/text(),'/',PIPELINE_LOOPON(series))^</value>
			</argument>
		</resource>
	</step>

Lo que sucede es que el resource dcm2niix/resources/dcm2niix.xml no contempla el argumento ignore_derived, así que tenemos que añadírselo: 

	<argument id="ignore_derived">
		<name>i</name>
		<description>ignore derived [y|n]</description>
	</argument>

El código del nuevo DicomToNifti_Y.xml queda así

El código de dcm2niix.xml queda así

Ejemplo: resource nuevo para llamar al programa tar

En algunos pipelines puede interesar comprimir varios ficheros resultantes en un archivo tar.gz, usando el muy común programa tar de UNIX. Los pipelines de ejemplo no incluyen este programa como uno de los resources en commandlineTools, pero es muy fácil de escribirlo con las opciones básicas para comprimir archivos como 

$ tar -z -cf archivo.tar.gz fichero1.ext fichero2.ext ...

El código de tar.xml sería así

Ejemplo: pipeline nuevo para limpieza de las series en una sesión DICOM

Partiendo de un pipeline de ejemplo, creamos el pipeline CleanMRSession.xml que lleva a cabo la selección de los scans de una serie DICOM de forma análoga a la descrita en la página Usar la API de XNAT.

Este pipeline consta de los siguientes archivos:

  • CleanMRSession.xml: la descripción de los pasos de procesamiento
  • resources/cleanMRSession.xml: el resource que describe cómo se llama al script Bash siguiente
  • scripts/cleanMRSession.sh: el script Bash

El código de CleanMRSession.xml es así

El código de cleanMRSession.xml (descripción de cleamMRSession.sh) es así

El código de cleanMRSession.sh (script que realiza el borrado) es así

neuroimagen/xnat_pipelines.1586828973.txt.gz · Last modified: 2020/08/04 10:47 (external edit)