Introducción
Listado de software
Listado de paquetes python según versión
Módulos, qué son y cómo afectan al uso de los programas.
scl
Docker: software instalado mediante contenedores
Instalación de nuevo software

Introducción

El cluster CAI pone a disposición de nuestros usuarios un juego muy amplio de paquetes informáticos destinados al desarrollo de su actividad investigadora.

El primer elemento a tener en cuenta es el Sistema Operativo que, en nuestro caso, es el Centos 7. Una distribución Linux muy estable y con un amplio soporte por parte de la comunidad. En concreto nuestros usuarios deberían estar familiarizados con el uso del shell BASH, del que hay multitud de tutoriales sencillos en Internet como el disponible en WikiLibros

Listado de software

En la siguiente tabla se muestra un listado no exhaustivo del software instalado con fines de investigación. La primera columna se corresponde con el nombre, la segunda con la versión y la tercera son notas a tener en cuenta sobre su uso. En algunos casos ese uso se describirá con más detalle en subsiguientes apartados.

Listado de paquetes python según versión

Por la gran demanda que tiene el lenguaje de programación python y, al estar disponible en varias versiones, vamos a detallar en la siguiente tabla los paquetes instalados en cada una de ellas.

Módulos, qué son y cómo afectan al uso de los programas.

Antes de usar algunos paquetes de software, como se ve arriba en las notas, necesitan la carga de un módulo.

Los módulos no son sino unos pequeños scripts que definen variables necesarias para la ejecución de dichos programas. Después de la carga del módulo con el comando que aparece en las notas, podemos ejecutar el programa sin ningún requisito más.

Si en algún momento deseásemos eliminar un módulo (conveniente si pasamos de usar una versión del programa a usar otra distinta), sería necesario descargar el módulo. Para ello usamos el comando siguiente (en el ejemplo se descarga el módulo correspondiente al Python 2.7):

module unload python/2.7

scl

El sistema operativo tiene como compilador estándar el gcc versión 4.8.5 y no se puede instalar de manera tradicional una versión mayor. Sin embargo, sí se puede acceder a compiladores con una versión más alta.

Para ello hay que indicarle al sistema que habilite las características de desarrollo de esa versión más alta, lo que en el caso de la versión que hemos incluido se consigue con el comando

scl enable devtoolset-7 bash

A partir de ahí el uso del compilador gcc es el normal (recuerde que debe usar el comando de carga tanto para compilar como antes de lanzar el ejecutable en el script para que las librerías correspondientes estén disponibles):

$ gcc --version
gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-16)
Copyright (C) 2015 Free Software Foundation, Inc.
Esto es software libre; vea el código para las condiciones de copia. NO hay
garantía; ni siquiera para MERCANTIBILIDAD o IDONEIDAD PARA UN PROPÓSITO EN
PARTICULAR

$ scl enable devtoolset-7 bash
$ gcc --version
gcc (GCC) 7.2.1 20170829 (Red Hat 7.2.1-1)
Copyright (C) 2017 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

Docker: software instalado mediante contenedores

En el caso de algunos paquetes de software se ha tenido que proceder a su instalación mediante el sistema de contenedores Linux conocido como Docker.

Las razones que nos han motivado esta opción son varias. En algunos casos es el propio equipo desarrollador del sistema el que aconseja este método, mientras que en otros casos se debe a que el paquete de software no está disponible para nuestra versión de Linux, pero es instalable de esta forma.

La forma de uso es sencilla, el software se invoca exactamente de la misma forma que si estuviera instalado directamente en nuestro sistema y la única salvedad es que hay un pequeño “mapeo” de carpetas. Como siempre es más fácil de explicar y visualizar mediante un ejemplo, vamos a mostrar la lista de conversiones y luego presentaremos dicho ejemplo

Ejemplo

Supongamos que el usuario u12345678 quiere pasarle el fichero “input.gjf” que se encuentra en la carpeta “input” al Gaussian09 y que los resultados estén disponibles en un fichero llamado “output.log” en una carpeta que se llame igual que el trabajo (configurable con la directiva #SBATCH –job-name=”TEST”) terminado en “.log”. Ambas carpetas están creadas y cuelgan de la carpeta desde la que vamos a lanzar el trabajo.

Vamos a partir del script ejemplo que se halla en nuestras PMF. Aquí no vamos a mostrar las líneas correspondientes a las directivas de sbatch que podrá encontrar en dicho enlace, centrándonos en las líneas correspondientes a los comandos a ejecutar.

#------- CONFIGURACION ENTORNO -------
# En este apartado se configuran variables para que si reutilizamos el script, sólo tengamos que tocar aquí
# Nótese que, salvo las tres o cuatro primeras líneas, no habría que tocar nada más para seguir usando el script
export FICHERO_ENTRADA=input.gjf
export DATASOURCE=$SLURM_SUBMIT_DIR/input
export DATAEND=$SLURM_SUBMIT_DIR/$SLURM_JOB_NAME
export FICHERO_SALIDA=${SLURM_JOB_NAME}.log
# Con las siguientes dos líneas implementamos la conversión de carpetas
export SCRATCH_CAI=/scratch/${USER}/g09
export SCRATCH_DOCKER=/scratch/g09
export GAUSSIAN=/apps/gaussian/g09/g09

# Configuración del scratch
mkdir -p $SCRATCH_CAI

#------- COPIA DE DATOS AL SCRATCH -------
cp $DATASOURCE/$FICHERO_ENTRADA $SCRATCH_CAI/$FICHERO_ENTRADA

#------- EJECUTAMOS EL PROGRAMA -------
# Aquí es donde está lo más interesante. Como lanzamos Gaussian en un modo no interactivo, debemos pasarle el
# fichero de entrada con la carpeta de dentro del docker, pero la redirección de salida si usa la carpeta CAI
srun $GAUSSIAN $SCRATCH_DOCKER/$FICHERO_ENTRADA > $SCRATCH_CAI/$FICHERO_SALIDA
RESULT=$?

#------- SALVAMOS LOS RESULTADOS -------

mv $SCRATCH_CAI/$FICHERO_SALIDA $DATAEND

#------- ELIMINAMOS FICHEROS TEMPORALES -------

rm -rf $SCRATCH_CAI

#------- FIN -------

exit $RESULT

Esta parte del script está diseñada para que el usuario tenga que tocarlo lo menos posible, centrándose en lo que debe ser más importante para él: diseñar el fichero de entrada e interpretar posteriormente el fichero de salida.

Instalación de nuevo software

Si por algún motivo el software que desea no se encuentra disponible tiene dos posibilidades.

Instalación propia

Si el software que desea usar sólo va a ser usado por usted y además no pesa mucho, siempre puede instalarlo en su propio $HOME. No se requieren privilegios especiales para ello, aunque debe asegurarse de definir correctamente las variables necesarias para que el sistema reconozca que usted quiere usar ese programa y no otro que esté instalado en el sistema.

Instalación general

Si el software va a ser de un uso muy general, es muy pesado (ocupa mucho espacio en disco) o bien la instalación es complicada, siempre puede optar por abrir un CAU enviándonos toda la información de que disponga. En especial, esta información debe incluir el tipo de licencia y la licencia si es necesaria,  las instrucciones de instalación suministradas por el fabricante y el software necesario (o un enlace para su descarga).