Para poner a prueba  el disco de fibra creado en el anterior post vamos a disponer de un servidor con Windows Server 2008 y una HBA Emulex LP-10000DC  con drivers en modo Initiator. El escenario creado para esta prueba es el siguiente:

Esquema SAN para VDISK FC

Resumiendo: El servidor Centos con kernel vanilla preparado con proyecto SCST y una HBA con drivers en modo target es configurado para proporcinar un disco virtual(vdisk) a la SAN.  El disco virtual es un fichero que a través del módulo SCST es ofrecido por fibra óptica ( HBA operando en modo target). Por otro lado disponemos de un servidor con un sistema operativo Windows Server 2008  SP1, que dispone de una HBA operando en modo Initiator. Las dos HBAs están conectadas a una SAN y se ha realizado un zonning en el switch de fibra de forma que el Initiator pueda ver la lun correspondiente al vdisk.

Comprobación: Desde el servidor Windows se ve correctamente el disco de fibra creado, desde su administrador de dispositivos:

Device Manager

Aparecen dos discos tipo "disk drives" debido a que la HBA es de dos puertos y están zoneados al mismo disco. Hemos operado con sólo uno de los discos y lo hemos inicializado sin problemas:

Añadir disco - Wizard

Añadir disco - Format

Listado de discos

Desde el servidor Centos comprobamos las sesiones en el target por los initiators (son dos, uno por cada puerto de la HBA Emulex usada):

# cat /proc/scsi_tgt/sessions

Target name          Initiator name                                Group name                   Active/All Commands Count

qla2x00tgt           10:00:00:00:c9:4f:56:a0                       Default                             0/0

qla2x00tgt           10:00:00:00:c9:4f:56:9f                       Default                             0/0

Inicialmente, provocando simultáneas I/Os sobre la lun (copia,  lectura y borrado de ficheros) se obtienen resultados  satisfactorios.

Por otro lado, ya  estamos preparando nuestro próximo proyecto …. la emulación de una librería virtual de cintas (VTL) sobre FC basado en el proyecto mhvtl que  usamos en nuestro laboratorio en su versión para iSCSI.
 

About Angel Ferrás Rodríguez

Ingeniero Superior en Electrónica que trabaja en la actualidad como Analista de Sistemas. Se especializa en Sistemas SAN, Almacenamiento y Backup en base a su experiencia en los sistemas informáticos de grandes cuentas. Escribe en la actualidad en web especializada de almacenamiento sobre soluciones de código abierto.

• Web
|
• LinkedIn
|
• More Posts (19)

En éste post se detallará un procedimiento mediante el  cual  un servidor linux con una HBA  ofrecerá almacenamiento sobre fibra a través del proyecto SCST. Para esta ocasión se ha usado una HBA QLA2340 con el propósito de integrar sus drivers en modo target  con el módulo SCST.

Hemos usado un PC con las siguientes características:

Placa: ASRock ALiveNF7G-GLAN

RAM: 4 GB DDR 800 HHz Mushkin Extreme

Micro: AMD Athlon64 X2 4600+ 2.4 Ghz AM2 Box

SO: Centos 5.5 en su versión de 64 bits

HBA: QLogic QLA 2340

HD: Western Digital Caviar GP 750GB 5400 rpm SATA2 MAESTRO

HBA: QLogic QLA2340 PCI/PCI-X

 

PC usado como target

HBA QLA2340

Fases que consta el procedimiento:

1 – Cargar firmware de HBA

2 – Compilar un Kernel vanilla

3 – Compilar proyecto  SCST y drivers de QLogic

4- Configurar una lun accesible en modo target

1.- Cargar firmware de HBA

Se aconseja que la HBA  tenga un firmware de versión igual o superior a versión 5.xx para versiones de QLOGIC 24/25XX. Para la versión de HBA usada en el laboratorio, QLA2340, hemos descargado  ql2300_fw.bin.3.03.20 desde el siguiente link. Para otra versiones de HBAs QLogic aquí.

Se copia el archivo de firmware en la carpeta  /lib/firmware. Así el módulo qla2xxx(drivers de QLogic) que lleva por defecto la distribución lo cargará en la tarjeta en tiempo de arranque. El éxito de la carga del firmware se observará en la salida del comando dmesg de la siguiente forma :

qla2xxx 0000:01:0a.0: Found an ISP2312, irq 82, iobase 0xffffc20000028000
qla2xxx 0000:01:0a.0: Configuring PCI space…
qla2xxx 0000:01:0a.0: Configure NVRAM parameters…
qla2xxx 0000:01:0a.0: Verifying loaded RISC code…
qla2xxx 0000:01:0a.0: Allocated (412 KB) for firmware dump…
scsi4 : qla2xxx
qla2xxx 0000:01:0a.0:
QLogic Fibre Channel HBA Driver: 8.03.01.04.05.05-k
QLogic QLA2340 – 133MHz PCI-X to 2Gb FC, Single Channel
ISP2312: PCI (33 MHz) @ 0000:01:0a.0 hdma+, host#=4, fw=3.03.26 IPX

2 – Compilar un kernel vanilla

La versión inicial del kernel de partida en Centos 5.5 es:

# uname -a

Linux unknown001966cb53eb 2.6.18-194.3.1.el5 #1 SMP Thu May 13 13:08:30 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

Se descarga una versión vanilla (mainline)  desde kernel.org, versión 2.6.26:

#cd /usr/src

# wget ftp://ftp.kernel.org/pub/linux/kernel/v2.6/linux-2.6.26.tar.bz2

# bunzip2 /usr/src/linux-2.6.26.tar.bz2

# tar -xvf /usr/src/linux-2.6.26.tar

Se crean los enlaces simbólicos linux y kernel :

#ln -s /usr/src/linux-2.6.26 linux

#ln -s /usr/src/linux-2.6.26 kernel

Se descargan las fuentes del proyecto de SCST de su Subversion:

#cd  /root

#svn co https://scst.svn.sourceforge.net/svnroot/scst/trunk

(…)

A    trunk/nightly/bin

A    trunk/nightly/bin/nightly

A    trunk/nightly/README.txt

U   trunk

Revisión obtenida: 1792

Desde la carpeta /root/scst/trunk/src  parchear las fuentes del kernel que nos hemos descargado:



# cd /root/scst/trunk/

# cp /root/scst/trunk/scst/kernel/scst_exec_req_fifo-2.6.26.patch /usr/src

# cp /root/scst/trunk/scst/kernel/scst_exec_req_fifo-2.6.26.patch /usr/src

# cd /usr/src

# patch -p0 < scst_exec_req_fifo-2.6.26.patch

Eliminar los drivers de las fuentes del kernel vanilla y sustituir por su homólogo modificado que proporciona las fuentes de SCST:

# mv /usr/src/linux/drivers/scsi/qla2xxx /usr/src/linux/drivers/scsi/qla2xxx_orig

Incluir el driver de Qlogic en modo target  previo a la compilación del kernel:

#  ln -s /root/scst/trunk/qla2x00t /usr/src/linux/drivers/scsi/qla2xxx

Procedemos a configurar la compilación del kernel y sus módulos:

#cd /usr/src/linux

#make menuconfig

Desde el menú de configuración del kernel activar "Device Drivers->SCSI device support->SCSI low level drivers->Qlogic 2xxx target mode support":

Modificar el fichero Makefile y cambiar la entrada EXTRAVERSION de "-prep"  a "-scst":

#vi Makefile

(…)

VERSION = 2

PATCHLEVEL = 6

SUBLEVEL = 18

EXTRAVERSION = -scst

RHEL_MAJOR = 5

RHEL_MINOR = 5

NAME=Avast! A bilge rat!

(…)

Procedemos a compilar el kernel y módulos:

#make bzImage
(…)

Setup is 11384 bytes (padded to 11776 bytes).

System is 2783 kB

CRC 5f0d96a4

Kernel: arch/x86/boot/bzImage is ready (#1)

#make modules

 

(…)

Building modules, stage 2.

MODPOST 3 modules

CC drivers/net/s2io.mod.o

LD [M] drivers/net/s2io.ko

CC drivers/scsi/qla2xxx/qla2xxx.mod.o

LD [M] drivers/scsi/qla2xxx/qla2xxx.ko

CC drivers/scsi/scsi_wait_scan.mod.o

LD [M] drivers/scsi/scsi_wait_scan.ko

#make modules_install
#make install

Si el proceso ha ido bien, tendremos una entrada en el grub para el nuevo kernel creado preparado para levantar el modo target de la HBA:

#cat /boot/grub/menu.lst

(…)

title CentOS (2.6.26)
root (hd0,2)
kernel /vmlinuz-2.6.26 ro root=/dev/VolGroup00/LogVol00 rhgb quiet
initrd /initrd-2.6.26.img

(…)

Hacemos un reinicio del sistema y arrancamos desde grub en CentOS (2.6.26) o el que se haya creado.

3 – Compilar proyecto  SCST y drivers de QLogic

Después del reinicio se comprueba que se ha cargado el nuevo kernel creado:

#uname -a
Linux unknown001966cb53eb 2.6.26 #1 SMP Sun Jun 27 19:42:12 CEST 2010 x86_64 x86_64 x86_64 GNU/Linux

Sobre el que compilaremos el módulo SCST que nos permitirá crear aquellos dispositivos visibles a través del target de fibra.

#cd /root/scst/trunk/scst/src

#make all

(…)

CC /root/scst/trunk/scst/src/scst.mod.o

LD [M] /root/scst/trunk/scst/src/scst.ko

make[1]: se sale del directorio `/usr/src/linux-2.6.26'

#make install

install -m 644 ../include/scst_const.h /usr/local/include/scst
rm -f /usr/local/include/scst/Modules.symvers
install -m 644 Module.symvers /usr/local/include/scst
/sbin/depmod -a 2.6.26
mkdir -p /var/lib/scst/pr
****************************************************************
*!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!*
*!!                                                          !!*
*!!  Now don't forget to rebuild and reinstall all your      !!*
*!!  target drivers, custom dev handlers and necessary user  !!*
*!!  space applications. Otherwise, because of the versions  !!*
*!!  mismatch, you could have many problems and crashes.     !!*
*!!  See IMPORTANT note in the "Installation" section of     !!*
*!!  SCST's README file for more info.                       !!*
*!!                                                          !!*
*!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!*
****************************************************************

# cd /root/scst/trunk/qla2x00t/qla2x00-target/

# make

(…)

target/qla2x00tgt.mod.o

LD [M] /root/scst/trunk/qla2x00t/qla2x00-target/qla2x00tgt.ko

make[1]: se sale del directorio `/usr/src/linux-2.6.26'

# make install

(…)

INSTALL /root/scst/trunk/qla2x00t/qla2x00-target/qla2x00tgt.ko

DEPMOD 2.6.26

make[1]: se sale del directorio `/usr/src/linux-2.6.26'

/sbin/depmod -a 2.6.26

Los binarios recién compilados se encuentran como módulos en /lib/modules/linux-2.6.26/extra:

# ls /lib/modules/2.6.26/extra/
dev_handlers  qla2x00tgt.ko  scst.ko

# ls -l /lib/modules/`uname -r`/extra/dev_handlers

/lib/modules/`uname -r`/extra/dev_handlers
total 224
-rw-r–r– 1 root root 13792 jun 27 19:55 scst_cdrom.ko
-rw-r–r– 1 root root 11375 jun 27 19:55 scst_changer.ko
-rw-r–r– 1 root root 15209 jun 27 19:55 scst_disk.ko
-rw-r–r– 1 root root 15366 jun 27 19:55 scst_modisk.ko
-rw-r–r– 1 root root 11391 jun 27 19:55 scst_processor.ko
-rw-r–r– 1 root root 11351 jun 27 19:55 scst_raid.ko
-rw-r–r– 1 root root 15142 jun 27 19:55 scst_tape.ko
-rw-r–r– 1 root root 51965 jun 27 19:55 scst_user.ko
-rw-r–r– 1 root root 62807 jun 27 19:55 scst_vdisk.ko

¿ que es cada módulo?

- scst – SCST itself
- scst_disk – device handler for disks (type 0)
- scst_tape – device handler for tapes (type 1)
- scst_processor – device handler for processors (type 3)
- scst_cdrom – device handler for CDROMs (type 5)
- scst_modisk – device handler for MO disks (type 7)
- scst_changer – device handler for medium changers (type
- scst_raid – device handler for storage array controller (e.g. raid) (type C)
- scst_vdisk – device handler for virtual disks (file, device or ISO CD image).
- scst_user – user space device handler

4- Configurar una lun accesible en modo target

Para éste propósito se usará el módulo scst_vdisk a través del cual se ofrecerá un fichero de tamaño definido como una lun tipo disco en la SAN.

Cargamos los módulos, que para este caso sólo se necesitarían qla2xxx, qla2x00tgt y scst_vdisk, pero ya estamos pensando en el futuro

# for _mod in scst qla2xxx qla2x00tgt scst_vdisk scst_disk scst_changer scst_tape; do modprobe $_mod; done

# lsmod

Module Size Used by

scst_tape 10368 0

scst_changer 7936 0

scst_disk 10368 0

scst_vdisk 40556 0

qla2x00tgt 51480 0

scst 192628 5 scst_tape,scst_changer,scst_disk,scst_vdisk,qla2x00tgt

qla2xxx 186700 1 qla2x00tgt

Se crea un fichero de 512 MB en /mnt con nombre disk1:

# dd if=/dev/zero of=/mnt/disk1 bs=1024k count=512

512+0 records in

512+0 records out

536870912 bytes (537 MB) copied, 5,87352 seconds, 91,4 MB/s

# file /mnt/disk1

/mnt/disk1: data

Y se configura para que sea visible por la HBA:

# echo "open vm_disk /mnt/disk1" > /proc/scsi_tgt/vdisk/vdisk

#  echo "add vm_disk 0" >/proc/scsi_tgt/groups/Default/devices

El resultado de este proceso se puede observar en la salida del comando dmesg:

scst: Attached to scsi2, channel 0, id 0, lun 0, type 0
scst: Processing thread scsi_tgt0 (PID 6116) started
scst: Processing thread scsi_tgt1 (PID 6117) started
scst: Init thread started, PID 6118
scst: Task management thread started, PID 6119
scst: Management thread started, PID 6120
scst: SCST version 2.0.0-rc2-procfs loaded successfully (max mem for commands 928MB, per device 371MB)
scst: Enabled features: TRACING
Initializing QLogic Fibre Channel HBA Driver target mode addon version 2.0.0-rc2
Target mode driver for QLogic 2×00 controller registered successfully
scst: Target template qla2x00tgt registered successfully
scst: Virtual device handler vdisk_fileio for type 0 registered successfully
scst: Virtual device handler vdisk_blockio for type 0 registered successfully
scst: Virtual device handler vdisk_nullio for type 0 registered successfully
scst: Virtual device handler vcdrom for type 5 registered successfully
scst: Device 2:0:0:0: TST 0, QUEUE ALG 0, SWP 0, TAS 0, D_SENSE 0, has_own_order_mgmt 1
scst: Device handler "dev_disk" for type 0 registered successfully
scst: Device handler "dev_disk_perf" for type 0 registered successfully
scst: Device handler "dev_changer" for type 8 registered successfully
scst: Device handler "dev_tape" for type 1 registered successfully
scst: Device handler "dev_tape_perf" for type 1 registered successfully
dev_vdisk: Registering virtual vdisk_fileio device vm_disk
dev_vdisk: Attached SCSI target virtual disk vm_disk (file="/mnt/disk1", fs=512MB, bs=512, nblocks=1048576, cyln=512)
scst: Attached to virtual device vm_disk (id 1)
scst: Added device vm_disk to group Default (LUN 0, rd_only 0)

Para activar el modo target sólo quedaría introducir el valor 1 en el fichero target_mode_enabled correspondiente a su scsi_host asociado como interfaz sysfs.

# echo "1" >/sys/class/scsi_host/host5/target_mode_enabled

Dejo unas comprobaciones verificando la correcta configuración de nuestro vdisk:

# cat /sys/class/scsi_host/host5/active_mode

Target

#  cat /proc/scsi_tgt/scsi_tgt
Device (host:ch:id:lun or name)                             Device handler
2:0:0:0                                                     dev_disk
vm_disk                                                     vdisk_fileio

# cat /proc/scsi_tgt/vdisk/vdisk

Name Size(MB) Block size Options File name T10 device id

vm_disk 512 512 /mnt/disk1 vm_disk 968d2339

#  cat /proc/scsi_tgt/groups/Default/devices

Device (host:ch:id:lun or name) LUN Options

vm_disk 0

 

El el siguiente post pondremos a prueba nuestro disco creado, usando un initiator de fibra sobre un host Windows Server 2008 con HBA QLA2340.

Fuentes:

How to configure QLogic target driver for 22xx/23xx/24xx/25xx adapters. Step by step guide.

About Angel Ferrás Rodríguez

Ingeniero Superior en Electrónica que trabaja en la actualidad como Analista de Sistemas. Se especializa en Sistemas SAN, Almacenamiento y Backup en base a su experiencia en los sistemas informáticos de grandes cuentas. Escribe en la actualidad en web especializada de almacenamiento sobre soluciones de código abierto.

• Web
|
• LinkedIn
|
• More Posts (19)

Dedicamos una serie de artículos a conocer el proyecto  SCST como virtualizador de almacenamiento en Open Source.

Su implementación para targets de almacenamiento iSCSI está bastante difundido pero no lo es tanto en fibra óptica (FCP). Tanto Qlogic como Emulex, líderes en el mercado del chipset de comunicaciones en HBAs, han liberando su versión de drivers que conmutan de initiator a target, haciendo posible conocer el funcionamiento, protocolos de comunicación y adecuación a estándares  provocados por proyectos abiertos como SCST en Linux o COMSTAR en OpenSolaris.

Como pasó en su momento con el proyecto Xen en el campo de la virtualización, no queda mucho para ver como las distribuciones enterprise UNIX cercanas al Open Source contendrán en sus repositorios el driver dual (initiator/target) de las HBAs. De esta forma un servidor podrá convertirse en una cabina de almacenamiento, o podrá emular cualquier otro dispositivo de fibra. Esta tendencia en la actualidad es liderada por Oracle/Sun Microsystems en sus productos OpenStorage (incluye modo target de Fibra basado en COMSTAR) u OpenSolaris/Solaris Express 11 (llevan los drivers duales para emulex y qlogic). Distribuciones UNIX enterprise como Redhat , Novell/Suse y Ubuntu contendrán en su Sistema Operativo en breve soluciones equivalentes basadas en SCST, pudiendo provocar un golpe de efecto en el negocio del almacenamiento en fibra.

Hemos elaborado varios artículos sobre el software SCST con el objetivo de difundir el proyecto y mostrar diferentes implementaciones en nuestro laboratorio :

- ¿Qué es SCST?

 

- Disco de fibra emulado con SCST

 

- Pruebas de Disco sobre FC basado en SCST

 

- VTL en Almacenamiento Abierto

Nota: link de empresas que desarrollan software sobre SCST.

About Angel Ferrás Rodríguez

Ingeniero Superior en Electrónica que trabaja en la actualidad como Analista de Sistemas. Se especializa en Sistemas SAN, Almacenamiento y Backup en base a su experiencia en los sistemas informáticos de grandes cuentas. Escribe en la actualidad en web especializada de almacenamiento sobre soluciones de código abierto.

• Web
|
• LinkedIn
|
• More Posts (19)

Un usuario de los foros de nimsa ha subido a un portal de descargas la imagen de una máquina virtual para plataforma VMWARE con el proyecto mhvtl y scst-iscsi incluido. Así de forma rápida se puede disfrutar de la VTL sin tener que pasar por los pasos de compilación  descrito en un  post anterior.

Las características de esta máquina virtual son:

Kernel: 2.6.32.11+drm33 updated with scst patches
VLT: Version – 0.18-7, Robot – QUANTUM PX720, Drives – 4x SDLT600
Storage:100GB ext4 LVM, thin provisioned disk (if you want to add more space simply add new disk to VM, resize Logical Volume lv1 and ext4 filesystem)

Descargable directamente desde aquí(385.MB RAR, password: mhvtl_mk).

Detalles de configuración del SO:

IP: 10.201.0.106 (you should to change it in /etc/network/interfaces)
user: user1, password: user1

Fuente: Foros de nimsa

Detalles de la máquina virtual y enlaces de descarga aquí.

About Angel Ferrás Rodríguez

Ingeniero Superior en Electrónica que trabaja en la actualidad como Analista de Sistemas. Se especializa en Sistemas SAN, Almacenamiento y Backup en base a su experiencia en los sistemas informáticos de grandes cuentas. Escribe en la actualidad en web especializada de almacenamiento sobre soluciones de código abierto.

• Web
|
• LinkedIn
|
• More Posts (19)

Incorporamos a nuestro laboratorio una VTL basada en el proyecto Linux Virtual Tape Library.  Desarrollaremos en diferentes artículos como se crea y configura cada elemento y escenario de nuestro entorno de pruebas. Para la sección VTL  hemos preparado los siguientes artículos :

- Virtualización de librerías de cintas. Breve introducción a las librerías de cintas virtuales.

- ¿Que es SCST? Introducción al proyecto SCST sobre el cual está basado el proyecto Linux Virtual Tape Library.

- VTL Open Source sobre iSCSI. Una guía para implementar paso a paso y de forma secilla una VTL iSCSI basada en el proyecto Linux Virtual Tape Library.

- Comprobación de VTL Open Source iSCSI operando con software de backup de Symantec. Un ejemplo que expone como un software típico de administración de backup opera con la VTL creada en el capítulo anterior.

- VTL Open Source en Ubuntu 10.04 descargable para VMWARE

- VTL Open Source sobre FC. Una guía para implementar paso a paso y de forma secilla una VTL FC basada en el proyecto Linux Virtual Tape Library.

About Angel Ferrás Rodríguez

Ingeniero Superior en Electrónica que trabaja en la actualidad como Analista de Sistemas. Se especializa en Sistemas SAN, Almacenamiento y Backup en base a su experiencia en los sistemas informáticos de grandes cuentas. Escribe en la actualidad en web especializada de almacenamiento sobre soluciones de código abierto.

• Web
|
• LinkedIn
|
• More Posts (19)

A continuación se muestra como la VTL Open Source sobre iSCSI creada en el capítulo anterior se integra en un software típico de administración de copias de seguridad en cintas como Symantec Backup Exec 12.5 para servidores Windows.

El entorno elegido ha sido un Windows Server 2008 SP1 de 32 bits. Se ha hecho un escaneo de la IP del servidor que contiene el proyecto mhvtl desde su iSCSI initiator y ha reconocido todos sus dispositivos:

Desde la consola de Symantec Backup Exec 12.5 se observan igualmente las librerías y lectores de cintas:

Se hace una prueba sencilla: copia de respaldo de una carpeta del servidor y su restauración. Como se puede observar concluyen con éxito:

About Angel Ferrás Rodríguez

Ingeniero Superior en Electrónica que trabaja en la actualidad como Analista de Sistemas. Se especializa en Sistemas SAN, Almacenamiento y Backup en base a su experiencia en los sistemas informáticos de grandes cuentas. Escribe en la actualidad en web especializada de almacenamiento sobre soluciones de código abierto.

• Web
|
• LinkedIn
|
• More Posts (19)

La instalación se hará en cuatro fases:

1.- Obtener las fuentes del núcleo de Linux

2.- Compilar un núcleo con el proyecto SCST

3.- Compilar proyecto mhvtl

4.- Configurar dispositivos para mhvtl



El escenario:

Se ha elegido la instalación sobre un Sistema Operativo Centos versión 5.4 de 64 bits. En nuestro AA Labs hemos elegido una máquina virtual  hospedada en un VMWARE Server sobre OpenSuse 11.2.

1.- Obtener las fuentes del núcleo de Linux

Documentación:

Wiki CentOS: http://wiki.centos.org/HowTos/I_need_the_Kernel_Source

Foros de nimsa

Procedimiento:

Instalar entorno de compilación y todos los paquetes necesitados para las cuatro fases junto con todas sus dependencias:

# yum install make gcc hmaccalc openssl openssl-devel zlib-devel lsscsi mt-st mtx rpm-build redhat-rpm-config unifdef kernel-headers subversion

Crear usuario vtl y asignar contraseña:

# useradd vtl
# passwd vtl

Crear directorios /opt/mhvtl y /etc/mhvtl y se hace propietario a nuevo usuario:

# mkdir /opt/mhvtl
# chown -Rf vtl:vtl /opt/mhvtl

# mkdir /etc/mhvtl
# chown -Rf vtl:vtl /etc/mhvtl

Loguearse como usuario vtl:

#su – vtl

Conocer la versión del núcleo Linux que corre en tu sistema:

$ uname -a

Linux centos.ferras.local 2.6.18-194.3.1.el5 #1 SMP Thu May 13 13:08:30 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

Desempaquetar y preparar los archivos Fuentes:

[vtl@centos ~]$ cd

[vtl@centos ~]$ mkdir -p rpmbuild/{BUILD,RPMS,SOURCES,SPECS,SRPMS}

[vtl@centos ~]$ echo '%_topdir %(echo $HOME)/rpmbuild' > .rpmmacros

Descargar el paquete de Fuentes que corresponde a la versión de Kernel de tu CentOS/RHEL desde aquí e instalarlo:

$ rpm -i http://mirror.centos.org/centos/5/updates/SRPMS/kernel-2.6.18-194.3.1.el5.src.rpm

$ cd ~/rpmbuild/SPECS

$ rpmbuild -bp --target=`uname -m` kernel-2.6.spec

Comprobar que el árbol de fuentes del kernel esté en /home/vtl/rpmbuild/BUILD/:

$ ls ~/rpmbuild/BUILD/

kernel-2.6.18[vtl@centos SPECS]$ cp -Rf /home/vtl/rpmbuild/BUILD/kernel-2.6.18/linux-2.6.18.x86_64 /usr/src/kernels/

Copiarlos como root a /usr/src/kernels:

#cp -Rf /home/vtl/rpmbuild/BUILD/kernel-2.6.18/linux-2.6.18.x86_64 /usr/src/kernels/

2.- Compilar un núcleo con el proyecto SCST

Documentación:

Howto ISCSI-SCST: http://iscsi-scst.sourceforge.net/iscsi-scst-howto.txt

Foros de nimsa

Procedimiento:

Como usuario root descargar proyecto scst con subversion y añadir los parches indicados:

# cd /root

# svn co https://scst.svn.sourceforge.net/svnroot/scst/trunk scst

# cd /usr/src/kernels/linux-2.6.18.x86_64

# patch -p1 < /root/scst/iscsi-scst/kernel/patches/put_page_callback-2.6.18.1.patch

# patch -p1 < /root/scst/scst/kernel/scst_exec_req_fifo-2.6.18.patch

Compilar la imagen del kernel:

# make clean
# make && make modules
# make modules_install && make install

Comprobar que ha creado entrada el el grub de nuevo kernel vmlinuz-2.6.18-prep:

# cat /boot/grub/menu.lst

(…)

title CentOS (2.6.18-prep)

root (hd0,0)

kernel /vmlinuz-2.6.18-prep ro root=/dev/VolGroup00/LogVol00

initrd /initrd-2.6.18-prep.img

Reiniciar sistema con nuevo kernel y comprobarlo:

# uname -a

Linux centos.ferras.local 2.6.18-prep #1 SMP Thu May 20 21:13:48 CEST 2010 x86_64 x86_64 x86_64 GNU/Linux

Crear e instalar módulo scst:

#cd /root/scst
#make scst scst_install iscsi iscsi_install scstadm scstadm_install

3.- Compilar proyecto mhvtl

Documentación:

Proyecto Linux Virtual Tape Library

Foros de nimsa

Procedimiento:

Descargar proyecto mhvl en formato tgz desde aquí, se ha elegido la versión de desarrollo mhvtl-2010-05-08 (0.18-7):

# wget http://sites.google.com/site/linuxvtl2/mhvtl-2010-05-08.tgz?attredirects=0

Descomprimir y compilar:

# tar xzvf mhvtl-2010-05-08.tgz

# cd mhvtl-0.18/

# make distclean

# cd kernel

# make

# make install

# cd ..

#make

# make install

4.- Configurar dispositivos para mhvtl

Documentación:

Foros de nimsa

Procedimiento:

En el foro de nimsa se ha publicado un script para la creación automática de los ficheros de configuración iscsi-scstd.conf y scst.conf. De esta forma crea una configuración particular de librerías y drives emulados por iSCSI:

[root@centos ~]# cat make_scst_config.sh

#!/bin/ksh

# Customize your own

IQN=iqn.2010-05.es.ferras

# Build /etc/iscsi-scstd.conf

lsscsi -g | grep -e tape -e mediumx| awk '{print $1}'| cut -d "[" -f2| cut -d "]" -f1| while read each; do

echo "Target $IQN:$each" >>/tmp/iscsi-scstd.tmp

done

if [ -f /etc/iscsi-scstd.conf ]; then

cp -f /etc/iscsi-scstd.conf /etc/iscsi-scstd.conf_`date +%m%d%y%H%M%S`

echo Created backup of existing /etc/iscsi-scstd.conf as /etc/iscsi-scstd.conf_`date +%m%d%y%H%M%S`

fi

cat /tmp/iscsi-scstd.tmp >/etc/iscsi-scstd.conf

echo Created new /etc/iscsi-scstd.conf

rm -f /tmp/iscsi-scstd.tmp

echo ——-

# Build /etc/scst.conf

echo "[HANDLER changer]" >/tmp/scst.tmp

lsscsi -g| grep mediumx | awk '{print $1}'| cut -d "[" -f2| cut -d "]" -f1| while read each1; do

echo DEVICE $each1 >>/tmp/scst.tmp

done

echo "[HANDLER tape]" >>/tmp/scst.tmp

lsscsi -g| grep tape | awk '{print $1}'| cut -d "[" -f2| cut -d "]" -f1 | while read each2; do

echo DEVICE $each2 >>/tmp/scst.tmp

done

lsscsi -g | grep -e tape -e mediumx|awk '{print $1}'| cut -d "[" -f2| cut -d "]" -f1| while read each3; do

echo "[GROUP Default_$IQN:$each3]" >>/tmp/scst.tmp

done

lsscsi -g | grep -e tape -e mediumx| awk '{print $1}'| cut -d "[" -f2| cut -d "]" -f1| while read each4; do

echo "[ASSIGNMENT Default_$IQN:$each4]" >>/tmp/scst.tmp

echo "DEVICE $each4,0" >>/tmp/scst.tmp

done

if [ -f /etc/scst.conf ]; then

cp -f /etc/scst.conf /etc/scst.conf_`date +%m%d%y%H%M%S`

echo Created backup of  existing /etc/scst.conf as /etc/scst.conf_`date +%m%d%y%H%M%S`

fi

cat /tmp/scst.tmp >/etc/scst.conf

echo Created new /etc/scst.conf

rm -f /tmp/scst.tmp

echo — Done —

Ejecutarlo:

# sh make_scst_config.sh

Arrancar mhvtl:

/etc/init.d/mhvtl start

Cargar los módulos scst:

modprobe scst
modprobe scst_tape
modprobe scst_changer

Si hemos llegado hasta aquí sin errores deberíamos ver los nuevos dispositivos SCSI del sistema:

# lsscsi

[0:0:0:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sda

[1:0:0:0]    mediumx SPECTRA  PYTHON           550V  -

[1:0:1:0]    tape    IBM      ULT3580-TD4      550V  /dev/st0

[1:0:2:0]    tape    IBM      ULT3580-TD4      550V  /dev/st1

[1:0:3:0]    tape    IBM      ULT3580-TD4      550V  /dev/st2

[1:0:4:0]    tape    IBM      ULT3580-TD4      550V  /dev/st3

[1:1:0:0]    mediumx SPECTRA  PYTHON           550V  -

[1:1:1:0]    tape    IBM      ULT3580-TD4      550V  /dev/st4

[1:1:2:0]    tape    IBM      ULT3580-TD4      550V  /dev/st5

[1:1:3:0]    tape    IBM      ULT3580-TD4      550V  /dev/st6

[1:1:4:0]    tape    IBM      ULT3580-TD4      550V  /dev/st7

# cat /proc/scsi_tgt/scsi_tgt

Device (host:ch:id:lun or name)                             Device handler

0:0:0:0                                                     dev_disk

1:0:1:0                                                     dev_tape

1:0:2:0                                                     dev_tape

1:0:3:0                                                     dev_tape

1:0:4:0                                                     dev_tape

1:1:1:0                                                     dev_tape

1:1:2:0                                                     dev_tape

1:1:3:0                                                     dev_tape

1:1:4:0                                                     dev_tape

1:0:0:0                                                     dev_changer

1:1:0:0                                                     dev_changer

Una comprobación de que los targets iSCSI están correctamente levantados puede ser la siguiente: Desde un Windows XP con el initiator iSCSI instalado se hace un scan a la IP del servidor mhvtl. Se deberán detectar todos los dispositivos iSCSI:

Y desde el  Administrador de dispositivos:

El el siguiente capítulo vamos a poner a prueba la mhvtl creada desde un software de backup, Symantec Backup Exec.

About Angel Ferrás Rodríguez

Ingeniero Superior en Electrónica que trabaja en la actualidad como Analista de Sistemas. Se especializa en Sistemas SAN, Almacenamiento y Backup en base a su experiencia en los sistemas informáticos de grandes cuentas. Escribe en la actualidad en web especializada de almacenamiento sobre soluciones de código abierto.

• Web
|
• LinkedIn
|
• More Posts (19)

SCST (SCSI target subsystem for Linux) permite la creación de sofisticados dispositivos de almacenamiento con avanzada funcionalidad tales como replicación, thin provisioning, deduplicación, alta disponibilidad y copias de seguridad automáticas. Otra clase de dispositivos pueden ser librerías de cintas virtuales (VTL) y otras soluciones basadas en discos. SCST ya que no está limitado solamente a dispositivos basados en red IP, sino que también soporta cualquier tipo de intercambio de datos basados en SCSI, incluidos Fibra Óptica, iSCSI, SAS, InfiniBand y Wide SCSI.

SCST  provee de forma unificada y consistente una interfaz al sistema  entre los drivers de target SCSI y el kernel de Linux,  también entre los controladores de almacenamiento del backend o controladores de los targets conectados con el almacenamiento real o emulados.

¡ Posiblemente tu servidor o cabina de almacenamiento esté corriendo SCST en su firmware !

El proyecto SCST está compuesto en una serie de subproyectos: Target SCSI genérico de capa media (generic SCSI target mid-layer itself) con un conjunto de controladores de dispositivos y de targets, junto con utilidades en el espacio del usuario.

Página del proyecto : http://scst.sourceforge.net/

About Angel Ferrás Rodríguez

Ingeniero Superior en Electrónica que trabaja en la actualidad como Analista de Sistemas. Se especializa en Sistemas SAN, Almacenamiento y Backup en base a su experiencia en los sistemas informáticos de grandes cuentas. Escribe en la actualidad en web especializada de almacenamiento sobre soluciones de código abierto.

• Web
|
• LinkedIn
|
• More Posts (19)

Desde la bajada  del precio de los discos, las soluciones de copias de seguridad y recuperación de desastres en los Centros de Datos estan cambiado. La forma tradicional para mantener copias de los datos de nuestros Data Centers ha sido durante décadas sobre cintas magnéticas. Los discos, en la actualidad por precio,  mejoras en consumo eléctrico, rendimiento y aumento descomunal de su capacidad, auguran la muerte del soporte magnético que tantas décadas han puesto nuestros datos a buen recaudo. Paralelamente durante estos años se ha desarrollado  un software que garantiza la eficacia y el éxito de las copias, automatizando dichas tareas de forma desantendida. La calidad del software de gestión automática de backup y recuperación de desastres se ha convertido en un amortiguador de migración de soportes. Con la reciente aparición de soluciones tipo VDR/SRM en los entornos virtualizados de VMWARE nos podemos hacer una idea del futuro próximo de las fórmulas de backup y contingencia que encontraremos. En la actualidad los grandes proveedores  de almacenamiento nos proponen un modelo híbrido que incluyen una de las soluciones software de administración automática de copias de seguridad tales como Netbackup, Legato o TSM pero sustituyendo las clásicas librería de cintas por homólogos virtulizados  llamados VTL (Virtual Tape Library), que a su vez pueden convivir con las clásicas proporcionando mejoras sustanciales en las ventanas de copias. Estas librerías de cintas virtuales son servidores que disponen de targets de fibra óptica, iscsi (o cualquier protocolo de almacenamiento ej. SAS) emulando a nivel software librerías y lectores de cintas estándares y dialogan como tales con los administradores software de copias de seguridad, con la diferencia que la información es guardada en discos. De esta forma se consigue desde la administración de los sistemas de copias de seguridad tradicional que la migración de soporte, magnético a disco, no cambie, disfrutando de las virtudes de este software clásico de administración junto con otras de las excelencias que tiene esta migración, el incremento de velocidad de la copia y restauración. Éste modelo híbrido en una solución ideal, implementándose desde hace tiempo con éxito en muchos centros de datos, ejemplo de ello son las VTLs de FalconStore . Desde Almacenamiento Abierto, vamos a dedicar una sección a estos entornos virtualizados, aprendiendo como implementar una solución Open Source e integración con un software clásico de backup.

About Angel Ferrás Rodríguez

Ingeniero Superior en Electrónica que trabaja en la actualidad como Analista de Sistemas. Se especializa en Sistemas SAN, Almacenamiento y Backup en base a su experiencia en los sistemas informáticos de grandes cuentas. Escribe en la actualidad en web especializada de almacenamiento sobre soluciones de código abierto.

• Web
|
• LinkedIn
|
• More Posts (19)