Se ha creado el proyecto QUADSTOR como solución  que proporciona almacenamiento virtualizado. Con base en FreeBSD, añade una interfaz gráfica  web para la administración sencilla de almacenamiento. Basado en el proyecto IET portado por ellos mismos a FreeBSD, permite crear lunes (VDISKs) y ofrecerlas por fibra o iSCSI con características propias de almacenamiento enterprise actual: deduplicación, thin provisioning, soporte VAAI (vStorage APIs for Array Integration) para VSphere 5, además de proporcionar CIFS y NFS.

El proyecto se encuentra en la actualidad en fase beta y se puede usar en universidad y empresa libremente, pero … ni se puede distribuir, ni realizar ingeniería inversa previo a su consentimiento.

Hoy me encontré con el siguiente problema en un entorno VSphere 4.1:

Tenía una LUN iSCSI mapeada directamente a un huésped con sistema Operativo Centos que hace las funciones de NAS, se trata de una forma de añadir un disco denominada "RAW Device Mapping" o RDM. Me dispongo a eliminar este servidor con la intención de convertir esta lun en un datastore VMFS para los hosts ESX de un clúster VSPHERE. Después de eliminar el disco RDM y la máquina virtual enganchada a éste, desde el wizard del cliente VSphere es imposible añadirlo como DataStore (Add Storage),  con el siguiente error:

Error: Call "HostDatastoreSystem.CreateVmfsDatastore"  for object; "datastoreSystem-143" on vCenter Server …… failed.

Después de googlear un poco encuentro con la solución en el siguiente blog:

http://vcpgeeks.blogspot.com/2010/03/while-adding-lun-to-esx-error-unable.html

Por lo que se ve, al añadir el disco previamente como RDM lo considera de tipo gpt y no como msdos. Lo muestro en las salidas por consola (ssh) siguientes:

[root@AGSS03 ~]# fdisk -l

Disk /dev/sdb: 73.4 GB, 73407868928 bytes
255 heads, 63 sectors/track, 8924 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot      Start         End      Blocks   Id  System
/dev/sdb1   *           1         140     1124518+  83  Linux
/dev/sdb2             141         154      112455   fc  VMware VMKCORE
/dev/sdb3             155        8924    70445025    5  Extended
/dev/sdb5             155        8924    70444993+  fb  VMware VMFS

Disk /dev/sdc: 8392 MB, 8392802304 bytes
255 heads, 63 sectors/track, 1020 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1         127     1020096   82  Linux swap / Solaris
/dev/sdc2             128         382     2048287+  83  Linux
/dev/sdc3             383        1020     5124735    5  Extended
/dev/sdc5             383        1020     5124703+  83  Linux

WARNING: GPT (GUID Partition Table) detected on '/dev/sdd'! The util fdisk doesn't support GPT. Use GNU Parted.

Disk /dev/sdd: 1800.3 GB, 1800324251648 bytes
255 heads, 63 sectors/track, 218876 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1      218877  1758129151+  ee  EFI GPT

[root@AGSS03 ~]# parted /dev/sdd
GNU Parted 1.8.1
Using /dev/sdd
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) print

Model: FSC FibreCAT_SX1 (scsi)
Disk /dev/sdd: 1800GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number  Start   End     Size    File system  Name  Flags
1      17.4kB  1800GB  1800GB                     lvm

(parted)

 

 

 

Este problema se soluciona cambiando la tabla de partición de gpt a msdos, desde la utilidad parted con el comando "mklabel msdos":

[root@AGSS03 ~]# parted /dev/sdd
GNU Parted 1.8.1
Using /dev/sdd
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel msdos

Warning: The existing disk label on /dev/sdd will be destroyed and all data on this disk will be lost. Do you want to continue?
Yes/No? Yes
New disk label type?  [gpt]? msdos
(parted) print

 

 

 

 

Model: FSC FibreCAT_SX1 (scsi)
Disk /dev/sdd: 1800GB
Sector size (logical/physical): 512B/512B
Partition Table: msdos

Number  Start  End  Size  Type  File system  Flags

 

 

 

De esta forma ya es posible añadirlo como DataStore desde el wizard … bendito Google!

Éste procedimiento no servirá para ESXi ya que  no dispone de la utilidad parted, hay un procedimiento descrito por VMware usando la utilidad dd al final del siguiente artículo:

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1008886

En tiempos de crisis proponemos “cocinar” una SAN a bajo precio con los siguientes ingredientes:

iSCSI

iSCSI   es una alternativa a la clásica SAN de fibra óptica, es económica su implementación ya  que no requiere de una infraestructura y tecnología adiccional Hardware de costosas HBAs y Switches de Fibra. Con sólo un switch ethernet ( o dos que aporten redundancia de acceso) y  con un servidor con tarjetas Ethernet de Gigabit junto con unos discos ya tendrías una SAN. Los initiators y targets  iSCSI en muchos sistemas operativos para servidores actuales es gratuito y ya vienen con la distribución, al igual que las soluciones de multicamino (multipath).

DISCOS

En la actualidad se diponen discos de buen precio y alta capacidad para una solución de rango medio (midrange). Un ejemplo podría ser 4 discos SATA de 3Gb/s ,  capacidad 2 TB,  64 MB de Caché y 7200 rpm  podrían salir a unos 500€. Proporcionando aproximadamente unos 6 TB en RAID software con MDADM (solución de servidores Linux de RAID software) , que nos da una media de 111 euros por Tera tolerante a fallo (RAID).

Preguntadle a vuestro proveedor de SAN cuanto saldría el TB en fibra …  

Haciendo justicia no es comparable una cabina de discos en fibra en cuanto a rendimiento debido a sus fenomenales características Hardware. Sus discos tienen un rendimiento mayor,  15.000 rpm frente a los 7200 rpm que tienen  los discos SATA, comparativamente  pueden  duplicar las I/Os y mejoras como gestión de colas o DIF T10 . En un entorno de alta capacidad frente a rendimiento, sería adecuado nuestra propuesta con discos SATA, en caso contario, incluir discos SAS  con una controladora  será una alternativa  más adecuada.

RAID

La tecnología RAID Hardware dejó de ser hace años exclusiva de entornos enterprise y cualquier placa de PC lleva integrado una controladora de discos SATA con soporte de RAID 0,1,5.  Por otro lado los resultados del RAID por software (MDADM, ZFS, …) y los gestores de volúmenes (Logical Volumen Manager – LVM ,Solaris Volumen Manager – SVM ,Veritas Volume Manager – VxVM, ZFS, …) demuestran ser alternativa eficaz que  complementan de forma segura y hacen flexible cualquier cambio posterior en el almacenamiento.

MULTIPATH

Una solución SAN en iSCSI necesitaría de un switch ethernet para conectar los Initiator/s con los Target/s. Un diseño en SAN de fibra típico sería redundar HBAs y Switches de fibra proporcionando multicamino (multipah) al sistema, se conseguiría de esta forma prevenir de cualquier fallo Hardware la continuidad de acceso a los discos. Esta tolerancia a fallos también es posible realizarse por analogía en iSCSI, redundando tarjetas  y switches ethernet, acompañado de un software multipath.

PROXY SAN/NAS

Cualquier sistema UNIX/Linux dispone de soporte para fibra e iSCSI, con una correcta configuración se podría realizar un redirección de los volúmnes (lunes) en fibra a traves de iSCSI sobre ethernet y combinar con  cualquier protocolo de compartición de ficheros como SMB o NFS. Ésto nos permitiría crear un servidor que centraliza el almacenamiento en el CPD redireccionándolo a ethernet sobre protocolos de bloques (iSCSI) o de ficheros (SMB,NFS).

También existen soluciones enterprise con esta funcionalidad  basadas en software abierto tales como NexentaStor,  OpenFiler o FreeNAS.

FS con reservas

El acceso de diferentes servidores a los mismos volúmes (típico en clústeres) necesitan tener un control de acceso y reservas de forma que haya coherencia en las modificaciones en el sistema de ficheros. Ésto se puede conseguir eligiendo un sistema de ficheros de tipo disco compartido (Share Disk File System)   como GFS (REDHAT) o VMFS (VMWARE).

Controladoras Activo/Activo Activo/Pasivo

Soluciones software tipo  IET en servidores linux  sobre las tarjetas ethernet del servidor  como Enterprise Target iSCSI proporcionará un comportamiento  análogo al  típico de  las controladoras de cabinas de discos  en fibra.

Soporte

El tema más delicado ya que el soporte SAN va en función de la interoperabilidad entre fabricantes destacando los elementos siguientes:

Sistema Operativo-Multipath- HBA-Drivers-Switch-Almacenamiento- Modos del multipath

Y debido a que el diseño de cada elemento en su totalidad  no se ajusta a los mismos estándares se necesita una certificación previa entre diferentes productos y marcas.

Esta situación cambia bastante en un entorno iSCSI siendo un protocolo/estandar bien definido con una implementación precisa, que crea un marco de interoperatibidad mucho mayor.

Aún así, hablamos  de la infrestructura que contiene los datos de una empresa, y si algo en su CPD debe de tener soporte es este almacén de datos. Por lo que el final de este diseño propuesto puede variar bastante  si no se quiere contratar soporte … incluyento por ejemplo  soluciones de backup, Alta disponibilidad (HA) con replicación síncrona entre dos cabinas de discos, … todo un tema a desarrollar y cuya implementación en producción es aconsejable que deba superar toda una fase de testeo intensivo  y planes robustos de contingencia.

Lo aconsejable es buscar soporte en alguna solución tipo Openfiler, siendo una de las soluciones más flexibles … aunque no olvidar que hay que mirar la interoperabilidad con lupa y como ejemplo  VMWARE no la certifica para sus servidores ESX ….

Por otro lado si se elige una implementación  de un target iSCSI sobre un sistema operativo, ésta solución  no tiene porqué dejar de ser soportada por la distribución, ejemplo de ellos son: RHEL que incluye desde la versión 5.3 soporte para esta característica integrando SCSI Target Framework proyecto integrado en la linea principal de desarrollo del Kernel y mantenido por el creador de IET, u OpenSolaris con el proyecto COMSTAR.

Entre administradores de entornos de almacenamiento en fibra es conocido el problema que hay con la compatibilidad entre dispositivos de proveedores diferentes. Por ejemplo, al añadir una cabina de discos  a una SAN y que no funcione con el failover (multipath) ya existente en el servidor porque no están en la matriz de interoperabilidad de los fabricantes. Dejaré en este post unas notas relativas a estos problemas.

Primeramente definiré Interoperabilidad:

La Interoperabilidad es la condición mediante la cual sistemas heterogéneos pueden intercambiar procesos o datos ( procedente de la Wikipedia ) o la capacidad de los productos de diferentes fabricantes puedan operar conjuntamente ( procedente de BNET).

En entornos de almacenamiento en fibra la Interoperabilidad es bastante compleja, cumpliéndose que si toda una red SAN no está en la lista de compatibilidad de hardware/software de los vendedores no operará de la forma esperada. Hace algunos años, el acceder a información de interoperatividad era un trabajo frustante debido a que no era pública por parte de la mayoría de fabricantes y por lástima en muchos casos usada de forma interesada comercialmente. En la actualidad se ha realizado un gran esfuerzo por la mayoría de ellos, creándose una tendencia cada vez más recia en comunicar esta información, al mismo tiempo que los grandes proveedores de soluciones de almacenamiento se ajustan a estándares para universalizar sus productos y flexibilizar una mayor integración en cualquier entorno heterogéneo cada vez más común.

En almacenamiento hay diferentes organismos para mejorar estos grandes problemas de incompatibilidades entre diferentes proveedores, de forma que establecen estándares y protocolos para una mejor comunicación e integración entre los dispositivos de almacenamiento. Entre todas ellas es destacable  el trabajajo que realiza SNIA (Storage Networking Industry Association) cuyo proposito es encabezar en la industria el desarrollo y promoción de estándares, tecnologías y servicios educacionales para apoderar la gestión de información. Todos los grandes fabricantes de almacenamiento son miembros de la SNIA y de forma paulatina va creciendo un marco de interoperatividad entre todos ellos. Aún así, debido al proceso lento de salida y aceptación de estos estándares se realizan de forma independiente muchas alianzas tecnológicas entre diferentes fabricantes que en su mayoría pretenden impulsar propios productos de avanzada tecnología consiguiendo en gran cantidad de casos ser pioneros y mejorar su cartera de productos y especificaciones y por consiguiente competir comercialmente. Forzando que el resto de competidores tecnológicos acepten e integren estas nuevas especificaciones aún no estandarizadas, motivada por esta necesidad de compatibilidad en entornos heterogéneos y para que no penalice su imagen comercial.

A continuación se aportará  información junto con enlaces de  los proveedores y fabricantes de almacenamiento para el conocimiento de la Interoperabilidad de sus productos con las de otros fabricantes.

Algunas Tablas de Interoperabilidad y HCL ( Listas de compatibilidad Hardware )

Fabricantes

Emulex

Emulex es unos de los líderes en interoperabilidad en SAN, su reputación “It Just Works” se basa en un compromiso con los estándares, abierto al soporte de software y hardware, y al testeo extensivo de interoperatividad.

A continuación se listan sus Tablas de Interoperabiliidad con los siguientes fabricantes :

Información y enlaces procedente de Emulex.

QLogic

QLogic presenta un magnífico trabajo disponible en su web de interoperabilidad al igual que de su historia altamente recomendable disponible en su web, que recopila sus productos, soluciones y servicios que proporcionan, al igual que su certificaciones con distintos proveedores de soluciones SAN. Un documento nada habitual en esta tecnología.

A continuación se listan las Tablas de Interoperabilidad con los siguientes fabricantes :

3PAR | AC&NC | Apple | ATTO Technology | BlueArc | Compellent | Dell | Dell EqualLogic | DNF | Dot Hill | EMC | Enhance Technology | Fujitsu Computer Products of America | Fujitsu Computer Systems | Hewlett-Packard | Hitachi Data Systems | Hitachi Global StorageTechnologies | HP LeftHand SAN (aka LeftHand Networks) | IBM | Infortrend | Intransa | iQstor | iStor | LSI | Matrox | NEC | NetApp | Nexsan | Overland | Pillar | Promise | Qualstar | Quantum | RELDATA | Seagra | SEPATON | Spectra Logic | StoneFly | StoreVault | Sun Microsystems | Symantec | Tandberg Data | Texas Memory Systems | Thales nCipher | Winchester Systems | Xiotech | Xyratex

Información y enlaces procedentes de QLogic.

Brocade – McData

Brocade pone a disposición un documento con la compatibilidad/interoperabilidad de sus productos en la sección de compatibilidad enlazable aquí llamado Brocade Data Center Ready.

Sun Microsystems

Proporciona un listado de soluciones de almacenamiento certificadas con Microsoft en el siguiente documento:

http://www.sun.com/software/windows/storage_cert.pdf

En su sección de almacenamiento y servidores individualmente es completada con tablas de soportabilidad/certificación/interoperatividad de cada dispositivo, y una sección genérica a la Interoperatividad de todos sus productos.

IBM

Presenta una sección de productos para SAN:

http://www-03.ibm.com/systems/uk/storage/san/index.html

Cada dispositivo va acompañado de un documento de Interoperabilidad llamado Interoperability Matrix.

EMC

Proporcionan un documento con las matrices de interoperabilidad en la sección de Interoperabilidad de su portal. Sus  clientes  pueden utilizar una herramienta de navegación para la interoperabilidad en Powerlink.

HP

Sección de almacenamiento en su portal:

http://welcome.hp.com/country/es/es/leb/storage.html

NETAPP

Sección de Interoperabilidad en su portal:

http://www.netapp.com/us/technology/interop.html

VMWARE

Dispone uns sección para consultas de compatibilidad desde su web con distintos proveedores:

http://www.vmware.com/resources/compatibility/search.php?action=base&deviceCategory=san

Proporciona un documento con las matrices de compatibilidad completa Storage/SAN Compatibility Guide.

….  sólo son algunos proveedores de fibra.

Para poner a prueba  el disco de fibra creado en el anterior post vamos a disponer de un servidor con Windows Server 2008 y una HBA Emulex LP-10000DC  con drivers en modo Initiator. El escenario creado para esta prueba es el siguiente:

Resumiendo: El servidor Centos con kernel vanilla preparado con proyecto SCST y una HBA con drivers en modo target es configurado para proporcinar un disco virtual(vdisk) a la SAN.  El disco virtual es un fichero que a través del módulo SCST es ofrecido por fibra óptica ( HBA operando en modo target). Por otro lado disponemos de un servidor con un sistema operativo Windows Server 2008  SP1, que dispone de una HBA operando en modo Initiator. Las dos HBAs están conectadas a una SAN y se ha realizado un zonning en el switch de fibra de forma que el Initiator pueda ver la lun correspondiente al vdisk.

Comprobación: Desde el servidor Windows se ve correctamente el disco de fibra creado, desde su administrador de dispositivos:

Aparecen dos discos tipo “disk drives” debido a que la HBA es de dos puertos y están zoneados al mismo disco. Hemos operado con sólo uno de los discos y lo hemos inicializado sin problemas:

Desde el servidor Centos comprobamos las sesiones en el target por los initiators (son dos, uno por cada puerto de la HBA Emulex usada):

# cat /proc/scsi_tgt/sessions

Target name          Initiator name                                Group name                   Active/All Commands Count

qla2x00tgt           10:00:00:00:c9:4f:56:a0                       Default                             0/0

qla2x00tgt           10:00:00:00:c9:4f:56:9f                       Default                             0/0

Hemos provocado simultáneas I/Os sobre el disco de fibra (copia, borrado y lectura de ficheros) con resultados  satisfactorios.

En breve, aumentaremos el tamaño del VDISK y lo someteremos a unas pruebas de rendimiento y stress. Igualmente se usará en el backend un disco físico.

Por otro lado, ya nos estamos preparando para nuestro próximo proyecto …. la emulación de una librería virtual de cintas (VTL) en fibra basado en el proyecto mhvtl que ya usamos en AA Labs en su versión para iSCSI.

Como se anunciaba en el anterior post se detallará el procedimiento mediante el  cual  un servidor linux con una HBA  ofrecerá almacenamiento sobre fibra a través del proyecto SCST. Para esta ocasión se ha usado una HBA QLA2340 con el propósito de integrar los drivers en modo target  con el módulo SCST, mostrándose como se podrá ofrecer un disco de fibra a partir de un fichero del sistema operativo.

Para ello hemos dispuesto de un equipo con las siguientes características:

Placa: ASRock ALiveNF7G-GLAN

RAM: 4 GB DDR 800 HHz Mushkin Extreme

Micro: AMD Athlon64 X2 4600+ 2.4 Ghz AM2 Box

SO: Centos 5.5 en su versión de 64 bits

HBA: QLogic QLA 2340

HD: Western Digital Caviar GP 750GB 5400 rpm SATA2 MAESTRO

HBA: QLogic QLA2340 PCI/PCI-X

Host con Centos 5.5 y HBA QLogic QLA2340 en modo target

QLogic QLA2340

Fases que consta el procedimiento:

1 – Cargar firmware de HBA

2 – Compilar un Kernel vanilla

3 – Compilar proyecto  SCST y drivers de QLogic

4- Configurar una lun accesible en modo target

1.- Cargar firmware de HBA

Se aconseja que la HBA  tenga un firmware de versión igual o superior a versión 5.xx para versiones de QLOGIC 24/25XX. Para la versión de HBA usada en el laboratorio, QLA2340, hemos descargado  ql2300_fw.bin.3.03.20 desde el siguiente link. Para otra versiones de HBAs QLogic aquí.

Se copia el archivo de firmware en la carpeta  /lib/firmware. Así el módulo qla2xxx(drivers de QLogic) que lleva por defecto la distribución lo cargará en la tarjeta en tiempo de arranque. El éxito de la carga del firmware se observará en la salida del comando dmesg de la siguiente forma :

qla2xxx 0000:01:0a.0: Found an ISP2312, irq 82, iobase 0xffffc20000028000
qla2xxx 0000:01:0a.0: Configuring PCI space…
qla2xxx 0000:01:0a.0: Configure NVRAM parameters…
qla2xxx 0000:01:0a.0: Verifying loaded RISC code…
qla2xxx 0000:01:0a.0: Allocated (412 KB) for firmware dump…
scsi4 : qla2xxx
qla2xxx 0000:01:0a.0:
QLogic Fibre Channel HBA Driver: 8.03.01.04.05.05-k
QLogic QLA2340 – 133MHz PCI-X to 2Gb FC, Single Channel
ISP2312: PCI (33 MHz) @ 0000:01:0a.0 hdma+, host#=4, fw=3.03.26 IPX

2 – Compilar un kernel vanilla

La versión inicial del kernel de partida en Centos 5.5 es:

# uname -a

Linux unknown001966cb53eb 2.6.18-194.3.1.el5 #1 SMP Thu May 13 13:08:30 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

Se descarga una versión vanilla (mainline)  desde kernel.org, versión 2.6.26:

#cd /usr/src

# wget ftp://ftp.kernel.org/pub/linux/kernel/v2.6/linux-2.6.26.tar.bz2

# bunzip2 /usr/src/linux-2.6.26.tar.bz2

# tar -xvf /usr/src/linux-2.6.26.tar

Se crean los enlaces simbólicos linux y kernel :

#ln -s /usr/src/linux-2.6.26 linux

#ln -s /usr/src/linux-2.6.26 kernel

Se descargan las fuentes del proyecto de SCST de su Subversion:

#cd  /root

#svn co https://scst.svn.sourceforge.net/svnroot/scst/trunk

(…)

A    trunk/nightly/bin

A    trunk/nightly/bin/nightly

A    trunk/nightly/README.txt

U   trunk

Revisión obtenida: 1792

Ir a carpeta /root/scst/trunk/src y parchear las fuentes del kernel que nos hemos descargado:



# cd /root/scst/trunk/

# cp /root/scst/trunk/scst/kernel/scst_exec_req_fifo-2.6.26.patch /usr/src

# cp /root/scst/trunk/scst/kernel/scst_exec_req_fifo-2.6.26.patch /usr/src

# cd /usr/src

# patch -p0 < scst_exec_req_fifo-2.6.26.patch

Eliminar los drivers de las fuentes del kernel vanilla y sustituir por su homólogo modificado que proporciona las fuentes de SCST:

# mv /usr/src/linux/drivers/scsi/qla2xxx /usr/src/linux/drivers/scsi/qla2xxx_orig

Incluir el driver de Qlogic en modo target  previo a la compilación del kernel:

#  ln -s /root/scst/trunk/qla2x00t /usr/src/linux/drivers/scsi/qla2xxx

Procedemos a configurar la compilación del kernel y sus módulos:

#cd /usr/src/linux

#make menuconfig

Desde el menú de configuración del kernel activar “Device Drivers->SCSI device support->SCSI low level drivers->Qlogic 2xxx target mode support”:

Modificar el fichero Makefile y cambiar la entrada EXTRAVERSION de “-prep”  a “-scst”:

#vi Makefile

(…)

VERSION = 2

PATCHLEVEL = 6

SUBLEVEL = 18

EXTRAVERSION = -scst

RHEL_MAJOR = 5

RHEL_MINOR = 5

NAME=Avast! A bilge rat!

(…)

Procedemos a compilar el kernel y módulos:

#make bzImage
(…)

Setup is 11384 bytes (padded to 11776 bytes).

System is 2783 kB

CRC 5f0d96a4

Kernel: arch/x86/boot/bzImage is ready (#1)

#make modules

(…)

Building modules, stage 2.

MODPOST 3 modules

CC drivers/net/s2io.mod.o

LD [M] drivers/net/s2io.ko

CC drivers/scsi/qla2xxx/qla2xxx.mod.o

LD [M] drivers/scsi/qla2xxx/qla2xxx.ko

CC drivers/scsi/scsi_wait_scan.mod.o

LD [M] drivers/scsi/scsi_wait_scan.ko

#make modules_install
#make install

Si el proceso ha ido bien, tendremos una entrada en el grub para el nuevo kernel creado preparado para levantar el modo target de la HBA:

#cat /boot/grub/menu.lst

(…)

title CentOS (2.6.26)
root (hd0,2)
kernel /vmlinuz-2.6.26 ro root=/dev/VolGroup00/LogVol00 rhgb quiet
initrd /initrd-2.6.26.img

(…)

Hacemos un reinicio del sistema y arrancamos desde grub en CentOS (2.6.26) o el que se haya creado.

3 – Compilar proyecto  SCST y drivers de QLogic

Después del reinicio se comprueba que se ha cargado el nuevo kernel creado:

#uname -a
Linux unknown001966cb53eb 2.6.26 #1 SMP Sun Jun 27 19:42:12 CEST 2010 x86_64 x86_64 x86_64 GNU/Linux

Sobre el que compilaremos el módulo SCST que nos permitirá crear aquellos dispositivos visibles a través del target de fibra.

#cd /root/scst/trunk/scst/src

#make all

(…)

CC /root/scst/trunk/scst/src/scst.mod.o

LD [M] /root/scst/trunk/scst/src/scst.ko

make[1]: se sale del directorio `/usr/src/linux-2.6.26'

#make install

install -m 644 ../include/scst_const.h /usr/local/include/scst
rm -f /usr/local/include/scst/Modules.symvers
install -m 644 Module.symvers /usr/local/include/scst
/sbin/depmod -a 2.6.26
mkdir -p /var/lib/scst/pr
****************************************************************
*!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!*
*!!                                                          !!*
*!!  Now don’t forget to rebuild and reinstall all your      !!*
*!!  target drivers, custom dev handlers and necessary user  !!*
*!!  space applications. Otherwise, because of the versions  !!*
*!!  mismatch, you could have many problems and crashes.     !!*
*!!  See IMPORTANT note in the “Installation” section of     !!*
*!!  SCST’s README file for more info.                       !!*
*!!                                                          !!*
*!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!*
****************************************************************

# cd /root/scst/trunk/qla2x00t/qla2x00-target/

# make

(…)

target/qla2x00tgt.mod.o

LD [M] /root/scst/trunk/qla2x00t/qla2x00-target/qla2x00tgt.ko

make[1]: se sale del directorio `/usr/src/linux-2.6.26'

# make install

(…)

INSTALL /root/scst/trunk/qla2x00t/qla2x00-target/qla2x00tgt.ko

DEPMOD 2.6.26

make[1]: se sale del directorio `/usr/src/linux-2.6.26'

/sbin/depmod -a 2.6.26

Los binarios recién compilados se encuentran como módulos en /lib/modules/linux-2.6.26/extra:

# ls /lib/modules/2.6.26/extra/
dev_handlers  qla2x00tgt.ko  scst.ko

# ls -l /lib/modules/`uname -r`/extra/dev_handlers

/lib/modules/`uname -r`/extra/dev_handlers
total 224
-rw-r–r– 1 root root 13792 jun 27 19:55 scst_cdrom.ko
-rw-r–r– 1 root root 11375 jun 27 19:55 scst_changer.ko
-rw-r–r– 1 root root 15209 jun 27 19:55 scst_disk.ko
-rw-r–r– 1 root root 15366 jun 27 19:55 scst_modisk.ko
-rw-r–r– 1 root root 11391 jun 27 19:55 scst_processor.ko
-rw-r–r– 1 root root 11351 jun 27 19:55 scst_raid.ko
-rw-r–r– 1 root root 15142 jun 27 19:55 scst_tape.ko
-rw-r–r– 1 root root 51965 jun 27 19:55 scst_user.ko
-rw-r–r– 1 root root 62807 jun 27 19:55 scst_vdisk.ko

¿ que es cada módulo?

- scst – SCST itself
- scst_disk – device handler for disks (type 0)
- scst_tape – device handler for tapes (type 1)
- scst_processor – device handler for processors (type 3)
- scst_cdrom – device handler for CDROMs (type 5)
- scst_modisk – device handler for MO disks (type 7)
- scst_changer – device handler for medium changers (type
- scst_raid – device handler for storage array controller (e.g. raid) (type C)
- scst_vdisk – device handler for virtual disks (file, device or ISO CD image).
- scst_user – user space device handler

4- Configurar una lun accesible en modo target

Para éste propósito se usará el módulo scst_vdisk a través del cual se ofrecerá un fichero de tamaño definido como una lun tipo disco en la SAN.

Cargamos los módulos, que para este caso sólo se necesitarían qla2xxx, qla2x00tgt y scst_vdisk, pero ya estamos pensando en el futuro

# for _mod in scst qla2xxx qla2x00tgt scst_vdisk scst_disk scst_changer scst_tape; do modprobe $_mod; done

# lsmod

Module Size Used by

scst_tape 10368 0

scst_changer 7936 0

scst_disk 10368 0

scst_vdisk 40556 0

qla2x00tgt 51480 0

scst 192628 5 scst_tape,scst_changer,scst_disk,scst_vdisk,qla2x00tgt

qla2xxx 186700 1 qla2x00tgt

Se crea un fichero de 512 MB en /mnt con nombre disk1:

# dd if=/dev/zero of=/mnt/disk1 bs=1024k count=512

512+0 records in

512+0 records out

536870912 bytes (537 MB) copied, 5,87352 seconds, 91,4 MB/s

# file /mnt/disk1

/mnt/disk1: data

Y se configura para que sea visible por la HBA:

# echo “open vm_disk /mnt/disk1″ > /proc/scsi_tgt/vdisk/vdisk

#  echo “add vm_disk 0″ >/proc/scsi_tgt/groups/Default/devices

El resultado de este proceso se puede observar en la salida del comando dmesg:

scst: Attached to scsi2, channel 0, id 0, lun 0, type 0
scst: Processing thread scsi_tgt0 (PID 6116) started
scst: Processing thread scsi_tgt1 (PID 6117) started
scst: Init thread started, PID 6118
scst: Task management thread started, PID 6119
scst: Management thread started, PID 6120
scst: SCST version 2.0.0-rc2-procfs loaded successfully (max mem for commands 928MB, per device 371MB)
scst: Enabled features: TRACING
Initializing QLogic Fibre Channel HBA Driver target mode addon version 2.0.0-rc2
Target mode driver for QLogic 2×00 controller registered successfully
scst: Target template qla2x00tgt registered successfully
scst: Virtual device handler vdisk_fileio for type 0 registered successfully
scst: Virtual device handler vdisk_blockio for type 0 registered successfully
scst: Virtual device handler vdisk_nullio for type 0 registered successfully
scst: Virtual device handler vcdrom for type 5 registered successfully
scst: Device 2:0:0:0: TST 0, QUEUE ALG 0, SWP 0, TAS 0, D_SENSE 0, has_own_order_mgmt 1
scst: Device handler “dev_disk” for type 0 registered successfully
scst: Device handler “dev_disk_perf” for type 0 registered successfully
scst: Device handler “dev_changer” for type 8 registered successfully
scst: Device handler “dev_tape” for type 1 registered successfully
scst: Device handler “dev_tape_perf” for type 1 registered successfully
dev_vdisk: Registering virtual vdisk_fileio device vm_disk
dev_vdisk: Attached SCSI target virtual disk vm_disk (file=”/mnt/disk1″, fs=512MB, bs=512, nblocks=1048576, cyln=512)
scst: Attached to virtual device vm_disk (id 1)
scst: Added device vm_disk to group Default (LUN 0, rd_only 0)

Para activar el modo target sólo quedaría introducir el valor 1 en el fichero target_mode_enabled correspondiente a su scsi_host asociado como interfaz sysfs.

# echo “1″ >/sys/class/scsi_host/host5/target_mode_enabled

Dejo unas comprobaciones verificando la correcta configuración de nuestro vdisk:

# cat /sys/class/scsi_host/host5/active_mode

Target

#  cat /proc/scsi_tgt/scsi_tgt
Device (host:ch:id:lun or name)                             Device handler
2:0:0:0                                                     dev_disk
vm_disk                                                     vdisk_fileio

# cat /proc/scsi_tgt/vdisk/vdisk

Name Size(MB) Block size Options File name T10 device id

vm_disk 512 512 /mnt/disk1 vm_disk 968d2339

#  cat /proc/scsi_tgt/groups/Default/devices

Device (host:ch:id:lun or name) LUN Options

vm_disk 0

El el siguiente post pondremos a prueba nuestro disco creado, usando un initiator de fibra sobre un host Windows Server 2008 con HBA QLA2340.

Fuentes:

How to configure QLogic target driver for 22xx/23xx/24xx/25xx adapters. Step by step guide.

Primer post de una serie dedicada a conocer el proyecto abierto SCST con licencia GPL. Aunque su implementación para targets iSCSI está bastante  difundida, no es así su implementación en fibra óptica (FCP). Tanto Qlogic como Emulex, líderes en el mercado del chipset de comunicaciones en HBAs de almacenamiento, están liberando su versión de drivers que conmutan de initiator a target, haciendo posible conocer el funcionamiento y protocolos de comunicación en esta imparable liberación de código y adecuación a estándares universales provocados por proyectos abiertos como SCST en Linux o COMSTAR en OpenSolaris. Como pasó en su momento con el proyecto Xen en el campo de la virtualización, no queda mucho para ver como las distribuciones enterprise UNIX/Linux  cercanas al OpenSource contendrán en sus repositorios el driver dual (initiator/target) de las HBAs, provocando un cambio en el modelo de negocio actual del almacenamiento. Así, un servidor podrá convertirse en una cabina de almacenamiento, o podrá emular cualquier otro dispositivo de fibra. Esta tendencia en la actualidad es liderada por Oracle/Sun Microsystems en sus productos OpenStorage (incluye modo target de Fibra basado en COMSTAR) u OpenSolaris (llevan los drivers duales para emlx y ql). Redhat y Novell/Suse, liderarán en breve soluciones equivalentes basadas en SCST,   … no me cabe la menor duda.

En el siguiente post veremos como se puede convertir un servidor con una distribución Linux y una HBA en …  una cabina de almacenamiento en fibra.

Nota: link de empresas que desarrollan sus drivers sobre SCST.

A continuación se muestra como la VTL Open Source sobre iSCSI creada en el capítulo anterior se integra en un software típico de administración de copias de seguridad en cintas como Symantec Backup Exec 12.5 para servidores Windows.

El entorno elegido ha sido un Windows Server 2008 SP1 de 32 bits. Se ha hecho un escaneo de la IP del servidor que contiene el proyecto mhvtl desde su iSCSI initiator y ha reconocido todos sus dispositivos (targets iSCSI):

Desde la consola de Symantec Backup Exec 12.5 se observan igualmente las librerías y lectores de cintas:

Se hace una prueba sencilla: copia de respaldo de una carpeta del servidor y su restauración. Como se puede observar concluyen con éxito:

La instalación se hará en cuatro fases:

1.- Obtener las fuentes del núcleo de Linux

2.- Compilar un núcleo con el proyecto SCST

3.- Compilar proyecto mhvtl

4.- Configurar dispositivos para mhvtl



El escenario:

Se ha elegido la instalación sobre un Sistema Operativo Centos versión 5.4 de 64 bits. En nuestro AA Labs hemos elegido una máquina virtual  hospedada en un VMWARE Server sobre OpenSuse 11.2.

1.- Obtener las fuentes del núcleo de Linux

Documentación:

Wiki CentOS: http://wiki.centos.org/HowTos/I_need_the_Kernel_Source

Foros de nimsa

Procedimiento:

Instalar entorno de compilación y todos los paquetes necesitados para las cuatro fases junto con todas sus dependencias:

# yum install make gcc hmaccalc openssl openssl-devel zlib-devel lsscsi mt-st mtx rpm-build redhat-rpm-config unifdef kernel-headers subversion

Crear usuario vtl y asignar contraseña:

# useradd vtl
# passwd vtl

Crear directorios /opt/mhvtl y /etc/mhvtl y se hace propietario a nuevo usuario:

# mkdir /opt/mhvtl
# chown -Rf vtl:vtl /opt/mhvtl

# mkdir /etc/mhvtl
# chown -Rf vtl:vtl /etc/mhvtl

Loguearse como usuario vtl:

#su – vtl

Conocer la versión del núcleo Linux que corre en tu sistema:

$ uname -a

Linux centos.ferras.local 2.6.18-194.3.1.el5 #1 SMP Thu May 13 13:08:30 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

Desempaquetar y preparar los archivos Fuentes:

[vtl@centos ~]$ cd

[vtl@centos ~]$ mkdir -p rpmbuild/{BUILD,RPMS,SOURCES,SPECS,SRPMS}

[vtl@centos ~]$ echo ‘%_topdir %(echo $HOME)/rpmbuild’ > .rpmmacros

Descargar el paquete de Fuentes que corresponde a la versión de Kernel de tu CentOS/RHEL desde aquí e instalarlo:

$ rpm -i http://mirror.centos.org/centos/5/updates/SRPMS/kernel-2.6.18-194.3.1.el5.src.rpm

$ cd ~/rpmbuild/SPECS

$ rpmbuild -bp --target=`uname -m` kernel-2.6.spec

Comprobar que el árbol de fuentes del kernel esté en /home/vtl/rpmbuild/BUILD/:

$ ls ~/rpmbuild/BUILD/

kernel-2.6.18[vtl@centos SPECS]$ cp -Rf /home/vtl/rpmbuild/BUILD/kernel-2.6.18/linux-2.6.18.x86_64 /usr/src/kernels/

Copiarlos como root a /usr/src/kernels:

#cp -Rf /home/vtl/rpmbuild/BUILD/kernel-2.6.18/linux-2.6.18.x86_64 /usr/src/kernels/

2.- Compilar un núcleo con el proyecto SCST

Documentación:

Howto ISCSI-SCST: http://iscsi-scst.sourceforge.net/iscsi-scst-howto.txt

Foros de nimsa

Procedimiento:

Como usuario root descargar proyecto scst con subversion y añadir los parches indicados:

# cd /root

# svn co https://scst.svn.sourceforge.net/svnroot/scst/trunk scst

# cd /usr/src/kernels/linux-2.6.18.x86_64

# patch -p1 < /root/scst/iscsi-scst/kernel/patches/put_page_callback-2.6.18.1.patch

# patch -p1 < /root/scst/scst/kernel/scst_exec_req_fifo-2.6.18.patch

Compilar la imagen del kernel:

# make clean
# make && make modules
# make modules_install && make install

Comprobar que ha creado entrada el el grub de nuevo kernel vmlinuz-2.6.18-prep:

# cat /boot/grub/menu.lst

(…)

title CentOS (2.6.18-prep)

root (hd0,0)

kernel /vmlinuz-2.6.18-prep ro root=/dev/VolGroup00/LogVol00

initrd /initrd-2.6.18-prep.img

Reiniciar sistema con nuevo kernel y comprobarlo:

# uname -a

Linux centos.ferras.local 2.6.18-prep #1 SMP Thu May 20 21:13:48 CEST 2010 x86_64 x86_64 x86_64 GNU/Linux

Crear e instalar módulo scst:

#cd /root/scst
#make scst scst_install iscsi iscsi_install scstadm scstadm_install

3.- Compilar proyecto mhvtl

Documentación:

Proyecto Linux Virtual Tape Library

Foros de nimsa

Procedimiento:

Descargar proyecto mhvl en formato tgz desde aquí, se ha elegido la versión de desarrollo mhvtl-2010-05-08 (0.18-7):

# wget http://sites.google.com/site/linuxvtl2/mhvtl-2010-05-08.tgz?attredirects=0

Descomprimir y compilar:

# tar xzvf mhvtl-2010-05-08.tgz

# cd mhvtl-0.18/

# make distclean

# cd kernel

# make

# make install

# cd ..

#make

# make install

4.- Configurar dispositivos para mhvtl

Documentación:

Foros de nimsa

Procedimiento:

En el foro de nimsa se ha publicado un script para la creación automática de los ficheros de configuración iscsi-scstd.conf y scst.conf. De esta forma crea una configuración particular de librerías y drives emulados por iSCSI:

[root@centos ~]# cat make_scst_config.sh

#!/bin/ksh

# Customize your own

IQN=iqn.2010-05.es.ferras

# Build /etc/iscsi-scstd.conf

lsscsi -g | grep -e tape -e mediumx| awk ‘{print $1}’| cut -d “[" -f2| cut -d "]” -f1| while read each; do

echo “Target $IQN:$each” >>/tmp/iscsi-scstd.tmp

done

if [ -f /etc/iscsi-scstd.conf ]; then

cp -f /etc/iscsi-scstd.conf /etc/iscsi-scstd.conf_`date +%m%d%y%H%M%S`

echo Created backup of existing /etc/iscsi-scstd.conf as /etc/iscsi-scstd.conf_`date +%m%d%y%H%M%S`

fi

cat /tmp/iscsi-scstd.tmp >/etc/iscsi-scstd.conf

echo Created new /etc/iscsi-scstd.conf

rm -f /tmp/iscsi-scstd.tmp

echo ——-

# Build /etc/scst.conf

echo “[HANDLER changer]” >/tmp/scst.tmp

lsscsi -g| grep mediumx | awk ‘{print $1}’| cut -d “[" -f2| cut -d "]” -f1| while read each1; do

echo DEVICE $each1 >>/tmp/scst.tmp

done

echo “[HANDLER tape]” >>/tmp/scst.tmp

lsscsi -g| grep tape | awk ‘{print $1}’| cut -d “[" -f2| cut -d "]” -f1 | while read each2; do

echo DEVICE $each2 >>/tmp/scst.tmp

done

lsscsi -g | grep -e tape -e mediumx|awk ‘{print $1}’| cut -d “[" -f2| cut -d "]” -f1| while read each3; do

echo “[GROUP Default_$IQN:$each3]” >>/tmp/scst.tmp

done

lsscsi -g | grep -e tape -e mediumx| awk ‘{print $1}’| cut -d “[" -f2| cut -d "]” -f1| while read each4; do

echo “[ASSIGNMENT Default_$IQN:$each4]” >>/tmp/scst.tmp

echo “DEVICE $each4,0″ >>/tmp/scst.tmp

done

if [ -f /etc/scst.conf ]; then

cp -f /etc/scst.conf /etc/scst.conf_`date +%m%d%y%H%M%S`

echo Created backup of  existing /etc/scst.conf as /etc/scst.conf_`date +%m%d%y%H%M%S`

fi

cat /tmp/scst.tmp >/etc/scst.conf

echo Created new /etc/scst.conf

rm -f /tmp/scst.tmp

echo — Done —

Ejecutarlo:

# sh make_scst_config.sh

Arrancar mhvtl:

/etc/init.d/mhvtl start

Cargar los módulos scst:

modprobe scst
modprobe scst_tape
modprobe scst_changer

Si hemos llegado hasta aquí sin errores deberíamos ver los nuevos dispositivos SCSI del sistema:

# lsscsi

[0:0:0:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sda

[1:0:0:0]    mediumx SPECTRA  PYTHON           550V  -

[1:0:1:0]    tape    IBM      ULT3580-TD4      550V  /dev/st0

[1:0:2:0]    tape    IBM      ULT3580-TD4      550V  /dev/st1

[1:0:3:0]    tape    IBM      ULT3580-TD4      550V  /dev/st2

[1:0:4:0]    tape    IBM      ULT3580-TD4      550V  /dev/st3

[1:1:0:0]    mediumx SPECTRA  PYTHON           550V  -

[1:1:1:0]    tape    IBM      ULT3580-TD4      550V  /dev/st4

[1:1:2:0]    tape    IBM      ULT3580-TD4      550V  /dev/st5

[1:1:3:0]    tape    IBM      ULT3580-TD4      550V  /dev/st6

[1:1:4:0]    tape    IBM      ULT3580-TD4      550V  /dev/st7

# cat /proc/scsi_tgt/scsi_tgt

Device (host:ch:id:lun or name)                             Device handler

0:0:0:0                                                     dev_disk

1:0:1:0                                                     dev_tape

1:0:2:0                                                     dev_tape

1:0:3:0                                                     dev_tape

1:0:4:0                                                     dev_tape

1:1:1:0                                                     dev_tape

1:1:2:0                                                     dev_tape

1:1:3:0                                                     dev_tape

1:1:4:0                                                     dev_tape

1:0:0:0                                                     dev_changer

1:1:0:0                                                     dev_changer

Una comprobación de que los targets iSCSI están correctamente levantados puede ser la siguiente: Desde un Windows XP con el initiator iSCSI instalado se hace un scan a la IP del servidor mhvtl. Se deberán detectar todos los dispositivos iSCSI:

Y desde el  Administrador de dispositivos:

El el siguiente capítulo vamos a poner a prueba la mhvtl creada desde un software de backup, Symantec Backup Exec.

¿Que es SCST?

SCST (SCSI target subsystem for Linux) provee al sistema de forma unificada un interfaz consistente entre los drivers de target SCSI y el núcleo de Linux, como también entre los controladores de almacenamiento del backend o controladores de los targets conectados con el almacenamiento real o emulados.

SCST permite la creación de sofisticados dispositivos de almacenamiento con avanzada funcionalidad tales como replicación, thin provisioning, deduplicación. alta disponibilidad , copias de seguridad automáticas, etc. Otra clase de estos dispositivos pueden ser librerías de cintas virtuales (VTL) y otras soluciones basadas en discos. SCST no está limitado solamente a dispositivos basados en red IP, sino que también soporta cualquier tipo de intercambio de datos basados en SCSI, incluidos Fibra Óptica, iSCSI, SAS, InfiniBand y paralela (Wide) SCSI.

¡ Posiblemente tu servidor de almacenamiento esté corriendo SCST en el firmware !

El proyecto SCST está compuesto en una serie de subproyectos: Target SCSI genérico de capa media (generic SCSI target mid-layer itself) con un conjunto de controladores de dispositivos y de targets, junto con utilidades en el espacio del usuario.

Un ejemplo de ello es la implementación de una VTL Open Source basada en el proyecto Linux Virtual Tape Library que hemos realizado en Almacenamiento Abierto.

Página del proyecto y documentación: http://scst.sourceforge.net/