VirtualBox mit iSCSI auf ZFS (Linux)

Dieser Artikel beschreibt die Nutzung von iSCSI-Targets in VirtualBox (OpenSource). Ziel ist es das Festplatten-Image einer Virtuellen Maschine per iSCSI anzusprechen.

Bestandteile

Server

• Debian Wheezy
• zfsonlinux, zpool v28
• zvol mit 30GB
• iscsitarget

Client

• Ubuntu 13.04
• VirtualBox 4.2.10-dfsg-0ubuntu2.1

Aufbau iSCSI Target

Das iSCSI Target soll ein ZFS-Volume sein. Man könnte der Einfachheit halber auch einfach ein 30GB großes Flatfile nehmen. Wir nehmen ZFS.

ZFS

Wir gehen davon aus, dass der Server mit Debian wheezy installiert ist und bereits zfsonlinux/debian-zfs installiert ist. Wir nehmen ferner an, dass es einen zpool namens "tank" gibt, der ausreichend viel Platz und Performance bietet:

# zpool list
NAME   SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
tank  5,44T  1,95T  3,48T    35%  1.00x  ONLINE  -

# zpool status
  pool: tank
 state: ONLINE
  scan: scrub repaired 0 in 11h40m with 0 errors on Wed Jan 22 11:25:42 2014
config:

        NAME                              STATE     READ WRITE CKSUM
        tank                              ONLINE       0     0     0
          mirror-0                        ONLINE       0     0     0
            wwn-0x50014ee2b0b4a6c5-part1  ONLINE       0     0     0
            wwn-0x50014ee058e266cd-part1  ONLINE       0     0     0
          mirror-1                        ONLINE       0     0     0
            wwn-0x50014ee25e76e28b-part1  ONLINE       0     0     0
            wwn-0x50014ee209153668-part1  ONLINE       0     0     0

errors: No known data errors

• Anlegen eines Filesystems mit dem Namen "tank/img". Das dient lediglich der Ordnung:

# zfs create tank/img

• Anlegen eines 30GB großen zvol mit dem Namen "tank/img/foo"

# zfs create -V 30GB tank/img/foo

Es entsteht nun ein Device /dev/zvol/tank/img/foo welches ein Symlink auf /dev/zd16 ist (in diesem Beispiel):

# ls -la /dev/zvol/tank/img/foo 
lrwxrwxrwx 1 root root 13 Mär  2 04:06 /dev/zvol/tank/img/foo -> ../../../zd16
# ls -la /dev/zd16
brw-rw---T 1 root disk 230, 16 Mär  2 04:06 /dev/zd16

iSCSI

Quelle: [1]

• Zunächst müssen die Packages iscsitarget und iscsitarget-dkms installiert werden

# apt-get install iscsitarget iscsitarget-dkms

• Anlegen einer Konfiguration, hier sinngemäß:

# cat /etc/iet/ietd.conf
Target iqn.2014-02.de.sigsys:storage.vbox.foo.disk0
        IncomingUser foo Neiz8eehah3zah5ho9ei
        OutgoingUser foo ShaeKoa8Quei
        MaxRecvDataSegmentLength 65536
        MaxXmitDataSegmentLength 65536
        Lun 0 Path=/dev/zvol/tank/img/foo,Type=blockio
        Alias vboxfoo0

Wichtig ist hier, dass MaxRecvDataSegmentLength und MaxXmitDataSegmentLength auf 65536 gesetzt werden. Nimmt man hier kleinere Werte kann der ganze Server crashen, wenn VirtualBox darauf zugreift.

• Aktivieren von iscsitarget in

# cat /etc/default/iscsitarget 
ISCSITARGET_ENABLE=true

# ietd options
# See ietd(8) for details
ISCSITARGET_OPTIONS=""

• iscsitarget neu starten:

# service iscsitarget restart 
Removing iSCSI enterprise target devices: :.
Removing iSCSI enterprise target modules: :.
Starting iSCSI enterprise target service:Mar  2 05:10:26 kellermeister kernel: [ 5041.971210] iSCSI Enterprise Target Software - version 1.4.20.3
Mar  2 05:10:26 kellermeister kernel: [ 5041.971326] iscsi_trgt: Registered io type fileio
Mar  2 05:10:26 kellermeister kernel: [ 5041.971330] iscsi_trgt: Registered io type blockio
Mar  2 05:10:26 kellermeister kernel: [ 5041.971333] iscsi_trgt: Registered io type nullio
.
.

Damit ist der iSCSI-target (Storage Server) fertig eingerichtet. Das ZFS-Volume kann nun mit den ZFS üblichen Methoden verwaltet werden, zB snapshots anlegen und zurückrollen.

Konfiguration VirtualBox

• Zunächst soll eine VM namens "foo" angelegt werden. Das kann mit dem GUI erfolgen. Dabei wird dann keine Festplatte erzeugt, die Warnung ignorieren wir zunächst.

• Das GUI hat scheinbar keine Möglichkeit ein iSCSI-Target zu verwalten. Mit dem Commandline Tool "VBoxManage" geht es allerdings und wird dann auch im GUI entsprechend angezeigt:

$ VBoxManage storageattach foo --storagectl "SATA" --port 1 --device 0 --type hdd --medium iscsi --server 192.168.0.20 --target iqn.2014-02.de.sigsys:storage.vbox.foo.disk0 --username foo --password Neiz8eehah3zah5ho9ei

Der Rest funktioniert wie gewohnt, zum Beispiel die Installation eines OS per CD-Image.

Performancetest

Ein Ubuntu Server 12.04 im VirtualBox Gast wird installiert, dabei wird bei der Installation LVM verwendet. Die VM hat 2GB RAM, der PC, in dem VirtualBox läuft hat 8GB RAM.

1. Test

Nach der Installation kann mittels dd ein einfacher Performance-Test durchgeführt werden:

$ dd if=/dev/zero of=/tmp/big.8G bs=1024k count=8192

Das Ergebnis liegt hier bei ca 72MBytes/sec. Dabei ist anzumerken, dass der zpool "tank" auf dem iSCSI-Server über 4 Platten verteilt ist (2x Mirror). Erschwerend kommt noch hinzu, dass der Server "nur" ein HP microServer N36L ist, d.h. 1.3GHz CPU. Die Anbindung zwischen PC (VirtualBox) und Server (iSCSI Target) ist GBit über einen einfachen Switch (Latenzen!).

Angesichts der Ausstattung sind 72MBytes/sec lineares Schreiben aus einer VM heraus ganz passabel. YMMV.

2. Test: Snapshot+Rollback

In der VM

rabe@foo:~$ dd if=/dev/zero of=/var/tmp/big.8G bs=1024k count=8192
8192+0 Datensätze ein
8192+0 Datensätze aus
8589934592 Bytes (8,6 GB) kopiert, 165,985 s, 51,8 MB/s

Auf dem Server

# zpool iostat -v 10
[…]
                                     capacity     operations    bandwidth
pool                              alloc   free   read  write   read  write
--------------------------------  -----  -----  -----  -----  -----  -----
tank                              1,95T  3,48T     54  6,62K  71,5K  51,7M
  mirror                          1,90T   836G     28    407  34,7K  2,58M
    wwn-0x50014ee2b0b4a6c5-part1      -      -     12     80  52,7K  2,85M
    wwn-0x50014ee058e266cd-part1      -      -     15     84  62,7K  3,10M
  mirror                          52,6G  2,67T     26  6,23K  36,9K  49,1M
    wwn-0x50014ee25e76e28b-part1      -      -     14    429  58,7K  49,4M
    wwn-0x50014ee209153668-part1      -      -     12    424  50,7K  48,8M
--------------------------------  -----  -----  -----  -----  -----  -----
[…]

Immernoch >50MB/sec.

• Erstmal herunter fahren:

rabe@foo:~$ sudo poweroff
[sudo] password for rabe:
rabe@foo:~$
An alle Benutzer verteilte Nachricht von rabe@foo
        (/dev/pts/0) um 5:45 ...

Das System wird sich JETZT zum Ausschalten herunterfahren!
Connection to foo.fritz.box closed by remote host.
Connection to foo.fritz.box closed.

• ZFS Snapshot erzeugen:

# zfs snapshot tank/img/foo@test02

• VM wieder starten und Testdateien in /var/tmp löschen:

rabe@foo:~$ ls -la /var/tmp/
insgesamt 8388620
drwxrwxrwt  2 root root       4096 Mär  2 05:38 .
drwxr-xr-x 12 root root       4096 Mär  2 05:46 ..
-rw-rw-r--  1 rabe rabe 8589934592 Mär  2 05:41 big.8G
rabe@foo:~$ df -h /var/tmp/
Dateisystem              Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/foo--vg-root   28G    9,0G   17G   35% /
rabe@foo:~$ rm /var/tmp/big.8G
rabe@foo:~$ df -h /var/tmp/
Dateisystem              Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/foo--vg-root   28G    985M   25G    4% /

• VM wieder herunterfahren:

rabe@foo:~$ sudo poweroff

• ZFS Rollback:

Geht leider nicht so direkt:

# zfs rollback tank/img/foo@test02
cannot remove device links for 'tank/img/foo': Das Gerät oder die Ressource ist belegt: dataset is busy

Vorher iscsitarget anhalten:

# service iscsitarget stop
# zfs rollback tank/img/foo@test02
# service iscsitarget start

• VM wieder hochahren, Daten sind wieder da:

rabe@foo:~$ ls -la /var/tmp/
insgesamt 8388620
drwxrwxrwt  2 root root       4096 Mär  2 05:38 .
drwxr-xr-x 12 root root       4096 Mär  2 05:46 ..
-rw-rw-r--  1 rabe rabe 8589934592 Mär  2 05:41 big.8G
rabe@foo:~$ du -sh /var/tmp/
8,1G    /var/tmp/

More fun

ZFS Volume von 30GB auf 40GB vergrößern

• Auf dem Server:

# zfs set volsize=40G tank/img/foo
# service iscsitarget restart
[ ok ] Removing iSCSI enterprise target devices: :.
[ ok ] Stopping iSCSI enterprise target service: :.
[ ok ] Removing iSCSI enterprise target modules: :.
[ ok ] Starting iSCSI enterprise target service:.
. ok

• VirtualBox: Nach dem Neustart des iscsitarget auf dem Server erkennt VirtualBox die 40GB und auch im gast wird das sichtbar:

rabe@foo:~$ sudo fdisk -l /dev/sda

Disk /dev/sda: 42.9 GB, 42949672960 bytes
255 Köpfe, 63 Sektoren/Spur, 5221 Zylinder, zusammen 83886080 Sektoren
Einheiten = Sektoren von 1 × 512 = 512 Bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Festplattenidentifikation: 0x00068d2c

   Gerät  boot.     Anfang        Ende     Blöcke   Id  System
/dev/sda1   *        2048      499711      248832   83  Linux
/dev/sda2          501758    62912511    31205377    5  Erweiterte
/dev/sda5          501760    62912511    31205376   8e  Linux LVM

• Leider scheint zwar das Vergrößern von /dev/sda2 mittels parted zu klappen, jedoch kann /dev/sda5 nicht erweitert werden:

rabe@foo:~$ sudo parted
GNU Parted 2.3
Verwende /dev/sda
Willkommen zu GNU Parted! Geben Sie 'help' ein, um eine Liste der verfügbaren Kommados zu erhalten.
(parted) print
Modell: ATA VBOX HARDDISK (scsi)
Festplatte  /dev/sda:  42,9GB
Sektorgröße (logisch/physisch): 512B/512B
Partitionstabelle: msdos

Nummer  Anfang  Ende    Größe   Typ       Dateisystem  Flags
 1      1049kB  256MB   255MB   primary   ext2         boot
 2      257MB   32,2GB  32,0GB  extended
 5      257MB   32,2GB  32,0GB  logical                LVM

(parted) resize 2
WARNUNG: Sie versuchen parted auf einem Dateisystem (resize) zu verwenden.
Der Dateisystemänderungsquelltext von parted ist nicht so robust, wie der
in speziellen, dateisystemspezifischen Paketen wie e2fsprogs.
Wir empfehlen parted nur zum Verändern von Partitionstabellen zu,
verwenden, falls möglich.
Die Unterstützung dieser Vorgänge wird in zukünftigen
Veröffentlichungen für die meisten Dateisysteme entfallen.
Anfang?  [257MB]?
Ende?  [32,2GB]? 40,9GB
(parted) print
Modell: ATA VBOX HARDDISK (scsi)
Festplatte  /dev/sda:  42,9GB
Sektorgröße (logisch/physisch): 512B/512B
Partitionstabelle: msdos

Nummer  Anfang  Ende    Größe   Typ       Dateisystem  Flags
 1      1049kB  256MB   255MB   primary   ext2         boot
 2      257MB   40,9GB  40,6GB  extended
 5      257MB   32,2GB  32,0GB  logical                LVM

(parted) resize 5
WARNUNG: Sie versuchen parted auf einem Dateisystem (resize) zu verwenden.
Der Dateisystemänderungsquelltext von parted ist nicht so robust, wie der
in speziellen, dateisystemspezifischen Paketen wie e2fsprogs.
Wir empfehlen parted nur zum Verändern von Partitionstabellen zu,
verwenden, falls möglich.
Die Unterstützung dieser Vorgänge wird in zukünftigen
Veröffentlichungen für die meisten Dateisysteme entfallen.
Anfang?  [257MB]?
Ende?  [32,2GB]? 40,9GB
Fehler: Dateisystem konnte nicht erkannt werden.