Bearbeiten von „UUGRN:Dienste/Backup“

Aus UUGRN

Warnung: Du bist nicht angemeldet. Deine IP-Adresse wird bei Bearbeitungen öffentlich sichtbar. Melde dich an oder erstelle ein Benutzerkonto, damit Bearbeitungen deinem Benutzernamen zugeordnet werden.

Die Bearbeitung kann rückgängig gemacht werden. Bitte prüfe den Vergleich unten, um sicherzustellen, dass du dies tun möchtest, und speichere dann unten deine Änderungen, um die Bearbeitung rückgängig zu machen.

Aktuelle Version Dein Text
Zeile 1: Zeile 1:
−
Dieser Artikel beschreibt Datensicherungs-Strategie und soll im Falle eines Falles bei der Wiederherstellung von Daten helfen.  
+
Dieser Artikel beschreibt Datensicherungs-Strategie und soll im Falle eines Falles bei der Wiederherstellung von Daten helfen. Da sich dieses Wiki auf dem UUGRN-Server selbst befindet, sollte eine Hardcopy (Ausdruck, PDF, ... ) extern gehalten werden.
  
−
{{Navigationsleiste Dienste}}
+
==Datenspeicher==
 +
===Platten===
 +
* UW SCSI:
 +
sd0 at scsibus0 targ 0 lun 0: <IBM, DDRS-34560D, DC1B> SCSI2 0/direct fixed
 +
sd0: 4357MB, 8387 cyl, 5 head, 212 sec, 512 bytes/sec, 8925000 sec total
 +
sd1 at scsibus0 targ 1 lun 0: <SEAGATE, ST34502LW, 0004> SCSI2 0/direct fixed
 +
sd1: 4340MB, 6962 cyl, 6 head, 212 sec, 512 bytes/sec, 8888924 sec total
 +
sd2 at scsibus0 targ 2 lun 0: <SEAGATE, ST34502LW, 0006> SCSI2 0/direct fixed
 +
sd2: 4340MB, 6962 cyl, 6 head, 212 sec, 512 bytes/sec, 8888924 sec total
 +
* USB2-ATA:
 +
sd3 at scsibus1 targ 1 lun 0: <IC35L080, AVVA07-0, 0811> SCSI0 0/direct fixed
 +
sd3: 78533MB, 78533 cyl, 64 head, 32 sec, 512 bytes/sec, 160836480 sec total
  
−
== Backup-Server ==
+
===Filesysteme (lokal)===
−
=== Historisiertes Systembackup auf [[UUGRN:Server/strange|strange.uugrn.org]] ===
+
Filesystem    Size  Used  Avail Capacity  Mounted on
−
;Server: Seit Mitte Juli 2011 betreibt UUGRN den Server [[UUGRN:Server/strange|strange.uugrn.org]]
+
/dev/sd0a    62.1M  35.1M  23.9M    60%    /
−
;Backupfrequenz: Einmal '''täglich''' werden die Backups der UUGRN Server per rsync eingesammelt und als 1:1 Kopie vorgehalten, bei Bedarf, zB vor Upgrades auch häufiger.
+
/dev/sd0d    1.9G  1.3G  449M    75%    /usr
−
;Storage: Das System beinhaltet neben einer Systemplatte ein [[UUGRN:Server/strange/storage#ZFS|ZFS-Pool]] bestehend aus '''[[UUGRN:Server/strange/storage#Platten|4x750GB SATA Platten]]''', was einer nutzbaren Kapazität von 1.36TB entspricht. Das Backup-Volume arbeitet mit '''Deduplikation''' und alle 60min wird per cron ein '''ZFS-Snapshot''' erstellt. Das Vorhalten der ZFS Snapshots kostet zusätzlich nur den Speicherplatz der gelöschten Daten.
+
/dev/sd0e    991M  769M  173M    82%    /var
 +
/dev/sd0f    495M  213K  470M    0%    /usr/obj
 +
/dev/sd0g    505M  14.0K  480M    0%    /tmp
 +
/dev/sd1d    4.1G  3.4G  532M    87%    /home
 +
/dev/sd2d    1.3G  585M  702M    45%    /usr/ports
 +
/dev/sd2e    2.8G  2.6G  11.3M  100%    /data
 +
/dev/sd3a    29.5G  12.9G  16.0G    45%    /backup
 +
/dev/sd3d    29.5G  24.2G  4.7G    84%    /platz0
 +
/dev/sd3e    16.4G  12.1G  4.0G    75%    /platz1
  
−
=== ZFS-Snapshots auf {{stwserv2.stwserv.de}} ===
+
===Filesysteme (auf [[up|up.uugrn.org]])===
−
;Server: Dieser Server ist geplant ab April 2013. Es ist der künftige Primäre Server von Stadtwiki e.V.
+
Filesystem    Size    Used  Avail Capacity  Mounted on
−
;Backups: in einem noch zu definierenden Intervall werden auf {{top3.uugrn.org}} Backup-Snapshots aller Jails angelegt ("zroot"-Pool) und lokal im "tank"-Pool historisiert. Die jeweils 7-10 letzten Backup-Snapshots von "tank" auf {{top3.uugrn.org}} werden außerdem per "zfs send" an {{stwserv2.stwserv.de}}::tank übertragen. Mit Hilfe dieser Jail-Snapshots kann im Bedarfsfall {{stwserv2.stwserv.de}} diese Jails auch selbst hochfahren oder aber für ein Desaster-Recovery von {{top3.uugrn.org} vorhalten.
+
/dev/md5c    989M    259M    651M    28%    /data1/jail/005
  
−
== Systeme im Backup ==
 
−
=== Server ===
 
−
* {{top3.uugrn.org}}
 
−
* {{strange.uugrn.org}}
 
−
* stwserv1.stwserv.de
 
−
* {{stwserv2.stwserv.de}}
 
  
 +
==Lokale Datensicherung==
 +
*täglich um 23:59 /root/bin/do_backup.sh:
 +
# Verzeichnisse in [[tar|tar.gz]] packen --> /data/backup
 +
# [[mysqldump|MySQL dump]] aller Datenbanken  --> /data/backup/mysql/<timestamp>/, 7 Tagesstände werden lokal gehalten
 +
# [[rsync]] von /data/backup/ nach backup@[[up|up.uugrn.org]]:/data/backup/[[charm|charm.uugrn.org]]/
 +
*Logfile: /data/backup/backup.log
  
−
[[Kategorie:UUGRN:Backup| ]]
+
==Tagessicherung==
−
{{Stub}}
+
* täglich um 4:30, sonntags um 7:30 /root/bin/do_rsync.sh
 +
* Logfile: /platz0/[[charm|charm.uugrn.org]]/<tag>/rsync.log
 +
* [[rsync]] von /data und /home nach /platz0/[[charm|charm.uugrn.org]]/<tag>/ (USB-Platte)
 +
Mo: /platz0/charm.uugrn.org/1
 +
Di: /platz0/charm.uugrn.org/2
 +
Mi: /platz0/charm.uugrn.org/3
 +
Do: /platz0/charm.uugrn.org/4
 +
Fr: /platz0/charm.uugrn.org/5 -> ../../platz1/charm.uugrn.org/5
 +
Sa: /platz0/charm.uugrn.org/6 -> ../../platz1/charm.uugrn.org/6
 +
So: /platz0/charm.uugrn.org/7 -> ../../backup/charm.uugrn.org/7
 +
 
 +
==Wochensicherung==
 +
* sonntags um 3:30 /root/bin/do_dump.sh
 +
* Logfile: mail an admin@uugrn.org
 +
* [[dump]] mit [[gzip]] -9 auf die [[USB]]-Platte
 +
"/ /usr /var /home /data"    --> /backup/charm.uugrn.org/dump/
 +
vorige Datensicherung        --> /backup/charm.uugrn.org/dump/old/
 +
vorvorige Datensicherung    --> /backup/charm.uugrn.org/dump/older/
 +
 
 +
==Data Recovery==
 +
 
 +
Im Folgenden sind Datenwiederherstellungsszenarien beschrieben, die auftreten können und wie man die Schritte mit der derzeit vorhandenen Datensicherung durchführt.
 +
 
 +
===Totalausfall der Serverhardware===
 +
Der ''worst-case'' ist der Totalverlust der Serverhardware (z.B. durch Naturgewalten wie Feuer und/oder Wasser) dennoch sollte es mit etwas Aufwand möglich sein, aus der vorhandenen Datensicherung ein Ersatzsystem aufzuziehen. Dabei müssen die Fälle ''USB Platte ist noch da'' und ''USB-Platte ist ebenfalls zerstört'' unterschieden werden.
 +
 
 +
* USB Platte ist noch da und funktioniert
 +
# Neue Hardware besorgen
 +
# OpenBSD 3.6 Rettungssystem booten
 +
# USB Platte anschließen und nach /backup mounten
 +
# prüfen, ob die Backups vorhanden und lesbar sind
 +
# Anhand der oben aufgelisteten Filesysteme eine äquivalente Filesystemsruktur anlegen
 +
# dumps mit [[gunzip]]|[[restore]] zurückspielen
 +
 
 +
* USB-Platte mit den Backups ist nicht mehr verfügbar
 +
# Neue Hardware besorgen
 +
# OpenBSD 3.6 installieren
 +
# Die wichtigsten Packages (z.B. mysql-*) einspielen
 +
# Backup der wichtigsten Systemverzeichnisse von backup@up.uugrn.org:charm.uugrn.org/ zurückholen
 +
# ... und einzeln einspielen.
 +
 
 +
In diesem Backup sind /etc-Verzeichnisse, die mysql-Datenbank ([[mysqldump]]), /var/www etc enthalten. Nicht enthalten sind aus Platzgründen die Daten- und Homeverzeichnisse, diese wären unwiederbringlich verloren, sofern nicht aus dem zerstörten Server wiederherstellbar (z.B. bei Wasserschaden)
 +
 
 +
===Totalausfall einer internen Platte===
 +
* sd0 (bootplatte)
 +
# Ersatzplatte besorgen (habe noch 3 davon hier rumliegen, --[[Benutzer:Rabe|RaBe]] 08:08, 22. Okt 2005 (CEST))
 +
# vor Ort (Speyer!) einbauen
 +
# Rettungssystem von Diskette und/oder USB Stick booten (kein CD-ROM!)
 +
# USB-Platte (aktuell sd3) /backup mounten, prüfen ob backups vorhanden und lesbar
 +
# Ersatzplatte sd0 partitionieren (siehe 0.2:sd0)
 +
# Gepackte dumps mit gunzip | restore auf die jeweiligen Dateisysteme zurückschreiben
 +
# Aktuellste tar-Datensicherung (sofern neuer als im Dump) von /var und /etc mit tar auspacken (siehe 2. Tagessicherung)
 +
 
 +
* sd1 (/home)
 +
# Ersatzplatte besorgen
 +
# Jumper auf ID=1, vor Ort einbauen
 +
# System normal booten
 +
# Platte sd1 partitionieren (eine große Partition) und mounten nach /home
 +
# Gepackten dump /backup/charm.uugrn.org/dump/charm._home.dump.gz mit gunzip|restore nach /home schreiben
 +
# ggf mittels [[rsync]] aktuellste Livekopie aus /platz0/charm.uugrn.org/<tag>/home/ überschreiben (diff zur Wochensicherung)
 +
 
 +
* sd2 (/data und /usr/ports)
 +
# Ersatzplatte besorgen
 +
# Jumper auf ID=2, vor Ort einbauen
 +
# System normal booten
 +
# Platte sd2 partitionieren (/usr/ports und /data, siehe 0.2:sd2) und mounten
 +
# Gepackten dump /backup/charm.uugrn.org/dump/charm._data.dump.gz  mit [[gunzip]]|[[restore]] nach /data schreiben
 +
# ggf mittels [[rsync]] aktuellste Livekopie aus /platz0/charm.uugrn.org/<tag>/data/ überschreiben (diff zur Wochensicherung)
 +
# '''ACHTUNG:''' /usr/ports ist per cvs verfügbar und ist daher '''NICHT IM BACKUP ENTHALTEN'''
 +
 
 +
===Totalausfall der USB-Platte (Datensicherungsplatte)===
 +
* USB-ATA Gehäuse defekt
 +
# Neues Gehäuse besorgen (USB2, 3.5", ATA)
 +
# Vor Ort (Speyer) Platte umbauen, neu mounten (s. 0.2:sd3)
 +
 
 +
* Platte defekt
 +
# Neue Platte besorgen (ATA, 3.5", min 40GB)
 +
# Platte vor Ort (Speyer) umbauen,
 +
# Platte neu partitionieren und mounten (siehe 0.2:sd3)
 +
# Verzeichnisstruktur anlegen (vgl Tages-/Wochensicherung Punkt 2+3)
 +
# Wochensicherung manuell starten: /root/bin/do_dump.sh
 +
# Tagessicherung manuell starten:  /root/bin/do_rsync.sh
 +
 
 +
===Rücksicherung einzelner Dateien===
 +
* Rücksicherung in /home oder in /data
 +
# Speicherorte siehe [[UUGRN:Backup#Tagessicherung|Tagessicherung]]
 +
# Dateien aus dem jeweiligen Verzeichnis einfach herauskopieren, z.B. Rücksichern einer Datei aus /data/foo/bar:
 +
cp -v /platz0/charm.uugrn.org/4/data/foo/bar/blafasel.dat /data/foo/bar/
 +
 
 +
* Rücksicherung von Systemverzeichnissen (aktuelle Datensicherung)
 +
# Speicherorte siehe [[UUGRN:Backup#Lokale_Datensicherung|Lokale_Datensicherung]]
 +
# entsprechende tar.gz-Datei suchen und mit Hilfe von [[tar]] alle oder eine Liste von Dateien auspacken. z.B. Rücksichern von /etc/fstab
 +
# tar tvvfz /data/backup/_etc.tar.gz etc/fstab
 +
-rw-r--r--  1 root    wheel          384 Oct 11 19:34 etc/fstab
 +
# tar xvfz data/backup/_etc.tar.gz etc/fstab
 +
 
 +
* Rücksicherung von Systemverzeichnissen (ältere Datensicherung)
 +
# die [[UUGRN:Backup#Lokale_Datensicherung|Lokale_Datensicherung]] findet in /data/backup statt und wird daher von der Tagessicherung täglich per [[rsync]] in /platz0/charm.uugrn.org/?/data/backup/ gespeichert.
 +
# Tarball raussuchen und daraus mit [[tar]] die gewünschte Datei entpacken (''xv'', vorher mit ''tvv'' den Inhalt auflisten):
 +
# ls -la /platz0/charm.uugrn.org/?/data/backup/_etc.tar.gz
 +
-rw-r--r--  1 root  wheel  793247 Oct 21 23:59 /platz0/charm.uugrn.org/6/data/backup/_etc.tar.gz
 +
# tar tvvfz /platz0/charm.uugrn.org/6/data/backup/_etc.tar.gz etc/fstab
 +
-rw-r--r--  1 root    wheel          384 Oct 11 19:34 etc/fstab
 +
# tar xvfz /platz0/charm.uugrn.org/6/data/backup/_etc.tar.gz etc/fstab
 +
etc/fstab
 +
 
 +
===Rücksicherung einer MySQL Datenbank===
 +
MySQL arbeitet intern auf Binärdateien. Zum Zeitpunkt des Backups ist die Datenbank ([[mysqld]]) aktiv, die Binärdateien sind daher ähnlich wie ein gemountetes Dateisystem mit Vorsicht zu genießen, da sie nicht zu jedem Zeitpunkt in sich konsistent sind. Um diesem Problem zu begegnen werden die einzelnen Datenbanken mittels [[mysqldump]], welches den Inhalt der Datenbanken dierkt in SQL auswirft, gespeichert.
 +
Die [[UUGRN:Backup#Lokale_Datensicherung|Lokale_Datensicherung]] erzeugt täglich einen Abzug aller MySQL-Datenbanken mit mysqldump und speichert diese in /data/backup/mysql/<timestamp>/DBNAME.mysql.dump.gz. Es werden die letzten 7 Stände in /data/backup/mysql/ gehalten, ältere Versionen findet man unter /platz0/charm.uugrn.org/?/data/backup/mysql/*/
 +
 
 +
Beispiel: Zurücksichern der Datenbank ''test'':
 +
 
 +
* Datenbankdump ausfindig machen
 +
# ls -la /data/backup/mysql/*/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 05:28 /data/backup/mysql/20051021052802/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 05:28 /data/backup/mysql/20051021052805/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 05:37 /data/backup/mysql/20051021053737/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 05:41 /data/backup/mysql/20051021054119/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 05:45 /data/backup/mysql/20051021054542/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 06:10 /data/backup/mysql/20051021061038/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 23:59 /data/backup/mysql/20051021235950/test.mysql.dump.gz
 +
oder (das kann sehr viel mehr werden als hier gezeigt)
 +
# ls -la /platz0/charm.uugrn.org/?/data/backup/mysql/*/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 05:28 /platz0/charm.uugrn.org/6/data/backup/mysql/20051021052802/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 05:28 /platz0/charm.uugrn.org/6/data/backup/mysql/20051021052805/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 05:37 /platz0/charm.uugrn.org/6/data/backup/mysql/20051021053737/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 05:41 /platz0/charm.uugrn.org/6/data/backup/mysql/20051021054119/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 05:45 /platz0/charm.uugrn.org/6/data/backup/mysql/20051021054542/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 06:10 /platz0/charm.uugrn.org/6/data/backup/mysql/20051021061038/test.mysql.dump.gz
 +
-rw-r--r--  1 root  wheel  102 Oct 21 23:59 /platz0/charm.uugrn.org/6/data/backup/mysql/20051021235950/test.mysql.dump.gz
 +
 
 +
* Einen Datenbankdump der Datenbank ''test'' zurücksichern in die Datenbank ''foobar'' (''foobar'' muss schon bestehen, ggf. vorher anlegen!) '''ACHTUNG:''' Gleichnamige Tabellen in der Datenbank ''test'' werden mit diesem Verfahren ohne Rückfrage überschrieben!
 +
# echo "create database foobar;" | mysql -u root -prootpasswort
 +
# zcat /data/backup/mysql/20051021054119/test.mysql.dump.gz | mysql -u username -ppasswort foobar
 +
 
 +
Soll statt einer ganzen Datenbank nur eine oder einzelne Tabelle/n (z.B. ''blafasel'') rückgesichert werden, ist folgendes Vorgehen zu wählen:
 +
* Den gewünschten Stand der gesuchten Datenbank (''test'') in einer temporären Datenbank (''foobar'') einlesen (siehe oben)
 +
* Mit [[mysqldump]] dann die gewünschte Tabelle aus der temporären Datenbank rausholen und in die Zieldatenbank ''test'' einspielen (überschreiben!):
 +
$ mysqldump --opt -u user -ppasswort foobar blafasel | mysql -u username -ppasswort test

Bitte kopiere keine Inhalte, die nicht Deine eigenen sind!

Du gibst uns hiermit Deine Zusage, dass
  • Du den Text nicht aus Wikipedia kopiert hast
  • Du den Text selbst verfasst hast
  • oder der Text entweder
    • Allgemeingut (public domain) ist
    • oder der Copyright-Inhaber seine Zustimmung gegeben hat.
Wichtig
  • Benutze keine urheberrechtlich geschützten Werke ohne Erlaubnis des Copyright-Inhabers!
  • Falls dieser Text bereits woanders veröffentlicht wurde, weise bitte auf der 'Diskussion:'-Seite darauf hin.
  • Bitte beachte, dass alle UUGRN-Beiträge automatisch unter der der Creative Commons Lizenz stehen.
  • Falls Du nicht möchtest, dass Deine Arbeit hier von anderen verändert und verbreitet wird, dann drücke nicht auf "Artikel Speichern".

Bitte beantworte die folgende Frage, um diese Seite speichern zu können (weitere Informationen):

Abbrechen Bearbeitungshilfe (wird in einem neuen Fenster geöffnet)

Folgende Vorlagen werden auf dieser Seite verwendet:

Abgerufen von „https://wiki.uugrn.org/UUGRN:Dienste/Backup“