Snapshots per rsync

Dieses Script wird verwendet, um regelmäßige Snapshots kompletter Subdirectories zu archivieren. Dabei verwendet es im Kern die beiden Tools rsync und GNU copy (unter Linux bekannt als cp).

Funktionsweise

Beim ersten Aufruf wird eine Urkopie (snap_0)erstellt (Zeile 67-71), diese wird per rsync vom Quellverzeichnis aus geschrieben (Zeile 77). War der rsync erfolgreich, wird das Verzeichnis work_* in snap_* umbenannt (Zeile 77-85).

Bei allen weiteren Aufrufen werden dann lediglich Deltas erzeugt, indem vom jüngsten snap_*-Verzeichnis per GNU copy zunächst eine Hardlink-Kopie erzeugt wird . Dabei wird lediglich die Verzeichnisstruktur real kopiert, alle normalen Dateien werden als Hardlink erstellt und nehmen daher keinen weiteren Platz in Anspruch. work_1 enthält nun eine exakte Kopie von snap_0 (Zeile 63-66)

Es folgt ein Abgleich per rsync mit dem Quellverzeichnis (Zeile 77). Dabei werden alle Dateien gelöscht und neu geschrieben, die sich geändert haben. Hat eine Datei mehr als eine Referenz, so wird beim Löschen lediglich diese Referenz entfernt, d.h. in den vorhergehenden Snapshots bleibt diese Datei erhalten. Ist der rsync erfolgreich, wird work_1 in snap_1 umbenannt (Zeile 77-80).

Schlägt ein rsync-Aufruf fehl, so bleibt die unvollständige oder fehlerhafte Kopie als work_* erhalten, das darauffolgende Delta arbeitet immer auf dem zuletzt erfolgreichen snap_*. Gründe für einen fehlgeschlagenen rsync sind beispielsweise Dateien, die zwischen dem Generieren der Dateiliste und dem Kopieren verschwinden (vanished).

Denkbar wäre, die Zeile 77 zu ersetzen:

   77           if /usr/local/bin/rsync -aHW --delete --delete-before "${DIR}/" "${WORKDIR}"; then

nach

   77           RSYNCCMD="/usr/local/bin/rsync -aHW --delete --delete-before ${DIR}/ ${WORKDIR}"
   78           if ${RSYNCCMD} || ${RSYNCCMD};  then

Dadurch wird der rsync im Fehlerfall 2x ausgeführt. Der zweite rsync sollte damit auch deutlich schneller durchlaufen und damit die Zeit zwischen der Erstellung des Katalogs und dem tatsächlichen Kopieren der Dateien drastisch verkürzen, was die Fehlerwahrscheinlichkeit idR senkt.

Schlägt rsync immer fehl, kann dieses jedoch toleriert werden, so kann die Zeile 77 einfach durch || true ergänzt werden, damit der if-Block ausgeführt wird.

Im Beispiel wurden die Verzeichnisse snap_1 genannt, im realen betrieb werden hier timestamps verwendet, siehe Zeile 28-32.

Anwendung

Anders als bei einer ausgewachsenen Versionsverwaltung müssen die Daten nicht explizit in einem Repository angemeldet werden, die Dateien "wissen" nichts von snapshots. Dieses Verfahren eignet sich beispielsweise dafür, statische Binärdaten wie etwa Multimedia-Dateien etc. zu versionieren.

Bearbeitet man beispielsweise ein Bild und speichert es unter gleichem Namen wieder ab, geht die alte Version im Quellverzeichnis erstmal verloren. Im snapshot-Verzeichnis jedoch bleibt die alte Version erhalten.

Verzeichnisse, die überwiegend wachsende Dateien enthalten, wie etwa Logfiles, sind nur begrenzt sinnvoll für die snapshots, da diese Dateien bei JEDEM Durchlauf komplett neu kopiert werden. Dabei entstehen zwar funktionierende Snapshots, jedoch werden auch geringe Änderungen mit dem vollen Speicherplatz archiviert, keine Deltas.

Script

    1  #! /bin/sh
    2  #
    3  # Verzeichnis-Snapshots erstellen mit gnu-copy(hardlinks) und rsync
    4  #
    5  #
    6  #
    7  # Aufruf:
    8  # $0 /path/to/dir/
    9  #
   10  # --> /data/snapshot/path_to_dir/<timestamp>/...
   11
   12
   13  SNAPSHOTHOME=/data/snapshot
   14
   15  # Symlinks etc auflösen, benötigen den absoluten pfad
   16  abspath()
   17  {
   18    (cd $1 && pwd -P) 2>/dev/null
   19  }
   20
   21  # Zielverzeichnis ermitteln
   22  snapdir()
   23  {
   24    echo -n "${SNAPSHOTHOME}/"
   25    echo "$1"| tr '/ ' '__'
   26  }
   27
   28  # Zeitstempel ermitteln
   29  timestamp()
   30  {
   31    date +%Y%m%d%H%M%S
   32  }
   33
   34  # jüngsten (vollständigen) snapshot in $SNAPDIR ermitteln
   35  getlatest()
   36  {
   37    ls -1dr "$SNAPDIR"/snap_20*/  | head -n 1 2>/dev/null
   38  }
   39
   40  if [ $# -ge 1 ]; then
   41    while [ -n "$1" ]; do
   42      DIR="$(abspath "$1")"
   43      if [ -d "${DIR}" ]; then
   44        SNAPDIR=$(snapdir "${DIR}")
   45        echo "$0: Bearbeite ${DIR} ... "
   46
   47        # Anlegen, falls nicht vorhanden
   48        if [ ! -d "${SNAPDIR}" ]; then
   49          mkdir -p "${SNAPDIR}" 2>/dev/null
   50        fi
   51
   52        # Weitermachen, falls jetzt vorhanden
   53        if [ -d "${SNAPDIR}" ]; then
   54          echo "$0: Snapshot von $DIR nach $SNAPDIR"
   55          TS=$(timestamp)
   56          LATESTSNAP="$(getlatest)"
   57          WORKDIR="${SNAPDIR}/work_${TS}"
   58          FINISHDIR="${SNAPDIR}/snap_${TS}"
   59
   60          # jüngsten snapshot ermitteln
   61          # falls vorhanden mit GNU-copy als hardlink-Kopie anlegen
   62          # oder leeres Verzeichnis erstellen
   63          if [ -n "${LATESTSNAP}" ]; then
   64            # Alter snapshot besteht, gcp-hardlink erzeugen
   65            echo "$0: Hardlink-Kopie ${LATESTSNAP} --> ${WORKDIR} erzeugen (gcp)"
   66            /usr/local/bin/gcp -al "${LATESTSNAP}" "${WORKDIR}"
   67          else
   68            # Kein Alter snapshot vorhanden, neu (leer) anlegen
   69            echo "$0: Leeres ${WORKDIR} anlegen ..."
   70            mkdir "${WORKDIR}"
   71          fi
   72
   73          # Quellverzeichnis ins Arbeitsverzeichnis rsync'en
   74          # DIR -> WORKDIR
   75          if [ -d "${WORKDIR}" ]; then
   76           echo "$0: rsync ${DIR}/ -> ${WORKDIR} ..."
   77           if /usr/local/bin/rsync -aHW --delete --delete-before "${DIR}/" "${WORKDIR}"; then
   78             if mv "${WORKDIR}" "${FINISHDIR}" ; then
   79               echo "$0: ${DIR} --> ${FINISHDIR} abgeschlossen. OK."
   80             else
   81               echo "$0: Fehler beim Abschließen: "${WORKDIR}" --> ${FINISHDIR}" >&2
   82             fi
   83           else
   84             echo "$0; Fehler bei rsync ${DIR}/ --> ${WORKDIR}" >&2
   85           fi
   86          else
   87            echo "$0: ${WORKDIR} nicht gefunden, konnte nicht erstellt werden" >&2
   88          fi
   89        else
   90          echo "$0: $SNAPDIR nicht gefunden, konnte nicht angelegt werden oder kein Verzeichnis" >&2
   91        fi
   92      else
   93        echo "$0: $1 nicht gefunden" >&2
   94      fi
   95      shift
   96    done
   97  else
   98    echo "$0: Fehlende Parameter" >&2
   99    echo "Aufruf:" >&2
  100    echo "$0 /path/to/dir [/path2/to/dir] ..." >&2
  101    exit 1
  102  fi
  103
  104