UUGRN:Dienste/FreeBSD Buildsystem

Aus UUGRN

Das FreeBSD Buildsystem dient der Wartung und Pflege von FreeBSD auf den Servern der UUGRN.

öffentliche→  Mailingliste (Mailinglistenarchiv) • WikiPadIRCJobsWebseiteFTP Für Mitglieder→  IntranetalphaShellsJailsWebspaceMySQLUsenetBlogsBNCMailman Infrastruktur→  MailDNSBackupProxyircbotBuildsystem

Öffentliche →   • IRC ChatDrawing PadAscii PadText PadVorstand Infoshare  Für Mitglieder →   • Shell AccountUsenet Zugang  Infrastruktur →   • DNS   <edit>

Server[Bearbeiten]

Dieser Dienst wird derzeit ausgeführt auf fbsd9.uugrn.org.

Tägliche Updates[Bearbeiten]

Täglich morgens um 03:30 Uhr wird ein Script ausgeführt, welcher folgende Tasks erledigt:

sourcen updaten
svn update in /freebsd/upstream/src/9.1-RELEASE/ (= http://freebsd.uugrn.lan/upstream/src/9.1-RELEASE/)
sourcen als tarball
tar von /freebsd/upstream/src/9.1-RELEASE/ nach /freebsd/upstream/images/9.1-RELEASE/FreeBSD-9.1-RELEASE-src.tar (= http://freebsd.uugrn.lan/upstream/images/9.1-RELEASE/FreeBSD-9.1-RELEASE-src.tar)
ports updaten
portsnap in /freebsd/upstream/ports/ (= http://freebsd.uugrn.lan/upstream/ports/)
ports als tarball
tar von /freebsd/upstream/ports/ in /freebsd/upstream/images/ports.tar (= http://freebsd.uugrn.lan/upstream/images/ports.tar)
vanilla image aus aktuellen sourcen erzeugen
make buildworld installworld distribution in /freebsd/upstream/src/9.1-RELEASE/ (= http://freebsd.uugrn.lan/upstream/src/9.1-RELEASE/)
und einpacken als /freebsd/upstream/images/9.1-RELEASE/FreeBSD-9.1-RELEASE-amd64-image-vanilla.tar (= http://freebsd.uugrn.lan/upstream/images/9.1-RELEASE/FreeBSD-9.1-RELEASE-amd64-image-vanilla.tar)
falls /freebsd/upstream/src/9.1-RELEASE/UPDATING neuer als /freebsd/upstream/images/9.1-RELEASE/FreeBSD-9.1-RELEASE-amd64-image-vanilla.tar
uugrn image aus aktuellem vanilla image bauen
  • vanilla image entpacken
  • überflüssige Verzeichnisse entfernen
  • Anlegen von /alternatives/, /data/ports/
  • konfigurieren und patchen von /etc/motd, /etc/resolv.conf, /etc/profile, /etc/rc.conf, /etc/periodic.conf, /etc/localtime, /etc/mail/, /etc/crontab, /etc/login.conf,
  • root-Passwort non-empty setzen
  • alles einpacken unter /freebsd/uugrn/nightly/images/FreeBSD-9.1-RELEASE-amd64-image-uugrn.tar (= http://freebsd.uugrn.lan/uugrn/nightly/images/FreeBSD-9.1-RELEASE-amd64-image-uugrn.tar)

Package-Builds[Bearbeiten]

Package-Builds erzeugen für ausgewählte Ports passende Binär-Packages basierend auf den aktuellen Ports. Jeder Build wird dabei bei Bedarf mit einem Script (/build/tools/new_build.sh) in ein komplett eigenständiges Build-Verzeichnis gebootstrappt. Das Buildverzeichnis liegt unter /build/YYYYMMDDHHMMSS/.

Das Buildverzeichnis enthält eine Kopie der aktuellen Buildscripte und ein Unterverzeichnis namens buildroot, welches durch folgende nightly-Tagrballs gebootstrappt wird:

  • vanilla.tar: aktuelles Userland-Image basierend auf aktellsten Sourcen (direkt in .../buildroot/)
  • src.tar: aktuellste Sourcen in .../buildroot/usr/src/
  • ports.tar: aktueller Portsbaum in .../buildroot/usr/ports/

Außerdem wird in .../buildroot/build/ alles an Scripten und Konfiguration abgelegt, was für den Build *innerhalb* dieses chroot() erforderlich ist, u.a. das .../buildroot/build/build.sh, welches mehr oder weniger den vollständugen Build durchführt.

Nach Ende des (erfolgreichen) Builds innerhalb des buildroot/ werden die im Buildroot erzeugten Packages aus "herausgeholt".

Das buildroot wird für alle weiteren Steps nicht mehr weiter verwendet, alle folgenden Schritte basieren ausschließlich auf einem frischen Bootstrap unter der Verwendung der vorkompilierten Pakete.

Jail-Flavours[Bearbeiten]

Basierend dem aktuellen nightly-Buildworld (/freebsd/upstream/images/9.1-RELEASE/FreeBSD-9.1-RELEASE-amd64-image-vanilla.tar) werden verschiedene Geschmacksrichtungen und typische Konfigurationen für Jails erzeugt, jeweils aufeinander aufbauend. Dabei werden zunächst lokale Standardeinstellungen vorgenomen und dann nach und nach Packages (und deren Abhängigkeiten) installiert:

uugrn/tiny (uugrn/core)
Hier wird die nicht weiter konfigurtierte Standard-world (vanilla.tar) angepasst für den Betrieb als Jail bei UUGRN
Es werden hier *keine* Packages installiert
uugrn/small (uugrn/basic)
Enthält ein Minimalset an Tools, die in jedem Jail vorhanden sein sollten.
Wird aus tiny.tar erzeugt
Packages: bash coreutils sudo gsed findutils nano screen portupgrade pkg_cutleaves portaudit
uugrn/medium
Enthält erweiterte Tools und typische Textconsolen-Anwendungen wie Editoren, E-Mail, ..
Wird erzeugt aus small.tar
Packages: vim-lite emacs-nox11 mc gnupg mutt slrn tin irssi lynx w3m wget rsync procmail figlet fetchmail
uugrn/large
Enthält mehr Tools und Serversoftware
Wird aus medium.tar erzeugt
Packages: links rar unrar zip zsh gawk ksh93 pwgen muh climm dovecot2 apache22 mod_php5 php5-extensions
uugrn/huge
Enthält sehr viele Grafik und Multimediaibliotheken und Tools
Wird aus large.tar erzeugt
Packages (diese ziehen jeweils sehr viele Abhängikeiten mit): graphviz ImageMagick
uugrn/www
Für ein Betrieb eines einfachen Webservers
Wird aus small.tar erzeugt
Packages: apache22
uugrn/wwwphp
Webserver mit Apache + PHP5
Wird aus www.tar erzeugt
Packages: mod_php5 php5-extensions
uugrn/mediawiki
Enthält alles, was man für den Betrieb von MediaWiki oder PHP5 basierte CMS-Systeme benötigt
wird aus wwwphp.tar erzeugt
Packages: (sieht sehr viele Abhängigkeiten nach): ImageMagick

Die hier resultierenden Tarballs heißen vollständig dann z.B. FreeBSD-9.1-RELEASE-amd64-image-uugrn-medium.tar

Images (tarballs)[Bearbeiten]

Am Ende des Build-Vorgangs wird alles jeweils in tarballs verpackt und für die Veröffentlichung vorbereitet.

Ein typisches images/-Verzeichnis enthält folgende Tarballs:

-rw-r--r--  1 root  wheel  2818033664 Jun  8 00:29 FreeBSD-9.1-RELEASE-amd64-image-buildroot-noports-nosrc.tar
-rw-r--r--  1 root  wheel         167 Jun  8 00:30 FreeBSD-9.1-RELEASE-amd64-image-buildroot-noports-nosrc.tar.sha256
-rw-r--r--  1 root  wheel   671779840 Jun  8 00:31 FreeBSD-9.1-RELEASE-amd64-image-buildroot-packages.tar
-rw-r--r--  1 root  wheel        6935 Jun  8 00:31 FreeBSD-9.1-RELEASE-amd64-image-buildroot-packages.tar.origins
-rw-r--r--  1 root  wheel         162 Jun  8 00:31 FreeBSD-9.1-RELEASE-amd64-image-buildroot-packages.tar.sha256
-rw-r--r--  1 root  wheel  2204937216 Jun  8 00:32 FreeBSD-9.1-RELEASE-amd64-image-buildroot-ports-full.tar
-rw-r--r--  1 root  wheel         164 Jun  8 00:33 FreeBSD-9.1-RELEASE-amd64-image-buildroot-ports-full.tar.sha256
-rw-r--r--  1 root  wheel  1347032576 Jun  8 00:52 FreeBSD-9.1-RELEASE-amd64-image-uugrn-huge.tar
-rw-r--r--  1 root  wheel  1037542912 Jun  8 00:50 FreeBSD-9.1-RELEASE-amd64-image-uugrn-large.tar
-rw-r--r--  1 root  wheel  1068101120 Jun  8 00:56 FreeBSD-9.1-RELEASE-amd64-image-uugrn-mediawiki.tar
-rw-r--r--  1 root  wheel   837196800 Jun  8 00:47 FreeBSD-9.1-RELEASE-amd64-image-uugrn-medium.tar
-rw-r--r--  1 root  wheel   496647168 Jun  8 00:46 FreeBSD-9.1-RELEASE-amd64-image-uugrn-small.tar
-rw-r--r--  1 root  wheel   342000640 Jun  8 00:46 FreeBSD-9.1-RELEASE-amd64-image-uugrn-tiny.tar
-rw-r--r--  1 root  wheel   563835392 Jun  8 00:53 FreeBSD-9.1-RELEASE-amd64-image-uugrn-www.tar
-rw-r--r--  1 root  wheel   662937088 Jun  8 00:54 FreeBSD-9.1-RELEASE-amd64-image-uugrn-wwwphp.tar
-rw-r--r--  1 root  wheel   341968384 Jun  6 22:59 FreeBSD-9.1-RELEASE-amd64-image-vanilla.tar
-rw-r--r--  1 root  wheel  1438161920 Jun  6 22:59 FreeBSD-9.1-RELEASE-src.tar
-rw-r--r--  1 root  wheel   382213632 Jun  6 22:59 ports.tar

Verwendung der Images[Bearbeiten]

FreeBSD-9.1-RELEASE-amd64-image-buildroot*.tar
enthält jeweils eine Auswahl des buildroots, mit dem die Packages gebaut wurden. Das dient vor allem Debugging- und Analysezwecken und allgemein als Referenz für die Herkunft der Packages (d.h. unter welchen konkreten Bedingungen sie gebaut wurden)
FreeBSD-9.1-RELEASE-amd64-image-buildroot-ports-full.tar
/usr/ports mit /usr/ports/distfiles/ und /usr/ports/packages/ jedoch ohne /var/db/ports/ (persistiertes make config der Ports, die das supporten)
FreeBSD-9.1-RELEASE-amd64-image-uugrn-*.tar
Fertige Jail-Images, die einfach mittels "tar xf" im Hauptverzeichnis eines *neuen* (leeren) Jails entpackt werden können. Ein neues Jail läst sich dann sinngemäß so anlegen und starten:
# (jail.conf anpassen)
# zfs create zroot/jails/uug/foo
# cd /jails/uug/foo && tar xf /freebsd/uugrn/live/images/FreeBSD-9.1-RELEASE-amd64-image-uugrn-small.tar
# jail -c uug_foo (gemäß jail.conf::uug_foo{})
FreeBSD-9.1-RELEASE-src.tar und ports.tar
sind die zum Zeitpunkt, an dem der Build angelegt wurde aktuellen Sourcen und Ports von FreeBSD. Dienen als Referenz und werden als stabile Version in den Jails verwendet.
Werden /freebsd/uugrn/{dev,qa,live}/src/ und /freebsd/uugrn/{dev,qa,live}/ports/ abgelegt und sollten via /alternatives/ports und /alternatives/src in den Jails entsprechend unter /usr/src und /usr/ports (read-only) zugreifbar sein:
lrwxr-xr-x   1 root  wheel  19 Jun 14  2013 /usr/ports -> /alternatives/ports
lrwxr-xr-x   1 root  wheel  25 May  9  2013 /alternatives/ports -> /freebsd/uugrn/live/ports
drwxr-xr-x  70 root  wheel  86 Jun  6 23:40 /freebsd/uugrn/live/ports
drwxr-xr-x  70 root  wheel  86 Jun  6 23:40 /freebsd/uugrn/20140606225918/ports

Veröffentlichung[Bearbeiten]

Lokal in /freebsd[Bearbeiten]

Ein Build wird unter /freebsd/uugrn/ veröffentlicht und enthält sieht zB so aus:

# ls -la /freebsd/uugrn/20140606225918/
total 19
drwxr-xr-x   5 root  wheel   5 Jun  8 00:56 .
drwxr-xr-x   7 root  wheel  14 Jun  8 11:02 ..
drwxr-xr-x   2 root  wheel  20 Jun  8 00:55 images
drwxr-xr-x  70 root  wheel  86 Jun  6 23:40 ports
drwxr-xr-x  22 root  wheel  31 Jun  6 22:59 src
images/
enthält eine Kopie er in /build/20140606225918/images/ erzeugten Tarballs
ports/ und src/
enthalten exakt den Stand von FreeBSD-Sourcen und FreeBSD-Ports, wie sie innerhalb des Builds aktuell waren und genutzt wurden

FTP-Server[Bearbeiten]

Distfiles
Beim Build benötigte (heruntergeladene) Distfiles werden auf den FTP-Server hochgeladen und werden dort unter http://ftp.uugrn.org/pub/FreeBSD/ports/distfiles/ gesammelt. Hier befinden sind üblicherweise auch älte Versionen der jeweiligen Distfiles, z.B. verschiedene Releases von Perl 5.12 bis 5.16 in http://ftp.uugrn.org/pub/FreeBSD/ports/distfiles/perl/
Packages
Gebaute Packages werden auf dem FTP-Server an der Stelle abgelegt, wo "pkg_add -r" sie suchen würde: http://ftp.uugrn.org/pub/FreeBSD/ports/amd64/packages-9.1-release/. Hat man in seinem Jail die Variable PACKAGEROOT="http://ftp.uugrn.lan" gesetzt (und exportiert), dann wird pkg_add -r die jeweiligen Packages auf dem FTP-Server automatisch an der passenden Stelle finden. Das geht auch externen Systemen aus, die keinen Zugriff auf /freebsd/ oder http://freebsd.uugrn.lan/ haben.

Siehe auch[Bearbeiten]