Bearbeiten von „UUGRN:Buildsystem“

Ein wichtiger Bestandteil der {{UUGRN}}-Infrastruktur ist das '''Buildsystem'''. Hier werden alle Aspekte der FreeBSD Systempflege verwaltet, zum Beispiel 

== Hauptkomponenten ==
Das Buildsystem für FreeBSD 9.x existiert im Jail {{Jail|name=fbsd9}}. Dieses Jail ist aktuell auf {{top3}} beheimatet, könnte aber insgesamt auf jedem anderen FreeBSD 9.x-System laufen. 

== Verzeichnisse ==
Auf (nahezu) allen Jail existiert ein Verzeichnis '''/freebsd'''. Dieses ist überall read-only gemountet, lediglich in {{Jail|name=fbsd9}} ist es read-write verfügbar, da es hier maintaint wird.

Hier existiert '''/freebsd/upstream''' welches vor allem '''src/''' und '''ports/''' enthält, welche täglich durch svn und portsnap aktualisiert werden

=== Images ===
Basierend auf dem aktuellen Stand von upstream/src und upstream/ports werden täglich (nightly-Builds) entsprechende tarballs erzeugt. Diese sollten tagesaktuell sein, die "buildworld"-Images werden nur bei Bedarf neu erzeugt.

;Vanilla: Das '''vanilla'''-Image ist das unverfälsche Ergebnis von "make buildworld installworld distribution" ohne irgendwelche weiteren Anpassungen.
;UUGRN: Das '''uugrn'''-Image basiert auf dem '''vanilla'''-Image und wird durch zahlreiche Schritte für den Betrieb bei UUGRN optimiert, zB /freebsd, Zeitzone, DNS, Mail, cron, periodic, …. Das UUGRN-Image ist das Basis-Image für UUGRN-{{Jails}}, jedoch ohne Zusatzsoftware.

;Verzeichnisbaum:
<pre>
/freebsd/upstream/images/
├── 9.1-RELEASE
│   ├── FreeBSD-9.1-RELEASE-amd64-image-vanilla.tar
│   ├── FreeBSD-9.1-RELEASE-amd64-image-vanilla.tar.sha256
│   ├── FreeBSD-9.1-RELEASE-src.tar
│   └── FreeBSD-9.1-RELEASE-src.tar.sha256
├── ports.tar
└── ports.tar.sha256
/freebsd/uugrn/nightly/images/
├── FreeBSD-9.1-RELEASE-amd64-image-uugrn.tar
└── FreeBSD-9.1-RELEASE-amd64-image-uugrn.tar.sha256
</pre>


=== Nightly-Builds ===
<pre>
# ===============================================
# NIGHTLY Build
# 
# 1)    update sources (svn up)                 tarball
# 2)    update ports (portsnap)                 tarball
# 3)    build vanilla-image                     tarball
# 4)    customize/build jail-image              tarball
# 5)    customize/build uugrn-image             tarball
# 6)    checksum, upload to FTP
# 7)    pre-fetch distfiles of active ports
# ===============================================
</pre>



== Package-Build ==
Neben den täglichen Updates basierend auf /usr/src existiert auch ein eigener Mechanismus zum Bau von vorkompilierten Packages, basierend auf /usr/ports.

Jeder Build findet in einem eigenen chroot-Verzeichnis statt. Ein solches chroot wird in mehren Stufen erzeugt, ausgehend von den Upstream-Images (/usr/src, /usr/ports und "world", dem Ergebnis von "make buildworld distribution" auf /usr/src).

Die Vorgehensweise umfasst grob:

=== /build/tools/new_build.sh ===
* Neuen Build erzeugen unter Verwendung 
** des '''vanilla'''-Images, also dem aktuellen Userland-Image aus den nightly-Builds
** des '''ports'''-Images, also dem tagesaktuellen Stand von /usr/ports (portsnap)
** des '''src'''-Images, also dem tagesaktuellen Stand von /usr/src (subversion)
* Build-chroot anlegen
* Images reinkopieren
* Build-Scripte und Dateien nach chroot/build/ kopieren
* run.sh-Script anlegen, über das man eine shell im chroot/ bekommt (/build/tools/new_build.sh)


;Beispiel-Terminalausgabe von /build/tools/new_build.sh:
<pre>
[root@fbsd9 /build]# tools/new_build.sh
2013-08-24 00:48:22: 1) set up /build/20130824004822/
/build/20130824004822
2013-08-24 00:48:22: 2) set up /build/20130824004822//root/
2013-08-24 00:48:22:    --> create /build/20130824004822/
2013-08-24 00:48:22:    --> populate /build/20130824004822//root/ from /freebsd/upstream/images/9.1-RELEASE/FreeBSD-9.1-RELEASE-amd64-image-vanilla.tar
2013-08-24 00:48:29:    --> populate /usr/src/ from /freebsd/upstream/images/9.1-RELEASE/FreeBSD-9.1-RELEASE-src.tar
2013-08-24 00:48:56:    --> populate /usr/ports/ from /freebsd/upstream/images/ports.tar
/usr/ports
/usr/ports/packages
/usr/ports/distfiles
2013-08-24 00:49:24:    --> populate chroot/root/
/build/files/.vimrc -> /build/20130824004822//root//root/.vimrc
2013-08-24 00:49:24:    --> populate chroot/build/
/build
/build/files/build.sh -> /build/20130824004822//root//build/build.sh
/build/files/var_db_ports.tar -> /build/20130824004822//root//build/var_db_ports.tar
2013-08-24 00:49:24:    --> populate /var/db/ports
2013-08-24 00:49:24:    --> populate chroot/etc/
/etc/resolv.conf -> /build/20130824004822//root//etc/resolv.conf
/etc/make.conf -> /build/20130824004822//root//etc/make.conf
2013-08-24 00:49:24: 3) create /build/20130824004822//run.sh
</pre>

=== /build/YYYYMMDDHHMMSS/run.sh ===
* mounten von /dev 
* starten einer Shell (csh)

;Terminalausgabe run.sh:
<pre>
[root@fbsd9 /build]# /build/20130824004822/run.sh
root@fbsd9:/ # 
root@fbsd9:/ # pkg_info 
pkg_info: no packages installed
</pre>

=== /build/build.sh ===
* manuelle Ausführung von /build/build.sh
** bootstrappen von '''portuppgrade''' und Abhängigkeiten
** Bau von essenziellen Packages in den gewünschen Versionen (db46, sqlite3, apache24, mysql55, perl5.14)
** (Neu) Bau von allen anderen Packages, ca 50-100 Packages werden derzeit explizit gebaut was mit Abhängigkeiten ca 800 Packages ergibt

==== Port-Auswahl für den Buildprozess ====
Die hier aufgelisteten Ports sind teilweise voneinander abhängig. 

;Auszug aus /build/build.sh:
<pre>
SHELLS="lang/perl5.14 shells/bash shells/bash-completion shells/zsh shells/ksh93"
TOOLS="archivers/zip archivers/unzip sysutils/tree sysutils/cmdwatch sysutils/cpdup ports-mgmt/pkg_cutleaves ports-mgmt/portaudit databases/mysql55-client databases/mysqltuner ports-mgmt/portupgrade sysutils/screen sysutils/tmux graphics/ImageMagick graphics/graphviz graphics/GraphicsMagick databases/sqlite3 "
GNU="sysutils/coreutils textproc/gsed lang/gawk archivers/gtar misc/findutils misc/gnuls "
SEC="security/gnupg1 security/pinentry-curses security/sudo security/stunnel sysutils/pwgen "  
NET="ftp/curl ftp/wget net/rsync security/nmap net-im/climm irc/muh irc/znc "
SERVICES="security/xinetd security/oidentd net/hidentd net-mgmt/nagios-plugins databases/mysql55-server irc/inspircd ftp/vsftpd  "
MAIL="mail/fetchmail mail/procmail mail/dovecot2 mail/mutt mail/mailman"

EDITORS="editors/vim-lite sysutils/vimpager editors/emacs-nox11 editors/nano" 
APPS="irc/irssi irc/irssi-scripts news/slrn misc/mc news/tin www/lynx www/w3m www/links "
DEVEL="devel/git devel/subversion "
WEB="www/apache24 www/lighttpd devel/otrs"
PHP="lang/php5 archivers/php5-bz2 archivers/php5-zip archivers/php5-zlib converters/php5-iconv converters/php5-iconv converters/php5-mbstring databases/php5-mysql databases/php5-mysqli databases/php5-pdo databases/php5-pdo_mysql databases/php5-pdo_odbc databases/php5-pdo_sqlite databases/php5-propel databases/php5-sqlite3 devel/php5-dav devel/php5-gettext devel/php5-json devel/php5-readline ftp/php5-curl ftp/php5-ftp graphics/php5-exif graphics/php5-ffmpeg graphics/php5-gd mail/php5-imap math/php5-bcmath math/php5-gmp misc/php5-calendar net/php5-soap net/php5-sockets net/php5-xmlrpc security/php5-filter security/php5-hash security/php5-mcrypt security/php5-openssl sysutils/php5-fileinfo sysutils/php5-posix textproc/php5-simplexml textproc/php5-xml textproc/php5-xmlreader textproc/php5-xmlwriter textproc/php5-xsl www/php5-session www/php5-tidy lang/php5-extensions " 
FUN="misc/figlet misc/figlet-fonts"

PRE="databases/db46 databases/sqlite3 www/apache24 databases/mysql55-server lang/perl5.14"
ALL="${SHELLS} ${TOOLS} ${GNU} ${MAIL} ${SEC} ${NET} ${SERVICES} ${EDITORS} ${APPS} ${DEVEL} ${WEB} ${PHP} ${FUN}" 
</pre>

Zusätzlich zu den hier aufgelisteten Ports werden auch alle Abhängigkeiten als Package gebaut.

== Jail Prototypen bei UUGRN ==
Aufbau der verschiedenen Jail-Prototypen, ausgehend vom "reinen FreeBSD" ("vanilla"):
;vanilla: basiert auf aktuellem ''/usr/src'' und ''make buildworld installworld distribution''
;uugrn: basiert auf '''vanilla''' und enthält darüber hinaus nur Anpassungen für den Jail-Betrieb bei UUGRN und ''keine Packages''.
;small: basiert auf '''uugrn''' und darüber hinaus die Packages ''bash coreutils sudo gsed findutils nano screen portupgrade pkg_cutleaves portaudit'' plus alle Abhängigkeiten.
;medium: basiert auf '''small''' und darüber hinaus auf den Packages ''vim-lite emacs mc gnupg mutt slrn tin irssi lynx w3m wget rsync procmail figlet fetchmail'' plus alle Abhängigkeiten.
;large: basiert auf '''medium''' und darüber hinaus auf den Packages ''links rar unrar zip zsh gawk ksh93 pwgen unix2dos muh climm graphviz ImageMagick dovecot2 apache24 php5 php5-extensions'' plus alle Abhängigkeiten.
;webstatic: basiert auf '''uugrn''' und enthält ansonsten nur das Package ''apache24'' plus alle Abhängigkeiten.
;webphp: basiert auf '''webstatic''' und darüber hinaus die Packages ''php5 php5-extensions ImageMagick'' plus alle Abhängigkeiten

[[Kategorie:UUGRN:Infrastruktur]]
@@ Zeile 1: / Zeile 1: @@
-Ein wichtiger Bestandteil der {{UUGRN}}-Infrastruktur ist das '''Buildsystem'''. Hier werden alle Aspekte der FreeBSD Systempflege verwaltet, zum Beispiel Update von Source und Ports, Bau von Userlands und Packages.
+Ein wichtiger Bestandteil der {{UUGRN}}-Infrastruktur ist das '''Buildsystem'''. Hier werden alle Aspekte der FreeBSD Systempflege verwaltet, zum Beispiel
 == Hauptkomponenten ==
@@ Zeile 109: / Zeile 109: @@
 ** Bau von essenziellen Packages in den gewünschen Versionen (db46, sqlite3, apache24, mysql55, perl5.14)
 ** (Neu) Bau von allen anderen Packages, ca 50-100 Packages werden derzeit explizit gebaut was mit Abhängigkeiten ca 800 Packages ergibt
-Sofern der Build ohne erkennbare Fehler durchgelaufen ist, werden alle Packages nach /freebsd/uugrn/dev/ kopiert, wo sie für halb- und vollautomatische QA-Prozesse zur Verfügung stehen.
-Außerdem wird dieser Build in Form eines Images eingefroren und unter /freebsd/uugrn/dev/images/ abgelegt, zum Beispiel /freebsd/uugrn/dev/images/FreeBSD-9.1-RELEASE-amd64-image-build-20130824004822.tar . Dieses Build-Image wird dann im Rahmen des QA-Prozesses untersucht. Sollte es hier keine Auffälligkeiten geben, werden die enthaltenen Ports und Packages und Images aus diesem Build in den QA-Pool übernommen um weitere Prüfungen vorzunehmen.
 ==== Port-Auswahl für den Buildprozess ====
@@ Zeile 150: / Zeile 145: @@
 ;webstatic: basiert auf '''uugrn''' und enthält ansonsten nur das Package ''apache24'' plus alle Abhängigkeiten.
 ;webphp: basiert auf '''webstatic''' und darüber hinaus die Packages ''php5 php5-extensions ImageMagick'' plus alle Abhängigkeiten
-Dies so erzeugten Images werden basierend auf dem automatisch gebauten "vanilla" und "uugrn"-Image mit den aktuellen Packages versorgt  und als Image abgelegt unter /freebsd/uugrn/qa/images/. Dabei ist zu beachten, dass der Package-Bau Prozess nicht automatisiert und täglich abläuft sondern manuell. Das Ergebnis dieses Prozesses ist eine Sammlung von Packages, die für das jeweilige Userland-Release, z.B. '''9.1-RELEASE''' gebaut wurden.
-Die Images werden täglich für "QA" neu gebaut.
-== QA-Prozess ==
-=== Packages ===
-Für den Package-Build Prozess findet eine formale, automatische Qualitätssicherung statt.
-Hier wird etwa untersucht, ob essenzielle Bibliotheken fehlen, und alle Paketabhängigkeiten exakt passen oder ob es Abweichungen zwischen den Packages und den installierten Dateien gibt (checksummen), passiert wenn Packages unerkannte Konflikte haben und Dateien mit verschiedenem Inhalt überschrieben werden.
-Die erfolgreich geprüften Packages landen dann im "QA"-Pool.
-Falls die Packages fehlerhaft sind, müssen die Fehler korrigiert werden und in einem neuen Build erneut gebaut werden. "Durchgefallene" Packages werden nicht weiter verwendet und werden gelöscht.
-=== Images ===
-Basierend auf dem nightly-Build des uugrn-Images und den Packages im QA-Pool werden täglich und automatisiert die jeweiligen aufeinander aufbauenden Images erzeugt.
-Ein manueller Rollout dieser Images in temporäre Jails soll Gewissheit schaffen, dass die so gebauten Images insich konsistent sind. Das findet halbautomatisch statt.
-=== Abschluss der Prüfung ===
-Sofern alle Images für "tauglich" befunden sind, werden die Images und auch die verwendeten Packages in den LIVE-Pool (/freebsd/uugrn/live/) kopiert. Außerdem werden alle Images und Packages auf ftp.uugrn.org hochgeladen und können von dort für den Bau eigener (Sub)Jails verwendet werden.
 [[Kategorie:UUGRN:Infrastruktur]]