Bearbeiten von „RoarAudio/Vortrag/Erster Vortrag“

<div style="background:#fee846;text-align:left; color: #000;font-weight:bold;font-size:125%;margin: 0px 5px 0px 0; padding: 4px 4px 4px 14px;">Was ist RoarAudio?</div>
<div style="margin: 0 5px 5px 0; padding: 1em 1em 1em 1em; border: 1px solid #fee846; background-color:#fffdf5;">
; Ziel : ein Vortrag über [[RoarAudio]] und die Realtime Audio mixing Problematik vor einem Unixpublikum mit keinen oder kaum Vorwissen zum Thema.
</div>

[[Bild:RoarAudio-Logo-0.0.3.png|thumb|right|RoarAudio Logo]]

== Der Autor ==
[[Benutzer:Ph3-der-loewe|Philipp ''ph3-der-loewe'' Schafft]], Software Entwickler und Projekt Urheber.

== Abstrakt ==
RoarAudio ist ein Sound-Server für POSIX konformen Betriebssysteme (GNU/Linux, *BSD, Mac OS X und andere) unter aktiver Entwicklung. Er bietet gegenüber anderen Sound-Servern zusätzliche Funktionen für den Betrieb in kleinen Radio und TV Studios, aber auch den Heimgebrauch. Dieser Vortrag soll einen Einblick in RoarAudio, seine Funktionalität und Funktionsweise sowie damit verbunden Problemstellungen auf einfachem Niveau bieten. Den Abschluss bildet eine Demonstration.

== Vortrag ==
=== Was ist RoarAudio? ===
RoarAudio ist ein Soundserver.

==== Was ist ein Soundserver ====
Ein Soundserver ist eine Programm das im Hintergrund Audio Daten mischt und das Ergebnis weiter leitet, meist an eine Soundcard.

Soundserver werden benötigt wenn wenn das unterliegende Audio-Ausgabegerät nur einen Datenstrom zu einer Zeit verarbeiten kann (Single Stream Soundcards). Sie stellen eine Art virtuelle Soundcard dar zu der Programme wie Player ihre Daten schicken können um eine simultane Ausgabe mit zum Beispiel Notify-Sounds von Chat Clients oder ähnlichem zu ermöglichen.

Sie bieten meist weitere Funktionen wie das Mischen unter Berücksichtigung von verschiedenen Pegeln. Einige Soundserver ermöglichen auch die Benutzung von Netzwerken zur Übertragung von Audio Daten zur Wiedergabe auf einer anderen Maschine. Dies beides kann auch RoarAudio.

=== Projekt Ziele ===
Das Projekt verfolgt im Prinzip das Ziel, eine leistungsfähige Mischsoftware für den Studio Betrieb zur Verfügung zu stellen, aber dennoch ein Produkt zu liefern das auch für den Heim-Anwender angemessen ist.

==== für Heim-Anwender ====
Heim-Anwender Teilen sich in zwei Gruppen auf:
Die größere Menge interessiert es nicht wieso Musik aus den Lautsprechern kommt, Hauptsache sie tut es. Für diese Gruppe muss RoarAudio einfach ''out of the box'' funktionieren.
Die andere Gruppe sind Anwender die mehr machen wollen. Hier soll RoarAudio ein leistungsstarkes Backend sein das möglichst Ressourcen schonend alle gewünschten Funktionen anbietet.

==== Im Studio Betrieb ====
Wie oben schon angedeutet ist RoarAudio aber im Studio Einsatz wesentlich interessanter: in einem klassischen Studio steht meist ein großes analoges Mischpult. Dies ist eine wundervolle Sache solange man primär analoge Eingänge braucht: beispielsweise von einer Band. In heutigen Radio- und Fernsehstudios kommen aber die meisten Kanäle aus dem Rechner oder anderen digitalen Geräten wie CD Spielern.

Ein analoges Mischen hat hier nun mehre Nachteile, die wichtigsten sind wohl:
* Analoges Rauschen
* Verzerrungen im Frequenzgang
* Klirren
* Quantisierungsrauchen
* Effekte durch asynchrone Abtastung

Eine Alternative wäre in einigen Fällen sicherlich ein Digital-Mischpult. Diese sind aber meist sehr teuer.

RoarAudio kommt hier als erst einmal reine Software-basierende Lösung. Natürlich ist es möglich über die Steuerschnittstellen auch externe Hardware anzuschließen. Hier gibt es auch Planungen, ein Hardware Frontend zu entwerfen das dann kostengünstig zu haben ist.

<s>
=== Exkurs: Codecs und Container ===
Ein Codec ist eine Spezifikation (meist werden auch die Implementierungen Codec genannt) wie Rohdaten, im Falle von Audio meist PCM Daten, als Datenstrom oder -block repräsentiert werden. Hierzu zählt meist als primäres Kriterium die Kompression. Weitere Informationen wie Synchronisationsdaten können ebenfalls durch den Codec spezifiziert sein, werden aber meist im Container abgelegt.

Ein Container ist im Gegensatz zu einem Codec eine Spezifikation wie Daten die mittels Codecs in eine Datei codiert wurden in oder einen Stream verpackt werden. Hierzu zählen Dinge wie globale File-Magic, Angabe des Codecs, Meta Daten, Angaben über rate/bps/channels und Ähnliches.

==== Verschiedene Arten von Codecs ====
* Verlustfreie
* Verlustbehaftete
* Musik Codecs
* Sprach Codecs
* Niederlatenz Codecs
</s>

=== Was hebt RoarAudio hervor? ===
Hier Sollen einige der besonderen Fähigkeiten von RoarAudio erläutert werden.

==== Codecs ====
RoarAudio zeichnet sich dadurch aus daß er zusätzlich zu PCM Rohdaten auch höher Codecs versteht. Dies hat mehre Vorteile:

* Der Server kann Streams in höheren Codecs selbstständig verarbeiten. Dies ist zum Beispiel wichtig um Webradio als Background Stream ab zu spielen.
* Es ist dem Server möglich direkt Streaming-Server wie [[icecast]] zu bedienen. Es ist keine weitere ''lange pipe'' nötig um Webradio zu senden. Dies verringert die Störanfälligkeit erheblich und verringert die Latenz, da pipe-Puffer entfallen.
* Auch ist es nur mit stark komprimierenden Codecs möglich über die dem Heim-Anwender zur Verfügung stehenden Schmalband Anschlüsse Audio entweder von Client zu Server oder zwischen zwei Servern auszutauschen. Auch eine Kopplung über ISDN Kanäle ist so möglich.

==== Netzwerk-Transparenz ====
RoarAudio ist Netzwerk transparent, das heißt das Applikationen keinen Unterschied sehen zwischen Verbindungen mit einer lokalen Instanz oder einer auf einem anderen Rechner.

Zu diesem Zweck werden mehre Protokolle unterstützt: UNIX Domain Sockets für Lokale Verbindungen sowie TCP/IP und DECnet für Verbindungen mit entfernten Rechnern. Auch existiert Support für verschiedene Proxy Typen.

==== Background Streams ====
Background Streams sind Streams die vom Server selbst bearbeitet werden und keinen Player benötigen um abgespielt zu werden. Dies kann zum Beispiel genutzt werden um Hintergrundmusik einzuspielen wie beispielsweise in einem Kaufhaus. Auch Webradio Streams werden hier unterstützt.

==== Virtual IO ====
''(gestrichen)''

==== Kompatibilitäts Bibliotheken ====
''Viele Programme haben keine Unterstützung für RoarAudio, was nun?''

Um dieses Problem zu lösen gibt es diverse Kompatibilitäts-Bibliotheken.
Diese stellen Bibliotheken dar welche binär-kompatibel andere Audio Systeme emulieren.
Dazu müssen sie schlichtweg einfach anstelle der Bibliothek des entsprechen Systems installiert werden und leiten dann alle Anfragen an RoarAudio weiter. Dies geschieht natürlich nur im Rahmen des Funktionsumfang der entsprechenden Bibliothek.

Die mit Abstand wohl wichtigste ist '''libroaresd''' welche das [[EsounD]] Interface emuliert. das EsounD Interface wird von den allermeisten Applikationen unterstützt da es das wohl älteste Soundserver Interface ist. Es existiert seit 1998.

Weitere Kompatibilitäts Bibliotheken gibt es für das YIFF Sound System, KDEs aRtsc und PulseAudio. Zusammen mit den existierenden Plugins deckt dies nahezu den vollständigen Player Markt fuer GNU/Linux und BSD ab.

===== Welche Schnittstelle für was? =====
{| class="wikitable"
 ! Interface
 ! Beispiel Applikationen
 |-
 | libroar
 | roaraudio-tools, XMMS, mplayer, (xine)
 |-
 | EsounD
 | GNOME, KDE, XMMS, xine, Amarok, wine,... (177 weitere unter Debian Stable)
 |-
 | libao
 | vorbis-tools, FLAC tools, mpd, mpg321, gnomoradio, somaplayer
 |-
 | aRts(c) (KDE)
 | Player mit aRts support: mplayer, xine; kwave, kaudiocreator,...
 |-
 | PulseAudio
 | Ein paar Programme, die meisten über Plugins. (nicht viel unter Debian Stable)
 |-
 | YIFF
 | y-tools
 |-
 | gstreamer
 | GNOME, Alle GNOME Player. Dieverse andere.
 |-
 |}

=== Konzepte und Architektur ===
RoarAudio ist zwar in C geschrieben aber größtenteils Objekt-orientiert. Er umfasst im Moment etwa 28 tausend Zeilen C. (EsounD kommt auf rund 15 tausend, PulseAudio 74 tausend und aRts auf 130 tausend).

==== Clients und Streams ====

Vor allem wichtig und nach Außen hin sichtbar sind die Client und Stream Objekte.
Ein Client Objekt verkörpert einen (Netzwerk) Client, zum Beispiel einen Player oder ein Steuerprogramm wie roarctl. Es kann auch Stream Objekte assoziiert haben (Beispielsweise im Falle von Abspielen von Musik).

Ein Stream Objekt stellt einen eigentlichen Audio Datenstrom da. Dieses Objekt beinhaltet diverse Informationen über den Datenstrom: Informationen wie der roard ihn auslesen kann, Sample Rate/Bits/Channels, Meta Daten und vieles mehr. Ein Stream gehört immer zu einem Client. Wobei der Client auch der roard selbst sein kann und sich durch attachen wechseln läßt. Dies kommt zum Einsatz um Hintergrund Streams zu ermöglichen.

Bei jedem Audio Datenstrom der in den roard hinein oder heraus fließt handelt es sich um einen Stream. Dies schließt Datenströme zu Geräten wie Soundcards mit ein. Hier durch ist eine maximale Flexibilität gegeben.

===== Stream Typen =====
Es gibt diverse Verschiedene Stream typen. Die folgende Tabelle Beschreibt sie kurz:

{| class="wikitable"
 ! Typ
 ! Richtung
 ! Beschreibung
 |-
 | Play
 | zu Server
 | Standard Typ: eingehende Audio Daten.
 |-
 | Monitor
 | von Server
 | Hier werden die aktuellen gemischten Audio Daten vom Server abgefragt.
 |-
 | Filter
 | bidirektional
 | Dieser Stream dient zum zwischenschalten von Filtern im Mixer
 |-
 | Output
 | vom Server
 | Dieser Stream geht an einen Driver Richtung Soundcard oder ähnlichem
 |-
 | Mixing
 | keine
 | Interne Audio Puffer genutzt zum Mischen der Daten
 |-
 | Bidir
 | bidirektional
 | Play und Monitor in einem.
 |-
<!--
 | Record
 | vom Server
 | Im Moment nicht Unterstützt.
 |-
 | Meta
 | Flag Abhänig
 | Im Moment nicht Unterstützt.
 |-
 | Internal
 | keine
 | Im Moment nicht Unterstützt.
 |-
-->
 |}

===== Stream Flags =====
Ein Stream kann desweiteren Flags haben die sein Verhalten genauer bestimmen. Die Flags sind hier zusammen gefasst:

{| class="wikitable"
 ! Name
 ! Beschreibung
 |-
 | Primary
 | Bei Ende des Streams beendet sich roard selbst.
 |-
 | Output
 | Es wird Ein Output Driver für diesen Stream verwendet.
 |-
 | Source
 | Bei diesem Stream handelt es sich um eine Source.
 |-
 | Sync
 | Der Stream ist Synchron (mit Hardware bzw. seinem Ziel)
 |-
 | Meta
 | Ausgehende Streams mit diesem Flag beziehen ihre Meta Daten automatisch von eingehenden Streams mit diesem Flag.
 |-
 |}

==== Driver ====
Ein Driver ist ein Objekt das eine Schnittstelle zur Verfügung stellt um externe Ressourcen anzusprechen, die sich nicht der UNIX IO Philosophie entsprechend verhalten (Erweiterte Handshake zum Beispiel). Dies können Soundcards oder auch Streaming Server sein. Hierzu zählen als Beispiel der OSS (Open Sound System) und der libshout (Icecast) Treiber.

==== Sources ====
Eine Source ist an sich ein normaler Stream. Der Unterschied besteht darin das roard selbst den Stream beim Starten initialisiert. Neben Test Szenarien ist dies vor allem hilfreich um sich die Audio Ausgabe eines anderen Rechners lokal zu spiegeln.

==== Codecfilter ====
Bei den Codecfiltern handelt es sich um ein Abstraktions Layer welches roard die Möglichkeit gibt höhere Codecs zu sprechen wie etwa Ogg Vorbis. Einige Codecfilter können nur Lesen andere auch Schreiben. Wird ein Stream mit einem unterstützen Codec aufgebaut so wird automatisch eine Instanz eines passenden Codecfilters erzeugt. Sie verhalten sich somit weitgehend transparent. Viele höheren Codec sind allerdings nicht in der Lage alle Stream Typen zu bedienen. Der Streamtype Filter wird am wenigsten unterstützt da er ein exaktes Timing und Blocking Verhalten benötigt.

<!--
==== Filter ====
* filter
* ...
-->

=== Probleme des Realtime Audio Mischens ===
Beim Mischen in Realtime kommen zu den Problemen die beim normalen Mischen von Audio auftreten noch weitere hinzu.

Die wichtigsten Probleme sind:

* Resampling - Wenn nicht alle Streams dieselbe Abtastfrequens haben müssen die betroffenen Streams auf die Abtastrate des Ausgangs umgerechnet werden. Hierzu gibt es diverse Verfahren. Man kann sich das etwa wie das Skalieren eines Bildes vorstellen: Es gibt Filter die schnell sind und welche die gut sind. Muss man in Realtime resampeln so muss man vor allem schnell sein, will aber auch noch möglichst gut sein. Viele Soundserver behalten schlichtweg die Pegel entsprechend der neuen Abtaste Rate länger oder kürzer bei (s.g. zoh - Zero Order Hold). Dies erzeugt Rechteck Signale welche wiederum diverse Oberwellen erzeugen. RoarAudio setzt hier Polynomapproximation dritten Grades ein. Dies reduziert die Oberwellen schon deutlich dank leichter Tiefpass Eigenschaft.
* Da nicht für den gesamten Titel der Amplituden-Gang bestimmt werden kann ist es möglich daß es zu sogenanntem Clipping kommt. Clipping bezeichnet das Problem, daß die Summe der Amplituden aller Eingangssignale größer ist als der zulässige Wertebereich. In diesem Falle wird das Ausgangssignal geclippt, sprich es wird auf den maximalen sich im zulässigen Wertebereich liegenden Wert herunter gesetzt. Dies lässt sich nicht vollkommen vermeiden aber durch geschickte Wahl des Mischverfahrens reduzieren. Es empfiehlt sich dennoch einen ReplayGain einzubeziehen. Dieser kann das Clipping zwar auch nicht komplett verhindern aber der Soundserver kann besser abschätzen wie die Gefahr für Clipping ist und rechtzeitig reagieren.
* Vor Allem beim Pegel umrechnen kommt es selbstverständlich zu Rechenungenauigkeiten. Um diese zu minimieren skaliert RoarAudio die Signale auf bis zu ihrer doppelten Größe auf um Rechenungenauigkeiten zu vermeiden. bei einem 16 Bit Eingangssignal wird als Beispiel auf 32 Bit skaliert was zusätzliche 96dB Rauschabstand während der Umrechnung liefert.
* <s>Werden Signale mit verschiedenen Pegeln gemischt so kann es sinnvoll sein mit der Breite der Ausgangs-Samples hoch zu gehen. Als Beispiel: wenn zwei Signale mit je 16 Bit mit den Pegeln 1 und 1/4 gemischt werden reduziert der Rauschabstand des zweiten Signals um 12dB. Man sollte überlegen auf 24 Bit am Ausgang zu wechseln. Die Allgemeine Regel lautet: für den Faktor 2 oder 6dB die ein Signal abgeschwächt wird braucht man am Ausgang ein Bit mehr. Wenn mal also eine Hintergrund-Musik mit -48dB auf Sprache mischt (durchaus realistisch) muss man von 16 Bit am Ausgang auf 24 Bit hoch gehen um keinen Qualitäts-Verlust der Musik zu erhalten.</s>
* <s>Einige Formate sind nicht Frame basierend. Dies sind vor allem MIDI Formate Hier kann es passieren das die Synchronisation zwischen diesen Streams und den anderen sich an Frame-Grenzen treffe. Dies kann zu unschönen Nebeneffekten führen. Manche Codecs sind auch nur in der Lage auf gewisse Zeitraster Ende-Marken zu setzen was in unsauberen Enden mit Artefakten enden kann. Im Realtime Bereich lässt sich dies nicht korrigieren und solche Codecs sollten vermieden werden.</s>


==== Problem: Lokale Synchronität ====
Die wichtigsten Störfaktoren sind:

* Wie jede Hardware besitzen Soundkarten eine Verzögerung. Das heißt daß sie eine gewisse Zeit brauchen zwischen Erhalt von Daten und deren Ausgabe. Diese Zeit liegt im Bereich von wenigen Millisekunden (z.B. Studio Karten) und kann bis in den Bereich von mehren hundert Millisekunden gehen (z.B. 2.5 Euro USB Karten von $SUPERMARKT), je nach Karte. Die meisten Karten bieten aber eine Möglichkeit ab zu fragen wo sie gerade in ihrem Puffer sind. Wie dies genau funktioniert ist von Karte zu Karte unterschiedlich. Der Treiber der Karte ist dafür zuständig diese Funktionen an höhere Interfaces (OSS, alsa, sndio,...) weiterzureichen und den Applikationen zur Verfügung zu stellen.
* Neben dem Delay in der Hardware erzeugt selbstverständlich auch der Kernel und die Treiber eine weiter Verzögerung. Dies passiert aus vielen Gründen: Der Programmcode muss natürlich erst einmal ausgeführt werden. Auch werden Interupts nicht um bedingt sofort bearbeitet (zum Beispiel weil gerade ein anderer, höherwertiger bearbeitet wird).
* Die nächste Schicht, die Sound APIs, erzeugen auf ähnliche Weise weitere Delays. Hier kommt dazu das viele mit relativ großen Puffern arbeiten (Beispielsweise EsounD mit 0.28sec - im Vergleich zu roard mit Standard Puffer von 0.01sec). Die Puffergröße ist in dem meisten Fällen die kleinste Einheit in der Synchronität gewährleistet werden kann.
* Da die meisten Systeme (alle auf denen RoarAudio läuft) Multitasking betreiben stellt sich ein weiteres Problem: Der entsprechende Prozess muss eine Zeitscheibe bekommen bevor er reagieren kann. Läuft ein anderer Prozess gerade so muss er potentiell warten. Auf den meisten POSIX kompatiblem Systemen basiert das Multitasking zwar auf Ereignissen, sprich ein Prozess läuft so lange bis ein anderer ein Ereignis zu bearbeiten hat (keine feste Zeitscheiben-Länge), was dazu führt das dieses Problem ist nicht all zu groß ist. Aber es kann natürlich gerade ein anderer Prozess mit höherer Priorität laufen der ein anderes Ereignis bearbeitet und somit nicht vom Kernel unterbrochen wird.
* Unsynchrones clocking

==== Problem: Netzwerk Synchronität ====
* lag
* jitter
* Netzwerk Implementierungen

==== Lösungsansätze ====
* QoS
* ...

=== Sonstiges ===
...
==== Win32 Port ====
Ein Win32 Port existiert zum jetzigen Zeitpunkt nicht. Dies liegt an mehren Faktoren: Zum einen ist Win32 nicht was den nahe-realtime Betrieb angeht nicht zuverlässig genug. Zum anderen ist bei Win32 das Networking kein Teil des Kernels wie auf UNIX und POSIX Systemen: Es ist viel mehr teilweise im Userland. Dies hat zur Folge das zu jedem Zeitpunkt eine Applikation wissen muss von welchem Type ein Filehandle ist da man Basis Funktionen wie read(), write(), close() nicht auf alle Filehandles anwenden kann. Vielmehr hat jeder Type von Filehandle seinen eigenen Satz Funtionen. RoarAudio verfolgt die UNIX Philosophie: ''Alles ist eine Datei''. Große Patches wären nötig.

Ein Weiteres ist das ein solcher Port viel Zeit in Anspruch nimmt und weder das Projekt noch die Freie Software Bewegung voranbringt.

Im Moment existieren kleinere Patches die vielleicht irgendwann mal Basis Funktionalität mit sich bringen könnten. An ein roard für Win32 ist in absehbarer Zeit nicht zu denken.

Allerdings laufen Teile von RoarAudio in Cygwin mehr oder minder gut. Viele Probleme treten hier auf aber es ist prinzipiell möglich es unter Cygwin zum Laufen zu bringen (außerhalb des nahe-realtime Betriebs).

Es besteht aber die Möglichkeit einige Win32 Applikationen mittels pseudo Web Radio Streams anzubinden.

==== MP3 ====
...

=== Querverweise ===
; [http://raum.keep-cool.org/ RAUM Media Container]
: Für RoarAudio entwickelter Container, vor allem für Speex und CELT.
; [http://www.icecast.org/ Icecast] - Multimedia streaming server
: Software für Webradio und WebTV streaming.
; [http://www.xiph.org/ Xiph.Org Foundation]
: Organisation zur Entwicklung von freien Codecs.
; SIP
: Standard für VoIP - Internet-Telephonie.

=== Vorführung ===
* Allgemeiner Betrieb
** roard
** roarvorbis/roarcatplay?
** xmms
* Background Streams
** roarradio
* Kompatibilitäts Bibliotheken
** libroaresd:
*** xmms
*** mplayer
*** Amarok

== Fragen ==
* ''immer gerne''

[[Kategorie:Vortrag]]
[[Kategorie:Software]]
[[Kategorie:Sound]]