Benchmarking und Testing

Testing

Es werden Komponenten sowohl in Hard- als auch in Software auf den erwarteten Output geprüft. Ein Lowpass filter muss z.B. alle Frequenzen bis zu einem Threshold durchlassen und höhere abschwächen. Demnach muss für einen Test ein bestimmter Patch gestartet, der output geloggt und überprüft werden. Mehrere Szenarien sind denkbar.

Szenario A

Der Synthesizer wird durch einen Debug Modus erweitert. Dadurch wird jede Komponente wie üblich gestartet und der Output wird geloggt. Die Ausgabe von Sound ist dabei nicht relevant, sodass das loggen auch z.B. in einer externen Datenbank erfolgen kann.

Vorteile:

• Es lassen sich sehr genaue Werte loggen
• Jede Komponente eines Patches wird automatisch geloggt

Nachteile:

• Aufwand. Der Synthesizer muss erweitert werden, sodass jede Komponente ohne Probleme geloggt werden kann.

Szenario B

Es wird eine Debugging Komponente eingeführt, die im Editor platziert werden kann. Zur Laufzeit können die Samples live angeschaut werden. Alternativ können die Werte ebenfalls in eine Datenbank geloggt werden.

Vorteile:

• Einfache Umsetzung

Nachteile:

• Aufwendig wenn viele Komponenten geloggt werden müssen.
• Fühlt sich ein bisschen wie nen dirty Hack an.

Zu testende Kriterien

Patch

• Turnaround time:
  Zeit die vergeht bis eine Komponente erneut gestartet wird

Komponenten

• Korrektheit
• Execution time:
  Zeit wischen Anfang und Ende einer Ausführung

Hardware

• Cost: Die Größe einer Komponente auf dem Board. Wie viele passen maximal drauf?