c't bat in Folge unseres kontrovers diskutierten MP3-Schwerpunkts in c't 3/2000 zum Leser-Hörtest: Ungläubige sollten sich der Aufgabe stellen, im `Blindflug´ die Herkunft von Musikdarbietungen zu erkennen. Das Ergebnis unseres Tests überraschte nicht nur unsere Referenzhörer - auch die Redaktion war von einigen neu gewonnenen Erkenntnissen verblüfft.

Wir hatten in ein Wespennest gestochen: Ellenlange Threads in unseren Newsticker-Diskussionsforen und im Usenet, böse wie konstruktive Leserbriefe und nicht zuletzt erhitzte Gemüter während unserer Hotline-Stunden zeugten von einem nach wie vor unentschiedenen Gefecht zwischen MP3-Gegnern und -Befürwortern.

Kritiker bezichtigten uns der populistischen Meinungsmache, sprachen uns jegliche Kompetenz in Sachen HiFi/Audio ab und verdammten die MP3-Komprimierung als Teufelswerk, andere lobten die lesenswerte Aufklärung in Sachen Audio-Esoterik und HiFi-Voodoo oder gaben uns ganz einfach recht, was die Hörbarkeit (oder eben Unhörbarkeit) der verlustbehafteten Audio-Komprimierung bei bestimmten Qualitätsstufen angeht.
.

Das alles bewog uns zu einem außergewöhnlichen Schritt, den wir in c't 4/2000 publik machten: Unsere kritischen Leser selbst sollten bei einem gemeinsamen Testhören die MP3-kodierten Musikstücke von den Originalen unterscheiden, und demjenigen mit der besten `Trefferquote´ winkte ein Barpreis von 1000 DM.

Zunächst hatten wir sechs Leser einladen wollen, nach der überschwänglichen Resonanz (mehr als 300 ernsthafte Bewerbungen innerhalb einer Woche) aber doch zwölf Gäste nach Hannover eingeladen, die wir zunächst nach Qualifikation und letztendlich nach dem Zufallsprinzip ausgewählt hatten.

Als `Beisitzer´ und Referenzhörer baten wir Tonmeister Gernot von Schultzendorff zum Test, der hauptberuflich Klassik-Aufnahmen bei der Deutschen Grammophon in Hannover mastert und für die Produktion vorbereitet.

Ohne hier das Ergebnis des nunmehr zweiten Testlaufs vorwegnehmen zu wollen: Die Darstellungen in [1] haben nach wie vor Bestand, und keinem der damaligen Testhörer müssen wir nun einen Besuch beim Ohrenarzt nahe legen.

Unser Vergleichshören fand diesmal ausschließlich im Studioraum des Verlages statt, dessen Dämpfungs-, Reflexions- und Resonanzverhalten einem `audiophilen´ Wohnzimmer entspricht; einige Leser werden den Raum noch aus Zeiten kennen, als die Zeitschrift HIFI-Vision von 1985 bis 1993 beim Heise Verlag verlegt wurde.

So hatte man hier die Decke damals mit Diffusoren (sandgefüllte Kunststoffröhren) abgehängt, und zusätzliche Dämpfungselemente an den Wänden sowie ein "zerklüftet" gefülltes Bücherregal sorgten für eine trockene Akustik.

Die damals bei der Zeitschrift HIFI-Vision vorzufindenden Abhörbedingungen ließen sich allerdings nicht vollständig rekonstruieren: statt HiFi-Zeitschriften im Regal mussten Telefonbücher aus dem Verlagsprogramm als - akustisch wirksame - Staffage genügen. Unsere Ex-Kollegen mögen uns diese Ungenauigkeit verzeihen . . .
.

Aus einer willkürlichen Auswahl anspruchsvoller Musikstücke (siehe Liste, 17 an der Zahl) wurde den Hörern je eine ausgewählte Passage von rund einer Minute Länge vorgespielt; zunächst als Referenz von CD, dann in verwürfelter Reihenfolge - mit 128 und 256 kBit/s kodiert oder wiederum von CD.

Bei diesen drei Einspielungen galt es nun, die richtige Herkunft der Darbietung zu bestimmen und auf einem Fragebogen zu vermerken. Für die richtig erkannte 128-kBit/s-Kodierung gab es pro Musikstück einen Punkt, ebenso für eine richtig erkannte CD-Einspielung. Für drei richtig erkannte Versionen erhielt der Proband drei Punkte, jedoch gar keinen, wenn zwar die 256-kBit/s-Einspielung richtig angekreuzt war, aber die gegensätzlichen Qualitäten CD und 128 kBit/s vertauscht wurden.

Insgesamt konnten also 51 Punkte erzielt werden, wobei das statistische Zufallsmittel bedingt durch die ungleiche Gewichtung bei 14,1 Punkten lag. Wer mehr als diese Punktzahl erreichte, hatte also tatsächlich Qualitätsunterschiede herausgehört.

Um Klangverschiebungen durch unterschiedliche D/A-Wandler bei CD- und MP3-Spielern auszuschließen, hatten wir die mit MusicMatch in der Windows-Version 4.4 im Joint-Stereo-Modus kodierten MP3-Testdateien auf einem Power Mac G3 über Apples QuickTime-Player ins AIFF-Format exportiert und dann in verwürfelter Reihenfolge mitsamt den gerippten CD-Audio-Files auf eine gemeinsame Audio-CD gebrannt.

Bereits zur Pause nach der ersten halben Stunde konzentrierten Hörens wollten einige der Probanden aufgeben: `Ein Lotteriespiel´, so ein mehrfach gehörter Kommentar. Viele Testhörer waren überrascht, wie gut eine MP3-Aufnahme über den hervorragenden D/A-Wandler des Marantz-Players klingen kann.

Man fachsimpelte über Phasenbeziehungen, den Einfluss der (nicht vollkommenen) Raumakustik und die persönlichen Hörgewohnheiten, stritt über die Wichtigkeit guter Kabel oder pries die Überlegenheit analoger Einspielungen auf Vinyl - die es mangels vergleichbarer Aufnahmen leider nicht zu hören gab.

In der Pause und nach dem gemeinsamen offiziellen Teil konnte der eine oder andere Proband in Zweifelsfällen noch die Gelegenheit nutzen, einzelne Stücke mit dem Referenzkopfhörer Orpheus zu begutachten und einzuordnen. Dabei durfte zum direkten A/B-Vergleich nach Belieben zwischen den einzelnen Versionen hin- und hergesprungen werden, was beim Gemeinschaftshören aus verständlichen Gründen unterbleiben musste.

Inoffizieller Sieger mit 26 Punkten wurde unser `Referenzhörer´, der Tonmeister der DGG - Gernot von Schultzendorff, der nach über einer Stunde intensiven Hörens erschöpft zugeben musste:

`Das war hart. Es kam mir fast so vor, als ob einige der 256-kBit-Einspielungen etwas runder und gefälliger geklungen hätten als die Originale von CD. Davon durfte man sich nicht beirren lassen.´ Tatsächlich wurde auffallend oft statt 256 kBit/s fälschlicherweise CD angekreuzt.

Unter der geladenen Leserschaft brachte es Mirko Eßling aus Schopp, studierender Elektronik-Entwickler, der nach eigenen Angaben in seiner Bewerbung `schon beim Anblick einer Audio-Schaltung deren Klang erahnen kann´, auf immerhin 22 Punkte. Unter den gegebenen Voraussetzungen - fremde Akustik, Erfolgsstress, ungewohnte Anlage, suboptimale Hörposition - ein durchaus respektabler Wert, der ihm den ersten Preis unseres Wettbewerbs einbrachte: 1000 Mark in bar.

Etwas überrascht waren wir dann doch, als wir von seinen musikalischen Vorlieben erfuhren: `Eigentlich habe ich bei meiner Bewerbung etwas gemogelt. Ich habe zwar eine klassische Klavierausbildung, aber als aktiver Freizeitmusiker mache ich eher Punkrock.´ Für den Test hat er natürlich kräftig mit verschiedenen MP3-Qualitäten geübt: Zuletzt war er bei 128-kBit-Kodierungen auf eine Trefferquote von 90 Prozent gekommen, und das trotz eines Handicaps: `Seit einem Explosionsunfall höre ich links nur noch bis 8 kHz, und rechts hatte ich bis vor kurzem einen hartnäckigen Tinnitus. Trotzdem bekomme ich die typischen Flanging-Effekte der MP3-Filterbänke mit, und das sogar besser als meine Freunde - vielleicht sogar wegen meines Hörschadens.´

Da ist was dran: Das psychoakustische Modell der MP3-Kodierung geht von einem Normalhörenden aus. Jemand, der nur Frequenzen bis 8 kHz wahrnimmt, wird einen hellen Becken- oder Triangelschlag nicht hören - wohl aber die Regelungsgeräusche der Filter in den unteren Frequenzbereichen, wenn nämlich die eigentlich vom hochfrequenten Klang verdeckten Anteile herausgerechnet werden. Steilflankige Kerbfilter, wie sie im MP3-Decodern verwendet werden, erzeugen bei schnellem `Durchstimmen´ tatsächlich einen Flanging- oder `Jet´-Effekt.

Nicht das perfekte, sondern das stark vom Normalhörenden abweichende Ohr scheint also besonders empfindlich für die MP3-Artefakte zu sein. Die dem Algorithmus zugrunde liegenden psychoakustischen Verdeckungseffekte - der Wecker tickt weiter, auch wenn er klingelt - gelten ja auch für die auftretenden Regelgeräusche, die normalerweise vom Nutzsignal verdeckt werden. Bleibt Letzteres beispielsweise wegen eines Hörschadens auf der Strecke, nimmt man halt vorrangig die Artefakte wahr.
.

Mit 20 Punkten errangen Jochen Kähler und Tom Weidner aus Nürnberg den gemeinsamen zweiten Platz, gefolgt von Martin Eisenmann aus Hamburg. Der besitzt selbst die großen B&W Nautilus 801 und hat `aus einer tiefen Liebe zur Musik heraus und ohne einer Ideologie zu verfallen´ 40.000 Mark für seine Stereoanlage ausgegeben. Dipl.-Ing. Tom Weidner ist Entwickler von Hörgeräten, arbeitet an Audiosignalverarbeitungsalgorithmen und ist es gewohnt, `bei intensiven Klangtests genauestens auf Verarbeitungsartefakte und Klangunterschiede zu achten´. Jochen Kähler hatte bereits beim Fraunhofer IIS in Erlangen Gelegenheit, das Advanced Audio Coding und andere MP3-Nachfolger kennen zu lernen.

Stefan Weiler aus Hambühren, seit Geburt blind, leidenschaftlicher Musikhörer von Klassik, Jazz und `ernsthafter Unterhaltungsmusik´, besitzt ein absolutes Gehör und war früher aktiv an der Kunstkopf-Entwicklung beteiligt. Durch einen offensichtlichen Übermittlungsfehler an seine Begleiterin kam er nur auf den undankbaren vierten Platz. Hätte er die Brahms-Einspielung nicht versehentlich vertauscht, wäre auch er auf 20 Punkte gekommen. Weiler identifizierte MP3-Aufnahmen vor allem an der mangelnden `Räumlichkeit des Ruherauschens´, wie er sich ausdrückte.
.

Die gesammelten Daten langen zwar nicht für eine wasserdichte Statistik, für interessante Erkenntnisse aber allemal. So wollten wir herausfinden, bei welchen Musikstücken die Unsicherheit bezüglich der Quelle besonders groß war und bei welchen Titeln die meisten Hörer richtig lagen. Aus der reinen Addition der von allen Teilnehmern erzielten Punkte für einen bestimmten Titel erhält man schon einen Anhaltswert, ob sich die Einspielung an sich eher gut oder schlecht für die Beurteilung der MP3-Qualität eignet (siehe Tabelle Punktzahlen).

Keineswegs sind Klassik-Aufnahmen dabei immer von Vorteil: Bei einigen Stücken wurde sogar konsequent falsch getippt. So gefiel weit mehr als der Hälfte unserer Tester der Arabische Tanz aus Edvard Griegs `Peer Gynt´ in der 128-kBit-Kodierung am besten; offensichtlich korrigierte die Kompression leichte Schwächen bei der Aufnahme, etwa eine Rauigkeit der Holzbläser. Chics `Jusagroove´, ein sehr dynamischer, dichter Funk-Titel, wurde dagegen von den meisten Hörern richtig eingeordnet.

Um diesem Phänomen auf die Spur zu kommen, schlüsselten wir die Testergebnisse weiter auf: Uns interessierten natürlich die Hintergründe für derlei Schwierigkeiten. Hatten die Tester Probleme, MP3 hoher (256 Bit/s) und niedriger Qualität (128 Bit/s) voneinander zu unterscheiden, oder klang in ihren Ohren MP3 gar besser als die CD?

Dazu setzten wir ein etwas anderes Auswertungsverfahren ein. Nach den gängigen Vorurteilen gegenüber MP3 sollte man erwarten, dass MP3/128 am schlechtesten klingt, MP3/256 eine Mittelstellung einnimmt und die Audio-CD das beste Klangbild liefert. So erhielt jede Klangprobe, die als 128-kBit/s-MP3 eingeschätzt wurde, einen Punkt; die Vermutung `MP3 mit 256 Bit/s´ ergab zwei Punkte, und die Beurteilung CD erhielt drei Punkte - unabhängig davon, welche Tonqualität tatsächlich vorgespielt wurde. Konnte ein Testhörer bei einem Stück partout keinen Unterschied erkennen, bewerteten wir alle drei Klangproben als CD-Qualität mit drei Punkten.

Nun addierten wir für jedes Stück in jeder Tonqualität die Punkte über alle Testhörer auf. Hätten alle 14 Personen immer richtig getippt, würde sich für alle Stücke stets dasselbe Bild ergeben: 14 Punkte für MP3 mit 128 Bit/s, 28 Punkte für MP3/256, 42 Punkte für die CD. Tatsächlich zeigte sich ein durchaus abweichendes Bild: Gerade bei den Stücken, bei denen die Urteile unserer Testhörer besonders häufig danebenlagen, liegt die eingeschätzte Qualität der CD durchgängig unter den MP3-Samples.

Die größte Überraschung zeigte sich jedoch, als wir die gesammelten Punkte über alle Stücke aufsummierten und so jeweils einen Wert für MP3 mit 128 Bit/s, MP3 mit 256 Bit/s und CD-ROM erhielten: MP3/256 und CD erzielten über alle Stücke und Testhörer exakt denselben Punktwert von 501; MP3/128 lag mit 439 deutlich darunter. Für statistisch Interessierte: Die ermittelten Werte 439 und 501 unterscheiden sich statistisch signifikant mit einer Irrtumswahrscheinlichkeit von einem Prozent (bei wissenschaftlichen Untersuchungen gibt man sich häufig schon mit fünf Prozent zufrieden); zwischen CD und MP3 mit 256 kBit/s gibt es (bei exakt gleichem Wert) natürlich keinen Unterschied.

Im Klartext heißt das: Unsere musiktrainierten Testhörer konnten zwar die schlechtere MP3-Qualität (128 kBit/s) recht treffsicher von den beiden anderen Hörproben unterscheiden; zwischen MP3 mit 256 kBit/s und dem Original von CD hingegen ließ sich im Mittel über alle Stücke kein Unterschied erkennen: Die Tester schätzten MP3/256 ebenso häufig als CD-Qualität ein wie die CD selbst.

Dass einige 128-kBit/s-Aufnahmen von der kompetenten Hörerschaft (und auch von den `Besten´ darunter) durchweg besser beurteilt wurden als die Originale von CD, verblüffte indes selbst den involvierten Redakteur, der - wie er zu seiner Schande gesteht - (und ohne an der Auswertung teilzunehmen) nur 15 Punkte erreicht hatte. Bleibt also abschließend festzuhalten, dass es keine Musikrichtung gibt, die sich besonders gut oder besonders schlecht zur Komprimierung eignet. Offenbar sind es ganz andere aufnahmetechnische Gegebenheiten, die sich später bei zu niedrigen Bitraten rächen.

Die Diskussion um Sinn und Unsinn der MP3-Komprimierung wird auch dieser Artikel nicht beenden. HiFi-Fans mit Marken- und Statusbewusstsein werden sich niemals MP3s anhören, egal wie viele Tests und Untersuchungen auch die Gleichwertigkeit des erlebten Klangbildes belegen werden. Zweifler (`Alles Memmen bei der c't, ich hätte das garantiert gehört´) mögen zu Encoder und CD-Brenner greifen, um sich - vielleicht sogar mit den genannten Stücken und unter vergleichbaren Bedingungen - selbst dem `Pepsi-Test´ zu unterziehen.

von Carsten Meyer im April 2000
.