Der endgültige, offizielle HRA-Beweis. Oder so ähnlich.

Die Audiophilen-Szene ist begeistert. Endlich ist bewiesen, daß HRA (High Resolution Audio) tatsächlich hörbar besser ist als CD-Audio. So jedenfalls könnte man meinen, wenn man die Presseerklärung der Londoner Queen Mary Universität liest, die einen in der neuesten Ausgabe des Journals der AES enthaltenen wissenschaftlichen Artikel von Joshua Reiss ankündigt. Ein wissenschaftlicher Artikel, mit peer-review, da kann man nichts mehr dagegen sagen, damit ist die Sache gelaufen, und die Audiophilen haben Recht behalten.

Oder etwa nicht?

Sehen wir uns das doch einmal etwas genauer an. Der AES-Artikel ist im Open-Access-Programm und daher für jedermann frei downloadbar (siehe obigen Link). Ihr könnt also mitlesen, wenn Ihr Euch einen auf Englisch geschriebenen wissenschaftlichen Artikel antun wollt.

Zuerst einmal das Grundsätzliche, und auch gleich eine Richtigstellung von ein paar "Kleinigkeiten", die in dem Freudengeheul da draußen schnell untergehen:

• Die Studie ist eine Meta-Analyse, also eine zusammenfassende Auswertung schon stattgefundener Studien mit statistischen Mitteln. Es wurden keinerlei eigene oder zusätzliche Hörversuche gemacht. Auf solche Meta-Analysen trifft man auch in anderen Wissenschaftsgebieten, z.B. der Medizin. Die Motivation dafür ist fast immer, daß man hofft, auf diese Weise für eine Hypothese eine statistische Signifikanz heraus zu bekommen, die die Einzelstudien nicht erreichen konnten. Es ist im Grunde ein Weg, um den Testumfang zu vergrößern, ohne daß man tatsächlich testen muß. Das ist natürlich insbesondere dann attraktiv, wenn ein Test besonders teuer wäre. Die Nachteile sollten aber nicht aus dem Blickfeld verschwinden: Man kann nur Studien zusammenfassen, die auch zusammen passen, also die von der Fragestellung, der Testmethodik, und der Dokumentation her sinnvoll miteinander verrechenbar sind. Das muß man sich ggf. genauer ansehen. Zudem besteht immer die Gefahr, daß man - ob willentlich oder nicht - mit der Auswahl der berücksichtigten Studien bereits eine Tendenz in seine Auswertung einbaut. Das kann schon daher kommen, daß Studien eher veröffentlich werden, wenn sie ein "interessantes" Ergebnis haben. Studien ohne Überraschungswert werden eher zurückgehalten und bleiben unbekannt ("Publication Bias"). Wenn dazu noch wirtschaftliche Interessen hinein spielen, wird's vollends gefährlich. Entsprechend kritisch werden Meta-Analysen auch gesehen, wenngleich sie zum üblichen wissenschaftlichen Handwerkszeug gehören.
• Die AES veröffentlicht den Artikel in ihrem Journal. Das bedeutet, daß es einen peer-review-Prozeß gegeben hat. Es haben mehrere Fachleute den Artikel begutachtet und ihre Kommentare abgegeben, ehe er veröffentlicht wurde. Wer diese Fachleute waren, und was sie zum Artikel meinten, ist vertraulich. Daß der Artikel abgedruckt wird heißt, daß diese Fachleute mit der Veröffentlichung einverstanden sind. Es heißt nicht daß sich die AES den Inhalt zu Eigen macht. Ein solcher Artikel ist keine formale Stellungnahme. Die AES hat meines Wissens auch keine Presserklärung darüber herausgegeben. Die oben verlinkte Presseerklärung stammt von der Universität, nicht der AES (*). "Offiziell" ist das Ergebnis also in keinem irgendwie belastbaren Sinn. Es ist immer noch lediglich das Werk eines Wissenschaftlers.
• Von den 80 Studien, die als Kandidaten in Betracht kamen, gingen lediglich 18 in die Auswertung ein. Die anderen schieden aus diversen Gründen aus, wie sich im Artikel nachlesen läßt.
• Die ausgewerteten Studien basieren (selbstverständlich!) auf Blindtests. Wie Anti-Blindtest-Krieger wie der oben verlinkte Lavorgna es mit ihrer Haltung vereinbaren können, eine solche Studie zu bejubeln, wo sie sonst bei jeder Gelegenheit betonen, daß Blindtests prinzipiell nicht funktionieren können, müssen sie selbst erklären.

Wo wir das mal abhandelt haben, wird es Zeit, sich mit dem Artikel selbst zu beschäftigen. In seiner Zusammenfassung bietet Reiss eine "Overall conclusion" an: "...that the perceived fidelity of an audio recording and playback chain can be affected by operating beyond conventional levels."

Wie heißt es dagegen in der Presseerklärung: “Audio purists and industry should welcome these findings – our study finds high resolution audio has a small but important advantage in its quality of reproduction over standard audio content.”

Ich bin wohl nicht der Einzige, der hier einen deutlichen Unterschied sieht. Ob das wohl etwas damit zu tun hat, daß Reiss in der Presseerklärung frei von der Leber weg reden kann, während er im Artikel auf die Begutachter Rücksicht nehmen mußte? Offenbar ist er der Meinung, er habe gezeigt, daß HRA einen Vorteil bietet, und daß der - wiewohl gering - wichtig ist. In der Studie steht das nicht so klar. Selbst wenn man einmal annimmt, daß das Ergebnis nicht aufgrund von Fehlern zustande kam, und daher belastbar ist (und das ist keineswegs so klar), so ergibt sich daraus lediglich, daß ein Unterschied mit knapper Not hörbar war, mit einer so geringen Wahrscheinlichkeit, daß man eine große Anzahl von Versuchen braucht, um sich sicher genug zu sein zu können, größer jedenfalls als es die Einzelstudien vermocht haben.

Ob der wahrgenommene Unterschied auch als Verbesserung empfunden wird, ergibt sich daraus nicht. Das bestätigt letztlich auch Reiss selbst, seine Studie "...was focused on discrimination studies concerning high resolution audio" und "...the causes are still unknown...". Wie kann man dann von einem Vorteil reden, wenn die Frage der Präferenz gar nicht Gegenstand der Analyse war? Und wie kann man behaupten, er sei wichtig? Beides ist eine Interpretation, die die Studie als solche nicht stützt. Reiss überinterpretiert seine eigenen Ergebnisse.

Wie man der Presserklärung leicht entnimmt, ist sich Reiss des wirtschaftlichen und politischen Umfelds wohl bewußt, in das er seine Studie entläßt. Tidal und Pono werden explizit erwähnt, und die Formulierung läßt kaum einen Zweifel daran, daß das Studienergebnis als Bestätigung der Behauptungen der Befürworter solcher Angebote verstanden werden soll. Ist es da verwunderlich, wenn ich den Verdacht hege, daß Reiss' Überinterpretation nicht ganz uneigennützig ist? Die Audiophilenszene hat die Steilvorlage jedenfalls sofort aufgenommen, und es wird auch nicht verwundern, daß man sich dort nicht damit aufhält, den Artikel genauer zu studieren.

Immer noch vorausgesetzt, daß das Ergebnis belastbar ist, kann man die Studie auch ganz anders interpretieren: Nämlich als Bestätigung dafür, wie klein der Effekt tatsächlich ist. Es bleibt völlig abwegig, das mit den Behauptungen der Audiophilen in Zusammenhang zu bringen. Es spottet ja schon der Logik, daß entsprechende Effekte mit einer geeigneten Anlage, die unter Audiophilen üblich ist, völlig mühelos hörbar sein sollen, während es unter Versuchsbedingungen plötzlich dermaßen hapert, daß man nur mit Meta-Analysen eine ausreichende statistische Signifikanz herauskratzen kann. Welch krasse Behauptungen einem da regelmäßig zugemutet werden, habe ich beim Thema HRA und Pono ja schon früher gezeigt. Das ist schlicht absurd, selbst wenn man einen Hang des Marketings zur Übertreibung mit einkalkuliert.

Ich bin allerdings auch skeptisch, was die Belastbarkeit der Studie betrifft. Reiss zeigt eine beunruhigende Bereitschaft, Ergebnisse von zweifelhaften Studien kritiklos heranzuziehen. Ein Beispiel dafür ist sein Umgang mit Studien im Bereich "Zeitauflösung" des Gehörs, ein Bereich in dem ziemlich viel Scharlatanerie betrieben wird. Reiss schreibt: "A major concern is the extent to which we hear frequencies above 20 kHz. Though many argue that this would not be the primary cause of high resolution content perception, it is nevertheless an important question. [36, 37, 39, 40] have investigated this extensively, and with positive results, although it could be subject to further statistical analysis.
Temporal fine structure [73] plays an important role in a variety of auditory processes, and temporal resolution studies have suggested that listeners can discriminate monaural timing differences as low as 5 microseconds [31–33]..."

Sieht man sich die von ihm referenzierten Artikel genauer an, dann findet man daß sie in der Fachwelt zu einem guten Teil umstritten sind, was Reiss wenigstens zur Kenntnis nehmen könnte und einer Erwähnung würdigen könnte. So sind zwei seiner drei Referenzen zum Thema "5 Mikrosekunden" von Kunchur, über den ich hier schon einmal schrieb. Ihn als seriöse Quelle heranzuziehen, ignoriert sämtliche Kritik, die Kunchur auf breiter Front entgegen geschlagen ist. Die dritte Referenz ist von Krumbholz et.al., und in ihr ist die Zahl von 5 µs nicht zu finden. Vielmehr ist im Text die Rede von "a few tens of microseconds". In der Zusammenfassung wird das in Relation zur binauralen Auflösung gesetzt, die schon anderweitig untersucht wurde und mit 10-20 µs angegeben wird. Entweder Reiss bringt hier etwas durcheinander, oder er überinterpretiert die Fakten. Mithin geben alle drei Referenzen die erwähnten 5 µs nicht auf seriöse Weise her.

Auch ein viertes Papier von Moore, das Reiss heranzieht um den Begriff der "Temporal fine structure" einzuführen, enthält keinen Hinweis darauf, daß es hier um zeitliche Feinheiten geht, die die Möglichkeiten der CD übersteigen. Es sieht eher danach aus als würden hier Begriffe auf suggestive Weise in einen Zusammenhang gestellt, den man nicht ausdrücklich herstellen will, den man im Leser hervorzurufen aber dennoch beabsichtigt. Und den man als wissenschaftlich untermauert aussehen lassen will.

Was die angeblich positiven Ergebnisse von Studien zur Hörbarkeit von Frequenzen über 20 kHz angeht, so soll das Beispiel von Ashihara genügen, das Reiss als Referenz [37] anführt: Ashihara's Papier enthält ein Diagramm, indem die gefundenen Hörschwellen dargestellt sind. Selbst die Maximalwerte zeigen, daß oberhalb von 20 kHz wenn überhaupt nur sehr laute Töne wahrgenommen werden können. Zudem schreibt Ashihara, daß subharmonische Signale nicht gänzlich ausgeschlossen waren, sondern lediglich immer unter 20 dB gelegen haben. Das garantiert allerdings noch nicht, daß sie unhörbar waren. Inwiefern es seriös ist, so ein Ergebnis als Bestätigung zu werten, daß Frequenzen über 20 kHz hörbar sind, überlasse ich Euch. Reiss jedenfalls scheint keine Bedenken zu haben.

Man könnte so noch eine Weile weiter machen, aber ich denke der Grundeindruck ist auch so rübergekommen. Der Tiger ist doch eher ein Bettvorleger, wenn man sich die Sache genauer ansieht.

Aber Ihr solltet Euch, genügend Interesse und Zeit vorausgesetzt, schon selber ein Bild machen. Einige der Artikel, inklusive dem von Reiss selbst, sind ja kostenlos im Netz zu finden. Happy hunting!

Wenn Ihr dann zu einem ähnlichen Ergebnis wie ich gekommen sein solltet, dann wird Euch vermutlich die entsprechende Pressearbeit des Autors sauer aufstoßen. So macht man sich vielleicht im audiophilen Lager Freunde, aber man schadet seiner Reputation und der Reputation von Wissenschaft insgesamt.

Und die AES scheint ein wachsendes Problem mit ihrem peer-review zu haben, scheint mir.


(*) Update: Wie ich eben sehe hat auch die AES eine praktisch gleichlautende Presseerklärung herausgegeben, siehe hier. Wenn man sich ansieht, wie selten die AES eine Presseerklärung aus Anlaß eines Journal-Artikels über ein Forschungsergebnis herausgibt, dann könnte man schon daraus schließen, daß zumindest die Presseabteilung dieses Ergebnis für ganz besonders bedeutsam hält.

In meinen Augen wird es dadurch noch dubioser. Es gibt keinen vernünftigen Grund, warum ein derart mageres Ergebnis ein solches Tamtam verdient hätte, jedenfalls keinen inhaltlichen Grund. Erklären kann ich mir das allenfalls vor dem Hintergrund der kommerziellen Interessen, denen sich die AES hier anscheinend beugt.