Über die Kunst, Blindtests zu diskreditieren, indem man welche durchführt.

Janus ist raus. Wer hätte das je erwartet, nachdem er mit bemerkenswerter Hartnäckigkeit 6 Jahre lang den Hifi-Foristen auf die Nerven gegangen ist. Eine Diskussion mit ihm konnte ein lehrreiches Erlebnis sein, denn wenige konnten so gut wie er Bullshit verbreiten und seine Diskussionsgegner an der Nase herum führen. Wer das an sich erlebt hat, wird sich lange daran erinnern. Wer zu ihm eine Einführung braucht, sei auf meinen alten Blogartikel verwiesen.

Aber er betreibt ja nach wie vor seine Webseite, auf der er seine Erfahrungen mit dem Hifi-Forum verarbeitet, und der Geschichte seinen eigenen Spin geben kann. Nicht ganz zufällig geht es dort schwerpunktmäßig um Blindtests, und darum, dem audiophilen Volk Ausreden Gründe an die Hand zu geben, diese abzulehnen. Das ist ja schon länger eine wichtige Form der Traumabewältigung im audiophilen Sektor, und Janus macht sich als Therapeut besonders gut, denn er lehnt zwar Blindtests genauso ab wie jeder gestandene Audiophile, versteht es aber, diese Ansicht mit einer wesentlich differenzierter wirkenden Pose vorzutragen. Nicht zuletzt deshalb hat er wohl selbst Blindtests durchgeführt, um gewissermassen sagen zu können: "Ich hab's probiert, also kann ich Euch aus Erfahrung sagen: Vergesst es, Blindtests taugen nichts, jedenfalls nicht für das was Ihr wollt."

Ich habe die Kernaussage natürlich stark verkürzt, die Argumentation von Janus ist weitaus ausschweifender. Das macht sie nicht besser, aber es wirkt tiefgründiger. Dabei ist der Bullshit immer noch der gleiche, was man unter anderem daran erkennt, wie jede Gelegenheit zur verzerrenden Darstellung genutzt wird. Das fängt schon damit an, daß man die "Gegenposition" ins Groteske übertreibt, was einem die Widerlegung einfach macht. Ein sehr gern genommener Trick in einer Argumentation.

Seht Euch mal die Webseiten zu den Blindtests an, die Janus geschrieben hat. Hier die erste. Sieht recht professionell aus, viele Details, viele Fotos, man könnte es für seriös halten, nicht wahr? Es ist aber das Gegenteil. Das ganze umfangreiche Programm verschleiert die teils sehr grundsätzlichen Defizite der ganzen Veranstaltung. Und ich denke das ist auch der von vorn herein beabsichtigte Effekt. Es ist ein Versuch, Blindtests ad Absurdum zu führen, indem man welche so durchführt, daß sie vom naïven Leser für bare Münze genommen werden, dabei aber unbrauchbar sind. Es ist so als führe man ein Auto so gekonnt gegen die Wand, daß es alle für einen Unfall halten, der dem Auto anzulasten ist. Geplant und absichtlich, um das Auto oder seine Befürworter zu diskreditieren.

Ich kann und will hier keine vollständige Erwiderung in allen Einzelheiten versuchen, dafür schreibt Janus zu viel. Es bringt auch nichts, denn das würde nur ermüden. Besser ist es, ein paar grobe Fehler aus dem schönen Schein auszugraben.

Es fängt damit an, was für eine Frage der Test beantworten soll. Sie steht ausdrücklich da: "TESTFRAGESTELLUNG: Ist es möglich unterschiedliche gebrauchte HiFi-Verstärker, die aufgrund ihrer klanglichen Charakteristika von geübten Hörern unverblindet unterschieden werden können, auch dann noch zweifelsfrei 20x in Folge zu unterscheiden wenn eine zuverlässige Verblindung besteht? Zielsetzung ist es dabei, nicht nur zu erkennen ob eine Unterscheidung zwischen Gerät A und Gerät B möglich ist, es soll auch sicher erkannt werden welches Klangbild zu welchem Gerät gehört."

Das ist eine in dieser Form sinnlose Frage. Sie geht implizit von der Annahme aus, der "Gegner" würde jegliche Möglichkeit hörbarer klanglicher Unterschiede zwischen Verstärkern kategorisch ausschließen, was die oben erwähnte Steigerung ins Absurde darstellt. Die Position des Gegners sieht hier aber ganz anders aus. Man könnte sie so formulieren: "Auf klangliche Neutralität hin entworfene Verstärker klingen gleich, sofern sie unter gleichen und fairen Bedingungen verglichen werden." Daß man Verstärker finden kann, die dieses Kriterium nicht erfüllen, bestreitet niemand ernsthaft. Daß man Bedingungen schaffen kann, unter denen sich Verstärker hörbar unterscheiden, bestreitet auch keiner. Wenn man also zwei Verstärker hernimmt, und durch einen Blindtest zeigen will, daß sie sich hörbar unterscheiden, dann hat das nur dann Überraschungswert, wenn dieser Unterschied nach allem was man über die Verstärker und deren Betriebsbedingungen weiß, nicht hätte auftreten sollen.

Janus versucht durch Fotos von Laborausrüstung und von Messungen den Eindruck zu erwecken, als hätten sich die Geräte nicht klanglich unterscheiden dürfen. Sie seien daraufhin überprüft worden, ob sie in Ordnung sind, und zwar von einem Fachmann. Nur, man bekommt keine Informationen über Frequenzgang und Verzerrungsmessungen, die das belegen würden. Im Normalfall würde ich, bei einer seriösen Studie, voraussetzen, daß sich die Organisatoren davon überzeugt haben, daß der Klirr niedrig genug, und die Frequenzgänge linear sind. Bei Janus halte ich jede Manipulation und jeden Bock für möglich. Er hat Platz für Fotos von Messgeräten, aber einen Messchrieb von einer Frequenzgangmessung sieht man nicht bei ihm. Schöner Schein, aber keine Substanz.

Vielleicht sind die Geräte tatsächlich deutlich unterschiedlich im Klang. Vielleicht war in einem von beiden eine Loudness-Schaltung aktiv? Ein Klangregler? Da muß kein Defekt vorliegen, das kann auch aus Versehen passieren, weswegen man sich bei seriösen Tests normalerweise per Messung an der fertig aufgebauten Testanlage vergewissert. Ein Test mit Geräten, deren Frequenzgänge oder Klirrfaktoren sich offensichtlich deutlich unterscheiden, bringt nichts, denn er widerlegt nichts, was ein "Objektivist" behauptet hätte.

Wenn man bei einem Blindtest zwischen zwei Verstärkern klar feststellbare Unterschiede findet, dann zeigt jede Erfahrung, daß man dafür auch eine messtechnische Ursache finden kann. Es ist völlig unbefriedigend, wenn man in einem Blindtest Unterschiede findet, aber dann keinerlei Anstrengungen unternommen werden, eine plausible Erklärung dafür zu finden. Die Erklärung könnte trivial sein, und einen Testfehler aufdecken.

Die Ergebnisse waren, angesichts der langen Umschaltpausen, offenbar relativ deutlich. Das bestärkt mich in der Überzeugung, daß der Unterschied messtechnisch schnell gefunden wäre, oder aber es gibt im Testdesign einen Fehler, der die Erkennung ermöglicht hat, obwohl kein Klangunterschied erkennbar war.

Vor diesem Hintergrund wirkt das ganze Brimborium ziemlich grotesk. Angeblich wurden die Geräte von einem Audiotechniker mehrere Stunden ausgiebig getestet, aber so wie es beschrieben ist, anscheinend nicht die Testanlage als ganzes vor dem Test überprüft. Ein ziemlich aussagefähiger Test wäre mit der entsprechenden Ausrüstung in wenigen Minuten erledigt gewesen, und hätte auch dokumentiert werden können. Stattdessen wird man mit nichtssagenden Details überschwemmt.

Im Ergebnis hat man also nun per Blindtest festgestellt, daß sich diese zwei Verstärker hörbar unterscheiden. Was hat man nun davon? Ohne zusätzliche Erkenntnisse nichts. Nur wenn sich gezeigt hätte, daß das weder auf Frequenzgangunterschiede, noch auf Klirrunterschiede zurückzuführen ist, und daß der Test keinen Fehler hat, wäre es interessant und könnte als Gegenargument gegen die "Objektivisten" ins Feld geführt werden. Man hat einen sinnlosen Blindtest durchgeführt, um zu zeigen daß Blindtests sinnlos sind. Und das mit maximal aufgeblähtem Brimborium, sowohl auf der Webseite als auch im Hifi-Forum.

Dazu gehört auch der Versuch, als Komparsen einige Skeptiker mit ins Boot zu holen, was zum Glück nicht gelang. Es hätte Janus ermöglicht, einen Test, den er um keinen Preis in einer sinnvollen Art und Weise durchzuführen bereit gewesen wäre, über die Skeptiker zu legitimieren, und diese gleichzeitig durch seine demonstrative Ignoranz zur Verzweiflung zu treiben. Immerhin brauchte es monatelange Diskussionen, in deren Verlauf Janus diverse Male Gelegenheit hatte, sich über sinnvolle Testmodalitäten zu informieren, was völlig an ihm vorbei ging.

Nun würde ich Janus darin zustimmen, daß für die meisten Anlagenbesitzer ein Blindtest tatsächlich keinen Sinn hat. Nur sind die Gründe dafür nicht die, die Janus anführt. Der Hauptgrund dürfte sein, daß - wenn er ehrlich mit sich wäre - der Anlagenbesitzer gar nicht daran interessiert ist, wie es um die Hörbarkeit von Klangunterschieden an seiner Anlage bestellt ist. Man will an die Unterschiede glauben, da könnte die Wahrheit nur stören. Auch für eine Kaufentscheidung ist ein Blindtest das falsche Mittel, denn am Schluß ist die Zufriedenheit mit seiner Anlage ja ein "ganzheitliches" Problem. Da hat vielleicht der Klang sogar den kleineren Einfluß. Man muß mit dem Gesamteindruck zufrieden sein, und das Prestige, die Optik und Haptik, usw. spielen da eine wichtige, wenn auch oft uneingestandene Rolle. Blindtests braucht man dann, wenn man eine klar umrissene Frage bzgl. der Hörbarkeit (und nur der Hörbarkeit) beantwortet haben will. Und er macht nur Sinn wenn man das Testergebnis auch ertragen kann.

Janus schreibt für diejenigen, die das nicht können, und deren emotionales Gleichgewicht es erfordert, daß sie dafür Ausreden geliefert bekommen, die ihnen plausibel vorkommen.

In "Warum so...?" findet man dafür Beispiele. Die Ablehnung von Umschaltgeräten ist z.B. ein audiophiler Klassiker. Würde man tatsächlich den Verdacht haben, die Umschalthardware hätte einen negativen Einfluß auf die Audiosignale, dann könnte man das (wenn man Messungen misstraut) auch selbst durch Blindtest überprüfen. Ich habe noch nie erlebt daß das ein Audiophiler versucht hätte. Es ist einfach zu nützlich, sich diese wohlfeile Ausrede zu bewahren.

Immerhin realisiert er, daß die Ausrede wohlfeil ist, und verwendet daher einigen Aufwand für die Begründung, die er um das Konzept der "Lästigkeit" strickt. Das Argument geht etwa so (für dijenigen, die sich den weitschweifigen Text sparen wollen): "Die in Frage stehenden Unterschiede erkennt man nicht durch Konzentration, sondern im Gegenteil durch Entspannung, und längeres Hören, wodurch sich die Geräte durch unterschiedliche empfundene Lästigkeit verraten. Hat man eine Umschalteinheit, wird man zum Umschalten verleitet und versäumt diesen sich erst allmählich einstellenden Eindruck."

Das ist auch wieder ein audiophiler Klassiker, der meist unter dem Begriff "Langzeittest" kursiert. Zwar gibt es so etwas wie empfundene Lästigkeit tatsächlich, wie wohl Viele bestätigen werden. Aber wer wer weiß schon genau woran es liegt? Wenn man das nirgendwo festmachen kann, dann könnte genausogut irgend etwas dafür verantwortlich sein, das mit dem Hören nichts zu tun hat. Vielleicht ist es sogar der Geruch der Anlage? Der "Nutzen" eines Langzeittests bestünde dann darin, daß man genug Zeit hat, sein irgendwie zustande gekommenes Bauchgefühl spürbar zu machen, und es an etwas festzumachen, von dem man sich einbilden kann man habe es gehört.

Das funktioniert umso besser, je mehr man auf unmittelbare Vergleiche verzichtet. Unmittelbares Umschalten würde diesen psychologischen Mechanismus in der Tat stören, denn man würde sich mehr auf das konzentrieren was man im Moment hört, insofern hat Janus recht. Gerade wenn man auf die direkte Vergleichbarkeit verzichten muß, gibt man der freien Assoziation und Intuition mehr Raum, und so verdichten sich Einbildungen und hörfremde Einstellungen zu etwas, was wie Gehörtes wirkt. Der Objektivist würde sagen: Der Langzeittest begünstigt die Einbildung.

Aber ein Langzeittest hat auch noch den "Vorteil" daß er schwieriger zu verblinden ist, bzw. in der verblindeten Version schwierig durchzuführen, denn es dauert entsprechend lang, auf ein ausreichendes Signifikanzniveau zu kommen. Entsprechend weniger wahrscheinlich wird es, daß ein seriöser Langzeitblindtest dieses Wunschdenken konterkariert.

Für eine Kaufentscheidung spielt natürlich eine empfundene Lästigkeit eine wichtige Rolle. Dabei ist es egal, woher sie rührt. Wenn ein Gerät falsch riecht, ist das genauso relevant wie wenn es falsch klingt. Das ist ein weiterer Grund warum Blindtests nicht das geeignete Mittel für Kaufentscheidungen sind. Es ist oftmals richtiger, seinem Bauchgefühl zu folgen, denn die Zufriedenheit kommt nicht von den klanglichen Qualitäten allein. John Atkinson, der Chefredakteur der amerikanischen Stereophile, ist zum Blindtestgegner geworden, weil er aufgrund eines Blindtests einen Verstärker gekauft hatte, mit dem er dann nicht zufrieden war. Es war ihm Anlaß für eine öffentliche Tirade gegen Blindtests, die noch heute oft in audiophilen Kreisen zitiert wird. Für ihn ist das ein Zeichen dafür, daß Blindtests die hörbaren Qualitäten eines Verstärkers nicht aufdecken können. Für mich ist es ein Zeichen, daß Atkinson sich nicht volle Rechenschaft gibt über seine Kaufgründe und die Ursachen seiner Vorlieben. Wäre er ehrlich zu sich selbst, und würde er sich eingestehen, daß seine Präferenz von allen seinen Sinnen abhängt, und nicht nur dem Ohr, dann könnte er akzeptieren, daß ein klanglich völlig untadeliger Verstärker trotzdem "lästig" werden kann, und er müßte nicht die Blindtests für etwas geißeln, was letztlich seiner eigenen falschen Erwartungshaltung geschuldet ist.

Der Fehler in der audiophilen Position liegt also in der künstlichen Identifikation der Unterschiede mit dem Hörsinn, wofür es oftmals keine belastbaren Indizien gibt. Janus macht das ziemlich gut, denn es fällt nicht auf, daß er implizit und wie selbstverständlich davon ausgeht, die in so einem "Langzeittest" gefundenen Lästigkeits-Unterschiede seien Klangunterschiede. Der Nachweis dafür fehlt. Dafür gibt's von ihm jede Menge Suggestivformulierungen.

Es wäre so einfach, wenn die Audiophilen zugeben könnten, daß sie nicht mit einem unbestechlichen Gehör ausgestattet sind, sondern daß ihr Eindruck und ihr Urteil subjektiv und von allen Sinnen und Einstellungen beeinflußt sind. Stattdessen wird ein Unterschied im Klang behauptet, der nicht nachvollziehbar ist. Das ist eine Einladung an alle Skeptiker, die Überprüfung dieser Behauptung per Blindtest einzufordern. Und das ist auch berechtigt, denn genau das kann ein Blindtest klären: Ob jemand einen behaupteten Klangunterschied auch tatsächlich hören kann. Mit dem Gehör allein. In so einem Fall sind so gut wie alle Einwände gegen Blindtests kalter Kaffee, denn der Betreffende sollte bereits wissen worin der Unterschied besteht, unter welchen Bedingungen er ihn hören kann, und wieviel Zeit man dafür braucht. Man kann ihn die Testbedingungen weitgehend selbst bestimmen lassen, und bloß für die Verblindung sorgen. Man kann ihn vorher nichtblind hören lassen, und ihm so erlauben, sich seiner Fähigkeit zu vergewissern. Kann er dasselbe dann verblindet auch noch, ist der Nachweis erbracht. Kann er es nicht, wird's wohl eingebildet sein. Was könnte einfacher sein als das?

Gerade vor diesem Hintergrund wird deutlich, wie konstruiert und bemüht die ganzen Ausreden sind, die man von den Audiophilen in diesem Zusammenhang immer wieder hört. Auch wenn sie so geschmeidig daher kommen wie bei Janus.

Und den Audiophilen gilt mein Tip: Ihr könnt Euch den ganzen Aufwand mit diesen Ausreden sparen. Ihr braucht Euch keine Verstärker zu kaufen, die Euch nicht gefallen. Gebt Euch und uns gegenüber zu, daß es nicht die hörbaren Unterschiede sein müssen, die dabei die wesentliche Rolle spielen. Dann braucht es auch keine Blindtests, um etwas nachzuweisen, was ihr falsch assoziiert, und was dann umständlich durch argumentative Tricks gerechtfertigt werden muß.

Update:

Janus525 beschäftigt sich auf seiner Webseite unter anderem auch mit diesem Blogartikel. Ich glaube nicht daß ich viel dazu zu schreiben brauche. Wem die Zeit nicht zu schade ist, kann sich das ja reinziehen. Mein persönlicher Favorit, bei dem ich spontan grinsen mußte, ist wohl folgendes Kleinod (hier ganz unten im Fazit):

Das ist ein geradezu archetypisches Beispiel für die Diskussionstricks, deren er sich regelmäßig und routinemäßig bedient. Hier wie er in eine scheinbare Zustimmung zu meiner Aussage das genaue Gegenteil hineinpräpariert. Sehr schön wie er das durch das Ändern nur weniger Worte hinkriegt. Man könnte fast einen Bildvergleich daraus machen: "Finden Sie die Unterschiede zwischen diesen beiden Bildern".

Sehr ironisch finde ich übrigens auch, wie er die angeblich nicht vorhandene Meinungsfreiheit im Hifi-Forum geißelt, aus dem er sich immerhin selbst abgemeldet hat und nicht rausgeschmissen wurde, und sich dann prompt in Charly's Open-End-Forum angemeldet hat, wo man mit der falschen Meinung nicht bloß umstandslos rausgeschmissen wird, sondern unter Umständen gleich auch noch alle eigenen Beiträge gelöscht bekommt, so daß es so aussieht als wäre man nie Teilnehmer gewesen, und es unmöglich für Dritte wird, nachzuvollziehen was sich da abgespielt hat. Aber genau das dürfte Janus525 gefallen, denn ebenso wie Charly geht es ihm schließlich um die Fassade, die auf diese Art sauber gehalten werden kann.

Die Realität ist doch immer wieder die beste Satire.