Lies, damn lies, and measurements

Wie einfach wäre es doch wenn Alle glauben würden, die Ohren seien die besten Meßgeräte. Das würde einen Haufen Aufwand mit der ganzen Meßtechnik sparen. Die Entwicklung von Geräten würde deutlich billiger: Ein Lötkolben, eine Kiste voller Bauteile und ein guter Gehäusebauer würden reichen. Ok, vielleicht nicht ganz, aber fast...

Leider gibt es aber noch immer Leute, die auf Messungen Wert legen, und die Nase rümpfen wenn sie keine Diagramme sehen, die sie interpretieren können. Solche Messungen haben die Aura einer objektiven, unbestechlichen Wahrheit. Ein gestandener Audiophiler weiß, daß unbestechliche Wahrheit nur in seiner eigenen unmittelbaren Wahrnehmung zu finden ist. Es gibt aber noch zu wenige gestandene Audiophile, so daß es einen Bedarf für Messungen gibt, die diese audiophile Wahrheit auch den Anderen vermitteln können.

Ich will daher hier einmal die Methoden zusammenfassen, die man anwenden kann, um zu Messungen zu kommen die man als Beweis für audiophile Grundüberzeugungen präsentieren kann. Wie sich zeigen wird, werden diese Methoden schon seit längerem praktisch angewandt und erfreuen sich eines gewissen Erfolges. Anwendungen derselben finden sich ebenso in der Fachpresse wie in Foren, in Hersteller-Veröffentlichungen wie im Handel.

Welchen Aufwand man dabei betreiben muß bemißt sich vor allem an der Zielgruppe, die man damit ansprechen will. Die wichtigen Fragen dabei sind:

• Welche Antwort würde der Leser gerne sehen? Wohin zieht ihn sein Wunschdenken?
• Wie loyal ist der Leser? Wie groß sind seine Hemmungen, Fehler oder Betrug zu unterstellen?
  
• Wie vorgebildet ist der Leser? Über welche Fähigkeiten zur Kritik und zur Plausibilitätskontrolle verfügt er?
• Wie wichtig ist die Angelegenheit dem Leser? Welchen Aufwand ist er bei der Beschäftigung mit dem Thema bereit zu treiben?

Falls es die Zielgruppe hergibt, kann man es sich auch ziemlich einfach machen. In Fällen, wo die Leser weitgehend loyal eingestellt sind und das Ergebnis ohnehin ihren Erwartungen entspricht, kann man sogar so weit gehen, eine Messung nur vorzutäuschen. Erfundene Daten werden auch im normalen Wissenschaftsbetrieb manchmal in Veröffentlichungen benutzt, und je nachdem wie gut erfunden sie sind, kann es sogar eine ganze Weile dauern bis der Betrug auffällt.

Die erste Methode lautet daher: Wenn es die Zielgruppe gestattet, dann mach Dir's einfach und arbeite mit frei erfundenen Messungen.

Die mehrheitliche Loyalität der Leserschaft spielt dabei eine sehr wichtige Rolle, denn falls einmal ein Kritiker auftauchen sollte, dann bildet diese loyale Leserschaft ein wichtiges Bollwerk gegen die Kritik, denn sie wird dafür sorgen daß der Kritiker einen schweren Stand hat. Man wird ihm Unverschämtheit und Ungezogenheit vorwerfen, und generell seine Qualifikation und Motivation in Frage stellen.

Wenn unter der Leserschaft Leute sind, die Sachverstand haben, und/oder ihr Wunschdenken geht nicht in die richtige Richtung, dann kann diese einfache Methode zu riskant sein. Es ist dann besser man macht tatsächlich Messungen, und nutzt stattdessen seine Freiheiten bei der Präsentation und bei der Interpretation derselben. Ich will zunächst bei der Präsentation bleiben und entsprechende Methoden vorstellen, bevor ich dann dasselbe für die Interpretation tue.

Bei der Präsentation geht es darum, Meßergebnisse so darzustellen, daß nach Möglichkeit der Leser auf die gewünschte Interpretation von selbst kommt, oder daß wenigstens diejenige Interpretation, die wir ihm sodann anbieten, für ihn plausibel aussieht.

Ein sehr wichtiges Mittel dazu ist bei Diagrammen die Skala der Achsen. Durch entsprechende Skalierung kann man unbedeutend kleine Schwankungen zu beeindruckenden Gebirgen machen, und große Schwankungen harmlos aussehen lassen. Im einfachsten Fall bietet man keine nachvollziehbare Achsenskalierung und verläßt sich ganz auf die optische Wirkung der Kurve. Überraschend viele Leute akzeptieren das und behalten das Gefühl eines objektiven Nachweises zurück.

Meist ist es aber besser man gibt die Achsenskalierung an, und verläßt sich darauf daß die Leser nicht beurteilen können, ob sie zweckmäßig ist oder nicht, also ob der dargestellte Wertebereich tatsächlich interessante Größenordnungen abbildet.

Die zweite Methode ist also: Sei kreativ bei der Achsenskalierung und -beschriftung. Der optische Eindruck der Kurve ist das Wichtige. Die Achsenbeschriftung wird nur von wenigen Lesern verstanden, aber ihr Vorhandensein suggeriert Seriösität.

Wenn es darauf ankommt, mehrere Diagramme zum Vergleich nebeneinander zu stellen, dann sollte man sich keine Blöße geben und darauf achten, daß auch die Achsenbeschriftungen vergleichbar sind. Unterschiedliche Achsenbeschriftungen bei parallelen Diagrammen wirken sehr unseriös, auch bei weniger kritischen Lesern. Wenn sich dadurch unvorteilhafte Kurven ergeben sollte man eher die Meßbedingungen variieren, denn die Leser werden instinktiv davon ausgehen, daß bei parallelen Diagrammen auch jeweils gleiche Meßbedingungen vorlagen. Man kann es sich folglich sparen, das explizit klarzustellen, und vermeidet so auch eine direkte Lüge.

Dritte Methode: Wenn beim Vergleich von Kurven geschönt werden soll, dann sollte man das nicht über unterschiedliche Achsenskalierungen tun, sondern über unterschiedliche Meßbedingungen, über die man am besten kein Wort verliert.

Welche Meßbedingungen dabei am besten zu variieren sind, hängt natürlich vom konkreten Fall ab. Ob es sich um Pegel, Impedanzen, räumliche Unterschiede, oder unterschiedliche Einstellungen der Meßapparatur dreht, es gibt normalerweise eine Fülle von Parametern, die bei Messungen einfach stillschweigend als gegeben und für jede Messung gleich angenommen werden müssen, daß sich daraus viele Möglichkeiten der Einflußnahme auf ein Ergebnis bieten.

Nur ein Beispiel: Bei der Messung des Frequenzgangs von Lautsprechern hängt der optische Eindruck der Kurve sehr stark davon ab welche glättenden Filter man bei der Messung einsetzt. Eine Glättung mit Terzfilter produziert wesentlich glattere und "ruhigere" Kurven als es schmalbandige Filter tun. Der Lautsprecher selbst bleibt dabei unverändert.

Man nutzt dabei die Tatsache, daß man kaum eine vollständige Beschreibung der Einstellungen der Meßapparatur abgeben kann, weil das viel zu umfangreich wäre. Selbst bei Artikeln, die nach streng wissenschaftlichen Kriterien verfaßt werden, toleriert man daher daß die Meßbedingungen nicht vollständig angegeben werden, sondern daß die wesentlichen Umstände der Messung nachvollziehbar sind und der Rest harmlos ist. In Fällen, wo es normierte Meßbedingungen gibt, wird auch oft angenommen daß normgerecht gemessen wurde.

Dazu kommt, daß wenige Leute überblicken, welche Auswirkungen auf das Meßergebnis solche Unterschiede in den Meßbedingungen im konkreten Fall haben können. Entsprechend schwierig wird es für sie auch sein, in den Meßergebnissen nach Anzeichen für solche Manipulationen zu suchen. Wie immer es auch sei, was nicht explizit angegeben ist kann zum eigenen Vorteil manipuliert werden, ohne daß man von davon reden könnte daß hier jemand gelogen hätte.

Ein weiterer wichtiger Punkt bei der Präsentation der Messungen ist das, was man nicht präsentiert. Wenn man hundert Messungen hat, die schlecht aussehen, und eine die gut aussieht, dann präsentiert man die eine gute und verliert kein Wort über den Rest.

Vierte Methode: Zeige nur das was für Deine Interpretation spricht, nicht das was dagegen spricht.

Ein Beispiel für eine solche Vorgehensweise sind die Oszilloskop-Bilder vom Ausgang eines D/A-Wandlers, wo die Reaktion auf Rechteckimpulse gezeigt wird. Die Rechteck-Impulse sind künstlich digital erzeugt, und stillschweigende oder auch ausdrückliche Aussage ist, daß der bessere Wandler so einen Impuls auch möglichst rechteckig wiedergeben müsse. Ein korrekt aufgebauter Wandler A zeigt dabei Überschwinger an den Impulsflanken. Ein Wandler B ohne korrektes Rekonstruktionsfilter dagegen zeigt ein fast ideales Rechteck am Ausgang. Der korrekte Wandler sieht also hier schlecht aus.

Was man nicht gezeigt bekommt, ist der Ausgang der Wandler bei einem Sinussignal. Der korrekte Wandler A gibt es auch korrekt sinusförmig aus, während der Wandler B ein treppenförmiges Signal ausgibt.

Wer nur das Rechteck sieht wird sich denken: Der Wandler A macht's falsch, der Wandler B richtig, also ist B besser. Würde er nur das Sinus-Beispiel sehen, käme er zum umgekehrten Schluß. Nur derjenige, der beide Beispiele kennt, kommt zum ausgewogeneren Schluß, nämlich daß man sich aussuchen kann bzw. muß, welche Art von Signal der Wandler korrekt wiedergeben können soll, also ob die tatsächlichen Signale die der Wandler verarbeiten soll eher wie Rechtecke oder eher wie Sinusse sind. Diese Frage führt zu ganz anderen, tiefer liegenden Fragen, nämlich nach der physikalischen Natur von Schall und spezieller von Musiksignalen, und das Ergebnis dieses längeren Exkurses wäre es, daß hier eben der Sinus korrekt reproduziert werden muß und nicht das Rechteck.

Das alles kann vermieden werden indem man solche weiterführenden, ausgewogeneren Gedanken erst gar nicht provoziert. Man zeigt nur das Rechteck-Beispiel, und der gewünschte Schluß ergibt sich beim Leser von selbst.

Hier sind wir am Übergang zwischen Präsentation und Interpretation. Zweck der Präsentation ist ja, daß der Leser die gewünschte Interpretation selbst vornimmt, am besten ohne daß er sich dessen überhaupt bewußt wird, daß er interpretiert. Im obigen Beispiel wird ein Rechteck mit Überschwingern unwillkürlich als schlechtes Zeichen interpretiert, aber bei näherer Untersuchung der Sachlage ist es das gar nicht. Im Gegenteil ist ein schön eckiges, sauberes Rechteck ein Zeichen fehlender Bandbegrenzung, die aber im gegebenen Fall nötig gewesen wäre. Mit dem passenden Sachverstand könnte man also auch das Beispiel mit dem Rechteck allein richtig interpretieren, aber diese Interpretation läuft gegen den Augenschein.

Eine gut manipulierte Messung präsentiert die richtigen, unverfälschten Daten auf eine Art und Weise, die das Richtige falsch und das Falsche richtig aussehen läßt. Da der Irrtum erst im Hirn des Lesers entsteht, kann einem auch kein Meßbetrug nachgewiesen werden. Um gegen den Irrtum gefeit zu sein, müßte der Leser entweder über genügend eigenen Sachverstand verfügen, oder man müßte ihm die entsprechenden Grundlagen in einer ausreichend ausgewogenen Form vermitteln. Das ist aber selten der Fall. Sogar in Kreisen von ausgewiesenen Fachleuten kommt es vor, daß man sich vom Augenschein zu falschen Schlüssen verleiten läßt, die man bei genauerer Überlegung auch aus dem gebotenen Datenmaterial als irrig hätte erkennen können.

In diesem Zusammenhang ist auch der Umgang mit Fehlmessungen (bzw. Meßfehlern) zu sehen. Wenn das Gewünschte heraus kommt dann kann die eigene Messung nicht falsch gewesen sein, das ist die Grundhaltung. John Curl hat z.B. mal seltsame Meßergebnisse bei Kabelmessungen gefunden, und daraus auf das Vorhandensein von "Mikrodioden" in Kabeln geschlossen, die angeblich die von ihm gemessenen Verzerrungen produzieren. Wenn man sich ansieht wie hartnäckig er dieses Ergebnis über die Jahre verteidigt hat, obwohl bald klar wurde daß sein Meßinstrument ein Problem gehabt haben mußte, spricht Bände über dieses Phänomen. Die gleiche Hartnäckigkeit ist es auch, die noch heute dazu führt daß dieses Gerücht über die Mikrodioden nicht aus der Welt zu schaffen ist, und die von ihm gezeigten Meßkurven kursieren noch heute als angeblicher Kabelklang-Beweis. Die dem entgegen stehenden Kontrollmessungen von anderen Fachleuten mit besserer Ausrüstung sind weit weniger bekannt und werden natürlich von Curl selbst nicht weiterverbreitet.

Auch wenn eine gute Präsentation der bessere, weil unauffälligere Weg ist, die Interpretation des Lesers in die gewünschten Bahnen zu lenken, so wird man dennoch oftmals die gewünschte Interpretation auch etwas direkter anbieten wollen oder müssen. Insbesondere bei einer sehr uninformierten Leserschaft, oder einer sehr denkfaulen Leserschaft, wird man auf diese Weise weiter kommen. Diese Zielgruppe bräuchte schon sehr eindringliche Diagramme, um von selbst zum gewünschten Ergebnis zu kommen, und die kann man oft nicht so problemlos fabrizieren. Also erzählt man ihnen eben explizit, wie die Bilder zu interpretieren sind.

Auf diese Weise kann es sogar gelingen, aus Meßwerten die gewünschten Ergebnisse zu ziehen, die damit eigentlich gar nichts zu tun haben. Anders gesagt, man interpretiert in die Sache eine Kausalität hinein, die gar nicht vorhanden ist. Man sagt: "Diese Kurve hier ist krumm, deswegen klingt das Gerät schlecht." Die Krummheit der Kurve ist dabei vielleicht gar nicht umstritten, das Problem besteht darin ob der Zusammenhang zwischen der Kurve und dem Klang besteht. Dieser Zusammenhang besteht aber selbst dann nicht automatisch, wenn das Gerät tatsächlich schlecht klingen sollte.

Es ist erstaunlich wie schnell die allermeisten Leute einen kausalen Zusammenhang zwischen zwei Phänomenen annehmen, die einfach nur in ihrer Wahrnehmung zusammen getroffen sind. Das steht in keinem Verhältnis zur Schwierigkeit, die man hat wenn man solch eine Ursache-Wirkung-Beziehung tatsächlich nachweisen will. Ebenso erstaunlich ist es wie einfach man sich diese menschliche Tendenz zunutze machen kann. Es hat offenbar etwas damit zu tun daß der menschliche Geist danach strebt, Sinn und Folgerichtigkeit in seiner Umwelt zu suchen. Man vermutet so Ursachen und Zusammenhänge hinter natürlichen Ereignissen, die oft keine besonderen Zusammenhänge oder Gründe haben. Bei den kürzlich -- zumindest in der öffentlichen Wahrnehmung -- gehäuft aufgetretenen schweren Erdbeben kam ja auch schnell der Verdacht auf es habe etwas mit dem Klimawandel zu tun, sei also mittelbar vom Menschen selbst verursacht. Einen solchen Zusammenhang tatsächlich nachzuweisen ist aber ein sehr viel schwierigeres Geschäft, und man müßte eigentlich beim Ziehen solcher Schlüsse sehr vorsichtig sein. Trotzdem werden bei vielen Menschen solche Spekulationen schnell zur Beinahe-Gewißheit, wenn sie zu den restlichen Ansichten passen, also ein entsprechendes Weltbild harmonisch ergänzen.

Im Bereich Hifi wird diese Situation gerne genutzt, die Voraussetzungen sind günstig. Besonders das audiophile Weltbild mit der Betonung der eigenen Wahrnehmung führt dazu daß Interpretationen, die zumindest den Anschein erwecken als würden sie mit der eigenen Wahrnehmung harmonieren, bereitwillig übernommen werden, ohne daß man sich über die Kausalität große Gedanken zu machen scheint. Man kann hier sogar erfolgreich Interpretationen anbieten, die so absurd sind, daß es mit nur wenig Nachdenken eigentlich offensichtlich sein müßte.

Fünfte Methode: Biete Interpretationen an, die in das Weltbild der Zielgruppe passen. Ein kausaler Zusammenhang zu den Messungen braucht dabei überhaupt nicht zu bestehen. Es kann sogar funktionieren wenn die Messungen bei Licht betrachtet die Interpretation klar widerlegen.

Als konkretes Beispiel verweise ich auf den Artikel von Goetze im Studio-Magazin, über den ich vor geraumer Zeit hier geschrieben habe. Dort werden Messungen vorgestellt, die zeigen daß das getestete Zubehörteil keine meßtechnischen Auffälligkeiten zeigt, die auch nur entfernt hörbare Proportionen haben. Trotzdem behauptet der Autor, damit klar hörbare Effekte nachgewiesen zu haben. Im Falle der Stereoplay-Verstärkermessungen werden ebenfalls Kausalitäten unterstellt, die weder nachgewiesen noch plausibel sind, wenn man es bei Licht betrachtet. Bei der damit angesprochenen Zielgruppe spielt das allerdings keine Rolle. Die Glaubwürdigkeit ergibt sich da aus der Verträglichkeit mit dem eigenen Weltbild. Beide Beispiele zeigen wie weit man bei diesen Manipulationen gehen kann, bevor man die Toleranz- oder Loyalitätsgrenze seiner Leserschaft überschreitet.

Eine weitere Methode wird daraus ebenfalls ersichtlich: Wiederhole Deine Interpretation, und auch die Argumentation mitsamt der Diagramme. Verschweige und ignoriere ggf. die Kritik daran. Bei der Leserschaft wirkt die Präsenz der Argumentation schwerer als die Stichhaltigkeit.

Wer immer wieder die gleiche Lüge verbreitet wirkt irgendwann glaubwürdig, schon weil er so hartnäckig ist. Zudem müssen die Kritiker die Stichhaltigkeit nicht nur einmal, sondern sehr oft widerlegen, und wenn man es schafft, das auszusitzen, dann wird im günstigsten Fall die eigene Argumentation zur Urban Legend, zu etwas was geglaubt wird weil es allgegenwärtig ist.

Solche Urban Legends können sich über Jahrzehnte halten und den Status von allgemein bekannten Wahrheiten annehmen, wenn sie ein verbreitetes Wunschdenken unterstützen. Es ist noch gar nicht so lange her daß man Frauen hierzulande den Zugang zu Bildungseinrichtungen verweigert hat mit der Überzeugung, daß sie zu höherer Bildung ihrer Natur nach weniger befähigt seien als Männer. Ein großer Teil der Bevölkerung, einschließlich vieler Frauen, hielt diese Ansicht für selbstverständlich. Wir haben diesen Irrglauben inzwischen mehrheitlich überwunden, aber es gibt Länder und Kulturen die das noch vor sich haben.

Solche verbreiteten Irrtümer, die in der Art von Urban Legends weiter getragen werden, gibt's im Bereich Hifi jede Menge, und wenn man es schafft sie sich zunutze zu machen errichtet man für seine Kritiker fast unüberwindliche Hürden, denn man kann es so aussehen lassen als argumentierten sie gegen das Selbstverständliche -- und so etwas tut nur jemand der nicht ganz bei Trost ist.

Aus einer Sachfrage kann man so eine Frage von Mehrheiten machen. Recht hat nicht derjenige der die besseren Argumente hat, sondern recht hat die Masse.

Damit verwandt ist die siebte Methode: Setze auf das kurze Gedächtnis und die Faulheit der Leser.

Man sollte daher nicht vor Versuchen der Geschichtsfälschung zurückschrecken. Man kann problemlos so tun als hätte man das was man gerade sagt schon immer so gesagt, auch wenn man seine Aussage in Wirklichkeit um 180 Grad gedreht hat. Wenn man das nicht allzu offensichtlich macht, dann kommt man damit durch, weil kaum jemand die Energie besitzen wird, die tatsächlichen Vorgänge nachzuzeichnen.

Die letzte Methode, die ich hier vorstellen will, hängt mit dem Eindruck der Glaubwürdigkeit zusammen, der wichtig ist um sich die Loyalität zu bewahren. Diese Glaubwürdigkeit kann man dadurch befördern, indem man sich als jemand präsentiert, der abgewogene Urteile trifft, als jemand der sich über das Sowohl-Als-Auch bewußt ist, sich von Extremen fern hält. Dabei können die tatsächlichen Aussagen durchaus geradezu schwachsinnig oder verrückt sein, es kommt nicht auf den Inhalt, sondern auf den Eindruck an.

Wer sich mit der Beurteilung des Inhaltes schwer tut, der wird sich zwangsläufig an diesen allgemeinen Eindruck halten, und die entsprechenden Binsenweisheiten in Anschlag bringen und sie als gutes Zeichen werten. Daß die Wahrheit immer in der Mitte liegt, daß es einen Unterschied zwischen Theorie und Praxis gibt, daß alle Messungen mit Meßfehlern zu kämpfen haben, daß alles nicht so einfach ist, daß der Teufel in den Details ist, daß letztlich das Gehörte entscheidet, undsoweiterundsofort. Nullaussagen von athmosphärischem Wert.

Letzte Methode: Tarne den Irrsinn in einer vernünftig aussehenden Verpackung.

Die Großmutter sieht vertrauenserweckender aus als der Wolf, und es gibt genügend Leser, die naïver sind als Rotkäppchen. Denen der Anschein einer Großmutter lieber ist als jeder beunruhigende Verdacht auf einen Wolf, und die sich darum nicht fragen warum die Großmutter so große Ohren hat.