Wer an das Bild oben ein Lineal anlegt, findet jede Linie gerade. Trotzdem sieht jeder eine Schieflage. Sie entsteht nicht in einer einzelnen Kachel, sondern aus der Anordnung. Eine größere Wand mit mehr Kacheln macht die Linien nicht gerader, und wer die Täuschung kennt, sieht sie trotzdem.
So verhält sich ein systematischer Fehler, in der Forschung Bias genannt. Anders als der Zufall gleicht er sich mit mehr Daten nicht aus. Er steckt in der Anlage einer Untersuchung, und jede einzelne Messung darin kann richtig sein.
Dazu kommt eine Sprache, die weit weg von Sprechzimmer und Alltag ist. Eine Studie fragt nicht: Hilft das? Sie fragt: Ist der Unterschied zwischen den Gruppen so groß, dass Zufall als Erklärung sehr unwahrscheinlich wird? Die Behandlung tritt dabei gegen das Los an, und sie gilt als wirksam, wenn der Zufall rechnerisch verliert.
Das Ergebnis wird als Schätzung mit einem Bereich angegeben, in dem der wahre Wert vermutlich liegt, und oft in doppelter Verneinung formuliert: „nicht signifikant, von null verschieden“. Solche Sätze muss man im Kopf erst zurückübersetzen. Dabei geht leicht verloren, dass „nicht nachgewiesen“ etwas anderes bedeutet als „wirkt nicht“.
Für Behandlungen, die sich nach dem einzelnen Menschen richten, stellt sich diese Frage besonders scharf.
Die übliche klinische Studie ist für eine andere Fragestellung konstruiert: Geprüft wird ein Medikament, eine Diagnose oder ein Messwert zu einem festgelegten Zeitpunkt; anschließend werden zwei Gruppen im Durchschnitt miteinander verglichen. Für einen Blutdrucksenker funktioniert dieses Vorgehen sehr gut. Eine Behandlung, die auf den einzelnen Menschen antwortet, passt in diese Anordnung an mehreren Stellen jedoch nicht ohne Weiteres hinein:
- Die Gruppe wird nach der Diagnose gebildet, behandelt wird nach der Reaktionsweise. Drei Kinder mit Mittelohrentzündung sind vielleicht einmal hochfiebrig und unruhig, einmal blass und anhänglich, einmal matt und teilnahmslos. Sie haben dieselbe Diagnose und benötigen drei verschiedene Behandlungen, stehen in der Studie aber in einer Gruppe.
- Ob die Behandlung im einzelnen Fall passend gewählt war, wird nicht erfasst. Gut und schlecht getroffene Entscheidungen stehen nebeneinander und werden gemeinsam gemittelt.
- Die Behandlung ändert sich mit dem Verlauf. Gerade diese Änderungen enthalten die Auskunft darüber, was geschehen ist. Ausgewertet wird aber nur, zu welcher Gruppe jemand gehörte und ob er das vorher festgelegte Ziel erreicht hat, den sogenannten Endpunkt, etwa einen veränderten Messwert oder ein deutlich abweichendes Ergebnis in einem Fragebogen gegenüber den gesetzten Ausgangswerten.
- Menschen reagieren zu verschiedenen Zeiten. Bessert sich der eine nach zwei Wochen und der andere nach acht, zeigt ein Messzeitpunkt nach vier Wochen von beiden nur einen nicht repräsentativen Teil.
- Der Behandelnde ist Teil der Behandlung. Ein ausführliches Erstgespräch ist Untersuchung und Einwirkung zugleich. Es lässt sich weder verbergen noch aus dem Ergebnis herausrechnen.
- Die Unterschiede zwischen Kranken sind oft größer als der Unterschied, den die Studie sucht. Bei kleinen Gruppen gleicht das Los solche Unterschiede nicht zuverlässig aus.
Alle diese Punkte können dann das das Ergebnis in dieselbe Richtung verschieben: hin zum Ergebnis „kein Unterschied zwischen den Vergleichsgruppen". Das liegt nicht daran, dass jemand schlecht gearbeitet hätte. Die Anordnung verdünnt dann das, was sie sucht. Wenn z.B. fünf von zwanzig Kranken deutlich profitieren und fünfzehn nicht, ergibt der Durchschnitt nur eine „geringe Besserung“, und in der Studie steht dann „nicht signifikant". Gelesen wird das meist als „wirkt nicht". Es kann aber auch bedeuten, dass die Behandlung wenigen deutlich hilft und der Mittelwert das nicht zeigt, oder dass die Studie die Wirkung gar nicht erfassen konnte, etwa weil zum falschen Zeitpunkt gemessen wurde oder weil nicht gemessen wurde, was sich tatsächlich verändert hat.
Das ist kein Sonderproblem einer Heilweise. Es betrifft viele Bereiche, darunter auch
Physiotherapie, Psychotherapie und die hausärztliche Sprechstunde ebenso - also
überall, wo auf den einzelnen Menschen individuell geantwortet wird. Solche Behandlungen lassen sich prüfen, aber nur mit einer Anlage, die zu ihnen passt.
Wie eine solche Anlage aussehen kann und welche Fragen man einer Studie stellen sollte, bevor man ihr Ergebnis liest, gerade wenn es um Homöopathie geht, soll hier diskutiert werden. Wir laden ein, mitzudenken und zu widersprechen.