Kann man Studien fälschen?
Es werden gefühlt täglich unzählige neue Studien veröffentlicht, die neue Erkenntnisse liefern. Gerade im Gesundheits- und Ernährungsbereich liest man häufig, dass verschiedene Nahrungsmittel positive Auswirkungen auf die Gesundheit haben. Aber darf man diesen Studien überhaupt trauen? Grundsätzlich läuft eine Studie nach dem gleichen Muster ab. Zur Verbildlichung nehmen wir ein fiktives Beispiel aus dem Bereich Ernährung. Professor X hat die Vermutung, dass die regelmäige Einnahme von Curcuma positive Effekte auf die Gedächtnisleistung hat. Also sucht er sich eine Studiengruppe, die er zufällig in zwei etwas gleich große Gruppen aufteilt. Eine Gruppe muss nun täglich eine Kapsel mut Curcuma-Extrakt einnehmen, die andere Gruppe dient als Kontrollgruppe und bekommt ein Placebopräparat. Keiner der Studienteilnehmer weiß, ob er das tatsächliche Präparakt, oder nur den Placebo einnimmt. Bevor die Studie startet, muss die aktuelle Gedächtnisleistung jedes Teilnehmers aufgenommen und dokumentiert werden. Nach einer gewissen Zeit, wir nehmen hier als Beispiel mal 3 Monate, wird die Gedächtnisleistung aller Teilnehmer erneut dokumentiert. Wenn sich hier nun signifikante Unterschiede aufweisen lassen, lässt das den Schluss zu, dass die tägliche Einnahme von Curcuma-Kapseln positive Auswirkungen auf das Gedächtnis hat.
Wenn der Studienleiter schummelt
Doch was ist, wenn der Studienleiter sich in die Studie über seine Rolle als neutraler Leiter herausbegibt und sich aktiv einmischt? Vermutlich kennt jeder die Redewendung “Traue keiner Studie die du nicht selbst gefälscht hast”, aber wie ist das eigentlich möglich? Wir greifen dafür wieder auf unser Beispiel mit den Curcuma-Kapseln zurück. Was wäre, wenn der Studienleiter seine Studie von einem Unternehmen finanziert bekommt, das verschiedene Nahrungsergänzungsmittel produziert? Und er bereits seit Jahrenfür diese Unternehmen Studien durchführt und publiziert. Würde das Unternehmen den Studienleiter auch immer wieder beauftragen, wenn seine Studien häufig keine positiven Auswirkungen der Nahrungsergänzungsmittel belegen können? Vermutlicht nicht. Also hat der Studienleiter einen gewissen Druck, dass die Studie ein positives Ergebnis liefert. Schließlich hängt davon seine zukünftige Auftragslage ab.
Wie Studien verfälscht werden können
Welche Möglichkeiten hat also der Studienleiter, um die Ergebnisse seiner Studie zu beinflussen? Fangen wir doch direkt bei den Probanden an. Was wäre, wenn er die Teilnehmer gar nicht zufällig in die Gruppen aufteilt, sondern nach ihrem Ergebnissen im Ausgangstest. Jemand der an dem Tag des ersten Testes aufgrund Schlafmangels übermüdet erscheint, wird vermutlich bei dem 2. Test ein besseres Ergebnis erzielen, wenn er an diesem Tag mehr geschlafen hat. Es gibt viele weitere Faktoren, die unsere Konzentration senken können, auch äußere Einflüsse, wie zum Beispiel ein hoher Lärmpegel. Man muss nur mal ein wenig drüber nachdenken und es fallen einem unzählige Möglichkeiten ein. Eine weitere Möglichkeit zur Einteilung der Probanden ist in unserem Beispiel das Alter der Teilnehmer. Während sich bei älteren Teilnehmer die Gedächtnisleistung vermutlich nicht sonderlich verbessern wird, ist die Wahrscheinlichkeit bei jüngeren Menschen wohl höher. Also würde man die älteren Teilnehmer eher in die Kontrollgruppe stecken. Machen wir mit dem Test an sich weiter. Was wäre, wenn der Test aus unterschiedlichen Teilen besteht, die auf die Studienteilnehmer aufgeteilt werden, die Teile jedoch verschieden Anspruchsvoll sind. Einer der Teile besteht beispielsweise aus der Aufgabe, sich 10 Wörter zu merken. Ein anderer Test dagegen daraus sich 30 Bilder zu merken. Gibt man nun den älteren Teilnehmern für den ersten Teil die Aufgabe mit den Wörtern und bei dem 2. Test nach 3 Monaten die Aufgabe mit den Bildern, werden sie wohl kaum besser abschneiden. Umgekehrt werden die Teilnehmer die zuerst die Aufgabe mit den Bildern gestellt bekommen haben, bei dem Wörter-Test besser abschneiden.
Das publizieren unseriöser Studien
Nun könnte man vermuten, dass solche unseriös durchgeführten Studien ja niemals veröffentlicht werden. Schließlich müssen Studien erst durch Kollegen überprüft werden, bevor Fachjournale die Studie abdrucken. Doch dafür muss man sich den grundsätzlichen Ablauf eine Studienpublikation etwas genauer anschauen. Der Autor einer Studie reicht seine Studie bei dem Verlag ein. Dieser verlangt dafür eine Gebühr von dem Autor, in der Regel handelt es sich hierbei um einen 4-Stelligen Betrag, jedoch variiert diese je nach Themengebiet und Zeitschrift. Der Verlag lässt nun die Studie von mehreren anderen Experten des Themengebietes prüfen. Dadurch soll sichergestellt werden, dass der Ablauf der Studie seriös und reproduzierbar war. Erst wenn diese Personen ihr “OK” gegeben haben, wird die Studie gedruckt und der Verlag kann die Gebühr von dem Auto verlangen. Handelt ein Verlag primär aus finanziellem Interesse, möchte er natürlich so viele Studien wie möglich veröffentlichen. Da der Verlag die eigentlich unabhängigen Experten bezahlt, kann der Verdacht aufkommen, dass diese im Hinblick auf zukünftige Aufträge auch mal ein Auge zudrücken. Oder vielleicht die Studie gar nicht so genau prüfen, da sie vom Verlag ein Datum gesetzt bekommen, an dem sie ihre Einschätzung abliefern müssen. Wir möchten an dieser Stelle natürlich nicht alle Verlage über einen Haufen werfen, sondern lediglich auch mögliche Schwachstellen im System hinweisen.
Die Darstellung der
Studienergebnisse in den Medien
Man könnte das Thema zur Ergebnisbeeinflussung noch weiter spannen, aber ich denke, dass klar ist worauf wir hinaus wollen, auch wenn die Beispiele natürlich teilweise ein wenig übertrieben sind. Aber oftmals reicht bereits eine geringe Beeinflussung um die Ergebnisse in die gewünschte Richtung zu lenken. Denn wie die Studienergebnisse in den Medien dargestellt werden, ist häufig noch mal ein Thema für sich. Erst mal ein grundsätzliches Problem zur Nachrichtenveröffentlichung in der heutigen Zeit: Durch das Internet ist es für die großen Medienhäuser wichtig viele Leser auf ihre Webseiten zu bekommen. Denn viele Besucher bedeuten höhere Werbeeinnahmen. Das lässt sich unter anderem bewerkstelligen, wenn man einer der ersten ist, der Nachrichten veröffentlicht (Es spielen natürlich noch viele weitere Faktoren hinein). Somit kommt es schon mal vor, dass Nachrichten ungeprüft veröffentlicht werden.Auch ist teilweise das journalistische Personal fachlich gar nicht ausgebildet genug, um Fehler im Studienablauf festzustellen. Nehmen wir noch ein letztes Mal unser Beispiel. Nehmen wir an, dass unser fiktiver Studienleiter in seinen Ergebnissen festgestellt hat, dass die Einnahme von Curcuma-Kapseln die Gedächtnisleistung um 0,01% verbessert. Klingt nicht so viel oder? Aber es kann durchaus ausreichend sein, damit ein kleines Medienunternehmen die Meldung “Curcuma verbessert das Gedächtnis” veröffentlicht. Und die größeren übernehmen diese Nachricht gegebenenfalls ungeprüft weiter.
Fazit
Wir wollen mit diesem Beitrag keine Angst vor dem Wahrheitsgehalt von Studien erzeugen, lediglich ein wenig zu sensibilisieren. Bei Studienergebnissen die einen Interessieren einfach mal einen Blick in den Abstract werfen, teilweise erkennt man hier schon erste Anzeichen zur Seriösität zur Studie (Z.B. anhand der Anzahl der Probanden). Und auch mal weiter zu recherchieren, wenn schon mehrere Studien zu dem Thema existieren, kann man sich ein besseres Bild machen. Außerdem möchten wir darauf hinweisen, dass Autoren von Studien häufig selbst nicht wissen, welche Verlage wirklich seriös sind, und welche nicht. Für weiterführende Informationen empfehlen wir die folgende Dokumentation von Quarks (WDR), die in einem Experiment versucht haben, eine unseriöse Studie zu publizieren.