Voreingenommenheit („Bias“) in der Wissenschaft

Ein interessanter Text behandelt Voreingenommenheit bzw. Vorurteil in der Wissenschaft

Let’s start with truth: The core mission of science, including social sciences, is to discover things that are actually true. Anything else is politics, morals, or personal preferences masquerading as science.

IF THE PAPER FINDS BIAS, CITE IT! OTHERWISE IGNORE IT!

Citation counts are one very common measure of how “important” a scholarly publication is. When others cite one’s work they are usually acknowledging its importance and drawing on its ideas.  More citations, more influence and importance.

Now consider the storybook image of the scientist as someone who strives for objectivity. If it were true, studies of comparable scientific quality will be similarly influential, even if they produce different outcomes, because they both have comparable claims to reveal something true. But this is not the case. Papers in my home discipline of social psychology that can be used to craft narratives advancing social justice are generally cited far more than papers of equal or even higher scientific quality that contest those narratives. Here are two concrete examples.

When a paper finds stereotype bias, it gets nearly 1,000 citations but when a failed replication of that same study gets published, it gets 30.

When a paper reporting a single study finds evidence of bias against women in STEM it gets 600 citations; when another paper reporting five studies finds gender bias favoring women, it gets 70 citations.

20 Gedanken zu “Voreingenommenheit („Bias“) in der Wissenschaft

  1. Im Geo stand mal eine Studie, dass in psychologischen Fächern nur iirc 40% aller Untersuchungen und Teste reproduzierbar waren, ein Drittel nicht und beim Rest kamen zwar ähnliche Ergebnisse wie bei der Originaluntersuchung vor, aber nicht mit der gleichen Signifikanz.
    Das wurde z.T. damit erklärt, dass der ursprüngliche „Versuchsaufbau“ nicht immer ganz eindeutig beschrieben wurde – was jetzt auch ein methodischer Fehler ist, aber das könnte man ja anders kompensieren – z.T. damit, dass Ergebnisse nicht kritisch genug hinterfragt werden, wenn sie der Erwartung der Wissenschaftlern entsprechen.
    Und außerdem werden psychologische Experimente auch nicht immer versucht, zu reproduzieren.

    Das mal ganz allgemein zu allen derartigen Untersuchungen.

  2. Im Geo stand mal eine Studie, dass in psychologischen Fächern nur iirc 40% aller Untersuchungen und Teste reproduzierbar waren, ein Drittel nicht und beim Rest kamen zwar ähnliche Ergebnisse wie bei der Originaluntersuchung vor, aber nicht mit der gleichen Signifikanz.
    Das wurde z.T. damit erklärt, dass der ursprüngliche „Versuchsaufbau“ nicht immer ganz eindeutig beschrieben wurde – was jetzt auch ein methodischer Fehler ist, aber das könnte man ja anders kompensieren – z.T. damit, dass Ergebnisse nicht kritisch genug hinterfragt werden, wenn sie der Erwartung der Wissenschaftlern entsprechen.
    Und außerdem werden psychologische Experimente auch nicht immer versucht, zu reproduzieren.

    Das mal ganz allgemein zu allen derartigen Untersuchungen.

  3. „When a paper finds stereotype bias, it gets nearly 1,000 citations but when a failed replication of that same study gets published, it gets 30.

    When a paper reporting a single study finds evidence of bias against women in STEM it gets 600 citations; when another paper reporting five studies finds gender bias favoring women, it gets 70 citations.“

    Die Tatsache, dass Studien zu einer bestimmten Frage zu völlig gegensätzlichen Ergebnissen kommen, ist bemerkenswert. Das so etwas überhaupt möglich ist (und noch dazu anscheinend durchaus häufig) wirft ein bezeichnendes Licht auf das wissenschaftliche Gebiet.

    • Das Studien zu verschiedenen Ergebnissen ist gar nicht mal so überraschend. Im gegensatz zu Naturwissenschaften kann ich in den Sozialwissenschaften einen Versuch nicht einfach beliebig wiederholen oder einzelne Effekte einfach isolieren. Das bedeutet der Zufall spielt zumindest eine gewisse Rolle bei den Ergebnissen. Um beim Beispiel mit der Diskriminierung zu bleiben, selbst wenn es absolut keine Diskriminierung geben würde sollte ein Teil der Studien Diskriminierung gegenüber Frauen zeigen, ein Teil der Studien Diskriminierung gegenüber Männern, aber ein großer Anteil der Studien keinerlei Diskriminierung. Einfach aufgrund des Faktors Zufall und auch dann wenn alle beteiligten Wissenschaftler sauber gearbeitet haben.

      Deswegen sollte man bei den Sozialwissenschaften eine einzelne Studie auch nur als einen weiteren Datenpunkt ansehen. Viele (sauber ausgeführte) Studien mit ähnlichen Ergebnissen -> Da scheint was dran zu sein. Viele Studien mit unterschiedlichen Ergebnissen -> Da scheint doch nicht so viel dran zu sein.

        • @ddbz

          Korrekt, die Lieblingsstudie der Genderisten ist gezinkt (nämlich nicht repräsentativ für den untersuchten Gegenstand von Anfang an) und meine Interpretation der Ergebnisse sind wenig schmeichelhaft für a. US-Wissenschaft und b. für 20 Jahre Feminismus.

          Subcomandante crumar
          (Organisation MGTOW)

      • Natürlich muss man Studien als einzelne Datenpunkte verstehen. Aber das Problem ist, dass man umso größer die Masse der Datenpunkte wird, umso weniger auf die Qualität der einzelnen Datenpunkte achten kann.

        „The Inevitable Evolution of Bad Science“

        What the model shows is that a world that rewards scientists for publications above all else—a world not unlike this one—naturally selects for weak science.
        This is not a new idea. In the 1970s, social scientist Donald Campbell wrote that any metric of quality can become corrupted if people start prioritizing the metric itself over the traits it supposedly reflects. “We realized that his argument works even if individuals aren’t trying to maximize their metrics,” says Smaldino. https://www.theatlantic.com/science/archive/2016/09/the-inevitable-evolution-of-bad-science/500609/

        Und wenn man dann auch noch bedenkt, was in der statistischen Auswertung ganz üblich und anerkannt alles an Kosmetik zur „Glättung“ der Daten betrieben wird, dann geht der Wert so einer Masse statt Klasse Datenbasis ziemlich schnell gegen 0. Jedenfalls solange niemand den selbstlernenden AI Superalgorithmus findet, in den man wahllos Daten stopfen kann und er spuckt trotzdem die Weltformel aus.

  4. Fehlschluss:
    „When a paper reporting a single study finds evidence of bias against women in STEM it gets 600 citations; when another paper reporting five studies finds gender bias favoring women, it gets 70 citations.“
    Wenn die Studie „favorating women“ offensichtlich Schwachsinn ist, wird sie natürlich WENIGER zitiert.

    • „When a paper reporting a single study finds evidence of bias against women in STEM it gets 600 citations;“
      Oder aber, das Ergebnis passt besser zum aktuellen Trend …vom Opfer

  5. Zitat: „Let’s start with truth: The core mission of science, including social sciences, is to discover things that are actually true.“

    Wirklich?
    Als ich mal eine zeitlang mit Naturwissenschaftlern über die Richtigkeit diverser Theorien diskutierte, wurde mir immer wieder gesagt, Wissenschaft würde gar nicht Wahrheit suchen, da absolute Wahrheit prinzipiell unerreichbar wäre. Wissenschaft würde nur Theorien aufstellen mit denen die Realität möglichst gut beschrieben werden solle.
    Nur die letztgültige Theorie würde der Wahrheit entsprechen. Man weiss aber nie, ob die letztgültige Theorie schon erreicht wurde.

    • @peter

      ich denke es geht eher darum, dass man nichts als wahrheit akzeptieren soll ohne es weiter zu hinterfragen, Modelle zu verbessern und weiterzuentwickeln. Das ist auch sinnvoll, denn alles andere ist ja im endeffekt Glaube. Natürlich ist ein übertriebener Skeptizismus ebenso schädlich, der eine gut belegte Theorie auf die gleiche Stufe mit einer nicht belegten Theorie stellt.

      • Bei der sogenannten „Gender-Wissenschaft“ lässt sich ein bemerkenswertes Phänomen beobachten. Die a-priori-Annahmen werden im Verlauf der Untersuchungen immer bestätigt und müssen nie korrigiert werden, was auf ein Geheimwissen der Frauen hindeutet!

    • @Peter

      „Absolute Wahrheit“ wäre ein philosophischer Begriff, ebenso wie „Totalität“ – du kannst auch nicht „Totalität“ denken, ebenso wenig in einem x-dimensionalen Raum, aber du kannst in ihm rechnen.

      Letztlich läuft jedoch der Versuch einer besseren, weil *der Wirklichkeit adäquateren* Beschreibung auf eine *Annäherung* hinaus.
      D.h. wenn ich mich von einem fixierten und nicht zu erreichenden Endzustand löse, dann ist *der Prozess selbst* die Suche nach dieser Annäherung an die Wirklichkeit.

      In diesem Prozess kann aber unterschieden und entschieden werden zwischen *wahren* und *unwahren* Aussagen über die Wirklichkeit. Diese Unterscheidung einzuebnen ist das Ziel des epistemischen Relativismus, in dem alle Aussagen gleichermaßen ihre Berechtigung haben, ohne über diese letztlich zu entscheiden.
      Bzw. solche Aussagen sind *nicht zulässig*, die den epistemischen Relativismus daher ablehnen, weil es sich in der Regel um weiße, alte, heterosexuelle Männer handelt.
      Das sind die Freuden des Anti-autoritären Autoritarismus! 😉

      Subcomandante crumar
      (Organisation MGTOW)

      • Jetzt also ein Semantik-Battle.

        Sorry, aber „Annähern“ ist nicht „Erreichen“.

        Manche Theorien sind weniger falsch als andere, aber falsch sind sie alle.

        • „Manche Theorien sind weniger falsch als andere, aber falsch sind sie alle.“

          Das kann man so nicht sagen.
          Das Gros der Theorien – auch in den (M)INT-Fächern – kann nicht bewiesen werden, dennoch kann die eine, unter ihnen allgemein akzeptierte, Theorie richtig sein.

          Meiner Ansicht nach ist eine Theorie dann akzeptabel, wenn sie schlüssig und – zumindest statistisch – in der Lage ist, mit ihren Voraussagen zu treffen.

          Ich beschäftige mich seit fast 30 Jahren mit der Wechselwirkung von Polymeren untereinander und mit Lösungsmitteln. Obwohl mit der Technik weltweit täglich in großem Umfang umgegangen wird, gibt es auch nach bald 60 Jahren nur rudimentäre Vorstellungen von den intrinsischen Prozessen und die meisten Publikationen, die ich bisher dazu gelesen habe, sind entweder falsch, oder bilden derart vereinfachte Modelle ab, dass sie eigentlich auch falsch sind.
          Dennoch werden sie von der Fachwissenschaft allgemein anerkannt.
          Darob war ich zuerst ziemlich verwundert, stellte dann aber (empört) fest, dass auch in den MINT-Fächern viel Wert drauf gelegt, zur In-Group zu gehören. Dafür opfert man dann auch schon mal die hochheiligen wissenschaftlichen Ansprüche.
          In der Praxis befinden wir uns deshalb immer noch im Stadium des Trial&Error.

          Woodoo ist also nicht nur Kennzeichen der Gender-„Wissenschaften“.

  6. Gerade bei soziologischen Studien (und leider auch haeufig bei medizinischen Studien) ist die Sample-Groesse oft mickrig klein und die Effekt-Groesse sehr oft auch nur ein paar Prozentchen. Bei Samples von einigen zig oder einigen hundert Leutchen kann man das Ergebnis eigentlich gleich in die Tonne werfen, allerhoechstens kann man bei sehr deutlichen Effekten das als Vorstudie verwenden. Eine ‚ordentliche‘ Studie mit einigen zehntausen Leuten ist halt meist sauteuer und derart viel Grantmoney kriegt nur ein allseits bekannter Prof an einer grossen Uni. Die post-Docs muessen auf sich aufmerksam machen, indem sie mickrige Effekte in Kleinstudien so populistisch wie geht aufblasen. Und selbst dann bekommen sie nur Geld fuer Grosstudien, wenn die Idioten (oft Politiker) die ueber das Grantmoney entscheiden mit dem erwarteten Studienergebnis d’accord sind. Die Metastudien, die nur Grosstudien in Betracht ziehen zeigen meist sehr klare Ergebnisse auf.

    • Das Problem ist, sind bei den Menschen in der Testgruppe egal, ob hundert oder tausend die Gemeinsamkeiten (bezogen auf den jeweiligen Test), die die Zusammenfassung zu einer Gruppe rechtfertigen größer oder oder überwiegen die individuellen Unterschiede bei der Reaktion auf den Versuch.

      Irgendwo zwischen den Extremen bewegen sich meist die Ergebnisse.

      Wissenschaftliche Methodik ist zwar ein hervorragender Weg die Welt zu erforschen, aber man sollte sich vor dem Irrtum hüten damit immer und überhaupt zum Ziel zu kommen.
      Die Regel ist doch das für jede (scheinbar) gelöste Frage mindestens eine neue Auftritt.

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.