Wissenschaftliche Datenanalyse: Die Welt ist nicht schwarz-weiß

Anzeige

Wie die Datenanalyse wissenschaftliche Schlussfolgerungen beeinflusst

Was passiert, wenn 70 Forscherteams unabhängig voneinander denselben Datensatz analysieren, um dieselben Hypothesen zu testen? Nahezu 200 Wissenschaftlerinnen und Wissenschaftler aus aller Welt haben untersucht, wie die Art der Datenanalyse das Endresultat beeinflusst. Die Ergebnisse der Studie wurden heute in der renommierten Fachzeitschrift Nature veröffentlicht.

 

Durch die Corona-Pandemie hat in den letzten Monaten ein großer Teil der Bevölkerung den wissenschaftlichen Erkenntnisprozess in Echtzeit mitverfolgen können. Anders als nur das Endergebnis einer Forschungsarbeit zu sehen, kann derzeit die breite Öffentlichkeit Schritt für Schritt miterleben, wie neue Daten analysiert werden, wie Ergebnisse revidiert und neu eingeschätzt werden. Das hat unter anderem zur Folge, dass verschiedene Experten unterschiedliche Prognosen liefern, über die Ausbreitung des Virus, den Verlauf der Krankheit, Auswirkungen auf die Wirtschaft – und damit auch voneinander abweichende und zum Teil sogar einander widersprechende Empfehlungen, wie man der Gefahr am besten begegnet.

»Der wissenschaftliche Prozess umfasst viele Schritte: Eine Theorie wird entwickelt, Hypothesen erstellt, schließlich Daten gesammelt und ausgewertet«, erklärt Prof. Simon Eickhoff vom Jülicher Institut für Neurowissenschaften und Medizin. »Jeder dieser Schritte kann die endgültigen Schlussfolgerungen potenziell beeinflussen, aber in welchem Umfang? Werden zum Beispiel verschiedene Forscher auf der Grundlage derselben Daten und Hypothesen zu unterschiedlichen Schlussfolgerungen kommen?«

Nahezu 200 Forschende aus Neurowissenschaften, Psychologie, Statistik und Wirtschaft haben sich zusammengeschlossen, um Antworten auf diese Fragen zu finden. In einer großangelegten Studie haben sie untersucht, wie sich die Art der Datenanalyse auf die Ergebnisse auswirkt. Verwendet wurden Daten der bildgebenden Hirnforschung, speziell der funktionellen Magnetresonanztomographie (fMRI).

Prof. Simon Eickhoff
Quelle: Forschungszentrum Jülich / Sascha Kreklau

 

Die komplexen fMRI-Datensätze stammten von 108 Teilnehmern einer Studie zur finanziellen Entscheidungsfindung der Universität Tel Aviv. Die Datensätze wurden an 70 Analyseteams aus der ganzen Welt verteilt, darunter drei Teams aus Simon Eickhoffs Institut. Jedes Team analysierte unabhängig dieselben Daten: Dabei verwendeten sie jeweils ihre Standard-Analysemethoden, um neun vordefinierte Hypothesen zu testen. »Bei jeder dieser Hypothesen wurde gefragt, wie sich bestimmte Aspekte der Entscheidungsfindung auf die Hirnaktivität auswirken«, erläutert Eickhoff. »Beispielsweise: Ändert sich die Aktivität in einer bestimmten Gehirnregion der Probanden, wenn es darum geht, wieviel Geld sie bei einer Entscheidung gewinnen oder verlieren könnten? Ja oder Nein?«

Die Analyseteams hatten drei Monate Zeit, um die Daten auszuwerten. Danach lieferten sie ihre Ja-Nein-Resultate für die verschiedenen Hypothesen – zusammen mit detaillierten Informationen über die genaue Art und Weise, wie sie die Datensätze Schritt für Schritt analysiert haben, inklusive ihrer Zwischenergebnisse.

Die Ergebnisse der Analysegruppen variierten erheblich. Bei über der Hälfte der neun Hypothesen gab es erhebliche Meinungsverschiedenheiten: Zum Teil gelangten bis zu 40 Prozent der Teams zu einem abweichenden Resultat. »Die Zwischenergebnisse waren zum Teil sehr ähnlich«, erklärt Eickhoff. »Spätere Analyseschritte führen dann jedoch zum Teil zu einer unterschiedlichen Gewichtung. Da die Endresultate die Breite der Daten auf eine einfache Ja-Nein-Antwort reduzierten, hatte das zur Folge, dass selbst sehr ähnliche Zwischenergebnisse zu anderen Endresultaten führten.« Eine Metaanalyse, bei der Zwischenergebnisse von verschiedenen Teams kombiniert und gemeinsam ausgewertet wurden, führte wiederum zu ähnlichen Resultaten.

 

Nicht nur für die Neurowissenschaften interessant

Die Studie belegt zum ersten Mal, dass die Art der Analyse komplexer Neuroimaging-Datensätze einen starken Einfluss auf das Ergebnis haben kann – trotz identischer Ausgangsdaten und festgelegter Fragestellungen. »Der Grund dafür ist, dass Forscher bei so komplexen Datensätzen auf dem Weg zum Ergebnis viele einzelne Entscheidungen treffen müssen, wie die vorliegenden Daten verarbeitet, geordnet, modelliert, analysiert werden«, so Eickhoff. »Dass Metaanalysen zu konvergenteren Ergebnissen führen, ist besonders interessant. Die gemeinsame Analyse von Zwischenergebnissen einzelner Forschergruppen könnte in Zukunft die Hirnforschung voranbringen.«

Tatsächlich ist die Studie nicht nur für die Neurowissenschaften interessant. »Dieses spezielle Problem der Analyse betrifft alle Bereiche, in denen mit hochkomplexen Daten gearbeitet wird, die am Ende auf ein nacktes Ja-Nein-Resultat reduziert werden müssen«, erklärt Eickhoff. »Die in der Studie aufgezeigte Variabilität der Ergebnisse ist ein inhärenter Bestandteil des komplexen Prozesses wissenschaftlicher Arbeit. In einer immer stärker datenbasierten und spezialisierten Wissenschaft sind daher Kooperation und Transparenz essenziell.«

Die Tatsache, dass fast 200 Experten bereit waren, zum Teil Hunderte Stunden in eine kritische Selbstbewertung zu investieren, zeigt, wie stark die Wissenschaftler in diesem Bereich engagiert sind. »Wie die Covid-19-Pandemie derzeit deutlich macht, gibt es keinen Ersatz für die selbstkorrigierende wissenschaftliche Methode, um der globalen menschlichen Gesellschaft die Bewältigung der vor uns liegenden Herausforderungen zu ermöglichen – selbst unter Berücksichtigung der Unsicherheit, die dem wissenschaftlichen Prozess eigen ist.«

Sowohl Daten als auch verwendete Computercodes der Studie sind offen zugänglich. Alle Analysen sind komplett reproduzierbar.

Originalpaper: »Variability in the analysis of a single neuroimaging dataset by many teams«, Nature, 20 May 2020, DOI: 10.1038/s41586-020-2314-9.

Weitere Informationen:

»Neuroimaging Analysis, Replication and Prediction Study« (NARPS)

Institut für Neurowissenschaften und Medizin, Gehirn und Verhalten (INM-7)

 

 

3125 Artikel zu „Daten Analyse“

Datenanonymisierung: Mobilitätsanalysen im Kampf gegen Corona

Auf Basis anonymisierter und aggregierter Mobilfunkdaten, die keinerlei Rückschlüsse auf konkrete Personen zulassen, liefert Telefónica Deutschland gemeinsam mit Partnern wertvolle Mobilitätsanalysen.   In der aktuellen Ausnahmesituation wegen Corona hat die Diskussion um Mobilitätsanalysen auf Basis von Mobilfunkdaten wieder Fahrt aufgenommen. Es geht um die Frage, ob und wie diese Analysen beim Eindämmen des Coronavirus helfen…

Herkömmliche Daten- und Analysestrategien können die Anforderungen des Digital Business nicht erfüllen

  Laut dem Research- und Beratungsunternehmen Gartner erwähnen heute weniger als 50 Prozent der dokumentierten Unternehmensstrategien Daten und Analysen als Schlüsselkomponenten, um Unternehmenswerte zu schaffen. Denn traditionelle Daten- und Analysestrategien erkennen die Anforderungen des Digital Business oft nicht. Moderne Daten und Analysen dienen einem breiteren Unternehmenszweck und sind stärker als je zuvor an die Arbeitsweisen…

Früherkennung dank Datenanalyse: Mehrheit ist aufgeschlossen

Sechs von zehn Deutschen würden Vitalparameter zur Früherkennung von Krankheiten analysieren lassen. Jüngere am aufgeschlossensten. Früherkennung dank Digitalisierung: Intelligente Datenanalysen und maschinelles Lernen sollen in der Medizin schon bald helfen, Krankheiten schnell zu diagnostizieren und besser therapieren zu können. Auch die frühzeitige Erkennung von Gesundheitsrisiken wie etwaigen Stürzen in der Wohnung kann dadurch ermöglicht werden.…

Start-ups: Ohne KI und Datenanalyse kein wirtschaftlicher Erfolg

Gründer sehen herausragende Bedeutung der Technologietrends für die deutsche Wirtschaft. 4 von 10 deutschen Start-ups setzen bereits künstliche Intelligenz ein. Die Start-ups sind sich einig: Ohne künstliche Intelligenz und Datenanalysen ist der wirtschaftliche Erfolg deutscher Unternehmen bedroht. Jeweils 96 Prozent der deutschen Start-ups geben an, dass sowohl künstliche Intelligenz als auch Big Data eine große…

Mit Datenanalysen die Fußball-WM gewinnen: Warum Deutschland doch im Endspiel steht

Ob Orakel aus der Tierwelt oder Big-Data-Analysen: Vor großen Fußballturnieren gibt es interessante Ansätze, um einen möglichen Gewinner vorherzusagen, wenngleich die datenbasierten Methoden bislang immer bessere Ergebnisse lieferten. Im Fußball werden aber auch Training und Taktik immer stärker von Datenanalysen geprägt. Unternehmen sollten sich die innovativen Methoden aus der Sportwelt genauer ansehen, da hier das…

Mit kognitiver Suche und Analyse vom daten- zum informationsgetriebenen Unternehmen

Die Datenmengen, die sich in Unternehmen anhäufen, werden immer größer und unübersichtlicher. Umso mehr kommt es deshalb auf die Methoden an, mit denen aus den Daten umsetzungsfähige Erkenntnisse und Antworten gezogen werden. Der Prozess hin zu einer effektiven Informationsarbeit indes ist noch alles andere als optimal.

Herausforderung Datenanalyse: Unternehmen in Deutschland laut Studie noch nicht IoT-bereit

Die Zahlen lassen kaum Zweifel: Mit 30 Prozent nutzt bereits ein knappes Drittel der Unternehmen in Deutschland IoT-Daten, 54 Prozent wollen dies innerhalb der nächsten drei Jahre tun. Fast drei Viertel (72 Prozent) planen, ihre IoT-relevanten Ausgaben zu erhöhen. Aktuell befinden sich 70 Prozent der Betriebe eher in einer Frühphase der IoT-Transformation, wobei größere Unternehmen…

Verstärkter Einsatz von Cloud Solutions, IoT und Datenanalyse – das sind die Trends im Identitäts-Management für 2018

  Was sind die wichtigsten Trends im Jahr 2018 im Bereich Identity-Technologie? Es geht um den verstärkten Einsatz von Zugriffen via Cloud und mobilen Systemen. Auch das Internet der Dinge und Datenanalysen gewinnen an Bedeutung. Digitale Zertifikate werden zu einer Kernkomponente für ein vertrauenswürdiges IoT. Das Konzept des Physical Identity & Access Management (PIAM) stellt…

Drohnen als Datenquelle für Big-Data-Analysen

»Drohne« ist eine etwas unglückliche und ungeschickte Bezeichnung für ein unbemanntes Flugobjekt oder Unmanned Aerial Vehicle – kurz UAV – zumindest unter Kenntnis der biologischen Zusammenhänge bei staatenbildenden Insektenvölkern. Dort haben Drohnen eine ganz andere Funktion als UAVs. Doch wie so oft hat sich der Begriff etabliert und wir müssen damit leben. Seit einigen Jahren…

Tiefenanalyse der digitalen DNA: datengetriebene Agilität als Erfolgsfaktor

Eine neue Studie [1] will gleichsam das digitale Gen identifiziert haben, das digital exzellente Unternehmen und öffentliche Verwaltungen erfolgreicher macht als traditionell operierende Organisationen: datengetriebene Agilität. Mit diesem Begriff umschreiben die Studienautoren die Fähigkeit, auf volatile Rahmenbedingungen hochflexibel zu reagieren und zugleich kundenindividuelle Dienstleistungen quasi in Echtzeit zu erbringen. Und zwar auf der Grundlage eines…

Verknüpfung von BI und Big Data hebt Datenanalysen auf neues Niveau

Business-Intelligence-Systeme sind in vielen Unternehmen produktiv im Einsatz. Zusätzliche Auswertungsmöglichkeiten bieten Big-Data-Anwendungen. Der kombinierte Einsatz in Unternehmen ist noch die Ausnahme, das ungenutzte Potenzial aber immens, meint der IT-Dienstleister Consol Software GmbH. Mit Business-Intelligence (BI)-Lösungen, die eine systematische Auswertung von Daten unterstützen, können Unternehmen wichtige Erkenntnisse für die Optimierung ihrer Geschäftsprozesse gewinnen. Die Datenanalysen helfen…

Industrie 4.0: Die Fertigungsindustrie ist führend bei Datenanalyse

Nur wenige Wirtschaftszweige, wie die verarbeitende Industrie, nutzen ihre Informationen zum Geschäftsvorteil. Die Fertigungsindustrie ist eine der wenigen Branchen, die zeigt, dass es messbare geschäftliche Vorteile gibt, wenn Mitarbeitern Zugriff auf wertvolle Geschäftsinformationen gewährt wird, so dass sie diese gewinnbringend nutzen können. Zu diesem Ergebnis kommt eine Studie [1] die unter europäischen und nordamerikanischen Unternehmen…

Wettbewerbsvorteile durch Big Data: Datenanalyse-Trends 2016

Informationen werden immer mehr die Währung der heutigen Geschäftswelt. Ohne gezielte Analysen sind die vielen Terabyte an Daten, die von Webseiten, Applikationen, Servern, Netzwerken und mobilen Endgeräten generiert werden, jedoch wertlos. Der Datenanalysemarkt entwickelt deshalb ständig neue Techniken für die Auswertung und Visualisierung von »Big Data«. Auch 2016 wird sich in diesem Bereich wieder viel…

Datenanalyse-Fähigkeiten bewerten: Deutsche Unternehmen sind in der Datenanalyse nur Durchschnitt

Ein neuer Vergleichsindex, der Informationswert-Index [1], mit dessen Hilfe Unternehmen bewerten können, wie gut sie ihre Informationen gewinnbringend einsetzen ist eine Fortschreibung des seit 2012 jährlich präsentierten Index zum Informationsrisiko, bei dem es um den Schutz von Informationen ging. Bei der diesjährigen Befragung zum Informationswert-Index wurden 1.800 Manager aus Europa und Nordamerika konsultiert. Deutsche Unternehmen…

Internetnutzer betrachten Datenschutz in einer Kosten-Nutzen-Analyse

Umfrage: Benutzerfreundlichkeit darf nicht unter überzogenen Datenschutzregeln leiden. Digitalwirtschaft fordert Nachbesserungen bei der EU-Datenschutzverordnung. Zwei Drittel (67 Prozent) der Internetnutzer in Deutschland verzichten bewusst auf bestimmte Online-Dienste, wenn sie dort persönliche Daten wie Name, E-Mail-Adresse oder Geburtsdatum angeben müssen. Grund ist die Sorge, dass ihre Daten missbraucht werden könnten. 87 Prozent derjenigen, die zum Beispiel…