Daten & Data Science
Viele Auswertungsergebnisse entstehen nicht erst im Modell, sondern bereits bei Filterung, Bereinigung und Transformation der Rohdaten. Werden fehlende Werte ersetzt, Ausreißer entfernt oder Kategorien zusammengefasst, verändert sich die Untersuchungsgrundlage. Diese Schritte müssen deshalb technisch reproduzierbar und fachlich begründet sein.
Kurzantwort
Die Prüfung beginnt beim Rohdatenstand und rekonstruiert jeden Verarbeitungsschritt bis zum Analysedatensatz. Fehlende Werte und Ausreißer werden nicht automatisch gelöscht. Stattdessen werden Erkennungsregel, Entscheidung, betroffene Datensätze und Sensitivität des Ergebnisses dokumentiert.
Vom Untersuchungsstand zur nachvollziehbaren technischen Schlussfolgerung
1. Rohdaten und Analysedatensatz getrennt versionieren
Eine reproduzierbare Datenprüfung benötigt einen unveränderten Referenzstand. Daraus wird der Analysedatensatz durch dokumentierte Transformationen erzeugt, statt Rohdaten stillschweigend zu überschreiben.
Hashwerte, Dateiversionen oder Datenbank-Snapshots können den Ausgangsstand referenzieren. Zusätzlich sollte ein Schema dokumentieren, welche Felder, Datentypen und Einheiten erwartet werden.
2. Fehlende Werte nach Ursache und Bedeutung unterscheiden
Ein leerer Wert kann „nicht erhoben“, „nicht anwendbar“, „technischer Fehler“ oder einen fachlich definierten Zustand bedeuten. Eine pauschale Imputation kann diese Unterschiede verdecken.
Die Prüfung erfasst Missingness-Muster und die verwendeten Ersatz- oder Ausschlussregeln. Entscheidend ist, wie viele Beobachtungen betroffen sind und ob bestimmte Gruppen systematisch häufiger fehlen.
3. Ausreißer zunächst markieren statt automatisch entfernen
NIST weist darauf hin, dass Ausreißer sowohl fehlerhafte Daten als auch wissenschaftlich oder fachlich interessante Beobachtungen darstellen können. Vor einer Entfernung sollte daher die Ursache untersucht werden.
Statistische Schwellen wie Boxplot-Grenzen oder formale Tests sind methodische Werkzeuge mit Voraussetzungen. Sie sind kein universeller Beweis dafür, dass ein Datenpunkt „falsch“ ist.
4. Filter- und Transformationslogik reproduzierbar machen
SQL-Abfragen, Skripte oder Pipeline-Schritte sollten so dokumentiert werden, dass Auswahl, Sortierung, Deduplizierung, Einheitenumrechnung und abgeleitete Merkmale nachvollzogen werden können.
Manuelle Tabellenbearbeitung erhöht das Risiko nicht dokumentierter Zustandsänderungen. Wo sie unvermeidbar ist, werden Änderungsprotokolle oder Vorher-Nachher-Stände gesichert.
5. Sensitivität gegenüber Aufbereitungsentscheidungen prüfen
Wenn ein Ergebnis nur bei einer bestimmten Ausreißergrenze oder Imputationsmethode entsteht, ist diese Abhängigkeit fachlich relevant. Vergleichsrechnungen können zeigen, ob die Kernaussage robust bleibt.
Solche Gegenprüfungen müssen nicht jede denkbare Variante durchspielen. Sie sollten aber plausible Alternativen abdecken, insbesondere wenn die Aufbereitungsentscheidung einen großen Anteil der Daten betrifft.
6. Aufbereitung und fachliche Schlussfolgerung getrennt berichten
Der Bericht beschreibt, welche Beobachtungen ausgeschlossen oder verändert wurden und wie sich dadurch Umfang und Verteilung der Datenbasis ändern. Erst danach wird die Auswirkung auf die fachliche Bewertung erläutert.
W3C PROV kann als Modellierungsrahmen für Ableitungsbeziehungen zwischen Datensätzen und Verarbeitungsschritten dienen. Eine solche Provenienzstruktur ersetzt nicht die fachliche Begründung, verbessert aber die Nachvollziehbarkeit.
Bei Zeitreihen ist zusätzlich zu prüfen, ob fehlende Werte durch echte Messlücken oder durch unterschiedliche Erfassungsfrequenzen entstehen. Interpolation kann dann neue, nicht beobachtete Werte erzeugen und muss als Modellannahme gekennzeichnet werden.
Bei kategorischen Daten können seltene Klassen wie Ausreißer wirken, obwohl sie fachlich gültig sind. Die technische Prüfung sollte deshalb statistische Auffälligkeit und Datenfehler nicht gleichsetzen.
Sollten statistische Ausreißer grundsätzlich aus einer Analyse entfernt werden?
Nein. Ein Ausreißer kann ein Datenfehler, eine seltene aber gültige Beobachtung oder ein Hinweis auf ein ungeeignetes Modell sein.
Vor einer Entfernung sollten Ursache, Verteilung und fachlicher Kontext geprüft werden.
Wenn mehrere plausible Behandlungen bestehen, kann eine Sensitivitätsanalyse die Auswirkung auf das Ergebnis sichtbar machen.
Ist die Untersuchung für diesen Themenbereich technisch nachvollziehbar?
- Ist ein unveränderter Rohdatenstand als Referenz gesichert?
- Sind Missing-Value-Codes und ihre fachliche Bedeutung bekannt?
- Ist jede Imputation oder Ausschlussregel mit betroffenen Fallzahlen dokumentiert?
- Werden Ausreißer zunächst als Prüfhinweis und nicht automatisch als Fehler behandelt?
- Sind Filter, Deduplizierung und Transformationen reproduzierbar implementiert oder protokolliert?
- Wurde die Sensitivität gegenüber wesentlichen Aufbereitungsentscheidungen geprüft?
- Sind Änderungen der Datenbasis von der späteren fachlichen Interpretation getrennt dargestellt?
Konstruiertes Beispiel
Eine Messreihe enthält fünf extrem hohe Werte. Statt sie automatisch zu löschen, wird geprüft, dass drei auf einen Einheitenfehler zurückgehen und korrigiert werden können; zwei stammen aus tatsächlich außergewöhnlichen Betriebszuständen. Die Analyse wird mit und ohne diese zwei gültigen Extremwerte verglichen und die Auswirkung dokumentiert.
Das Beispiel ist konstruiert und beschreibt keinen realen Datensatz.
Quellen und fachliche Grundlage
- NIST-Statistikhandbuch NIST/SEMATECH e-Handbook: Definition und Untersuchung von Ausreißern. Quelle öffnen.
- NIST-Methodik NIST/SEMATECH e-Handbook: Detection of Outliers mit Voraussetzungen und formalen Testverfahren. Quelle öffnen.
- W3C-Empfehlung W3C PROV-DM zur Beschreibung von Ableitungs- und Verarbeitungsschritten zwischen Datenständen. Quelle öffnen.
- Eigene Methodik Quellen und Methodik der Wissensplattform. Quelle öffnen.
Weiterführende Beiträge
- Datenherkunft, Lineage & Transformationen
- Datenqualität technisch prüfen
- Alle Beiträge in diesem Themenbereich
Eigene Fachliteratur und Veröffentlichungen
Die folgenden eigenen Arbeiten dienen der fachlichen Vertiefung und methodischen Einordnung. Sie ersetzen keine erforderlichen Primär-, Norm-, Hersteller- oder sonstigen unabhängigen Fachquellen. Unveröffentlichte Manuskripte, Entwürfe und Lehrunterlagen werden hier bewusst nicht als öffentliche Quellen ausgewiesen.
Technische Untersuchung zum Themenbereich Daten & Data Science
Die konkrete Aussagekraft hängt vom Untersuchungsgegenstand, der verfügbaren Evidenz und der dokumentierten Prüfmethode ab.
Data Science Gutachten