Daten & Data Science
Ein statistisches Ergebnis ist nur so nachvollziehbar wie Datenbasis, Auswahlverfahren, Bereinigung, Berechnung und dokumentierte Annahmen. Für eine technische Begutachtung werden deshalb nicht nur Endwerte betrachtet, sondern die vollständige Auswertungskette und ihre Reproduzierbarkeit.
Kurzantwort
Geprüft werden Population und Stichprobe, Auswahlregeln, Datenbereinigung, Verfahren, Parameter, Softwareversionen und Ergebnisstabilität. Die Untersuchung unterscheidet zwischen reproduzierbarer Berechnung und statistischer Generalisierbarkeit; beides ist nicht dasselbe.
Vom Prüfgegenstand zur dokumentierten technischen Schlussfolgerung
1. Zielpopulation und beobachtete Datenbasis trennen
Eine Analyse kann nur über Daten rechnen, die tatsächlich vorliegen. Daraus folgt nicht automatisch, dass die Stichprobe die gewünschte Zielpopulation repräsentiert. Die Untersuchung dokumentiert deshalb Population, Erhebungsweg, Zeitraum und Auswahlkriterien getrennt.
Besonders wichtig sind systematische Ausschlüsse: nur aktive Kunden, nur erfolgreiche Transaktionen oder nur vollständig protokollierte Fälle können die Verteilung verändern. Solche Auswahlmechanismen werden als mögliche Verzerrungsquelle behandelt.
2. Stichprobenauswahl und Gewichtung nachvollziehen
Zufallsstichprobe, geschichtete Auswahl, Convenience Sample oder vollständiger Datenbestand besitzen unterschiedliche Aussageeigenschaften. Falls Gewichtungen eingesetzt werden, müssen ihre Herleitung und Anwendung reproduzierbar sein.
Bei sehr großen Datenbeständen kann eine technische Stichprobe für die Begutachtung sinnvoll sein. Dann wird dokumentiert, wie sie erzeugt wurde und welche Arten von Fehlern dadurch möglicherweise nicht erfasst werden.
3. Bereinigung und Transformation als Teil der Statistik behandeln
Missing-Value-Behandlung, Outlier-Regeln, Duplikatentfernung, Normalisierung und Feature-Bildung können Ergebnisse stärker beeinflussen als das statistische Verfahren selbst. Deshalb werden diese Schritte versionsbezogen dokumentiert.
Eine Gegenprobe mit alternativen vertretbaren Bereinigungsregeln kann zeigen, ob ein Ergebnis robust oder stark pipelineabhängig ist. Ziel ist nicht, beliebig viele Varianten zu erzeugen, sondern plausible methodische Alternativen zu prüfen.
4. Annahmen des Verfahrens und Parameter dokumentieren
Statistische Verfahren beruhen auf Annahmen über Verteilungen, Unabhängigkeit, Varianz oder Stichprobenmechanismen. Die technische Prüfung dokumentiert, welche Annahmen für das verwendete Verfahren relevant sind und wie sie geprüft oder begrenzt wurden.
Auch Softwareparameter, Bibliotheksversionen und numerische Einstellungen gehören zur Reproduzierbarkeit. Bei simulations- oder zufallsbasierten Verfahren werden Seeds und Anzahl der Wiederholungen soweit sinnvoll festgehalten.
5. Reproduzierbarkeit von Generalisierbarkeit unterscheiden
Eine Auswertung ist reproduzierbar, wenn aus denselben Inputs und demselben Verfahren dasselbe oder erwartbar äquivalente Ergebnis erzeugt werden kann. Das sagt noch nichts darüber aus, ob die Stichprobe eine größere Population repräsentiert.
Umgekehrt kann eine methodisch plausible statistische Aussage schwer technisch reproduzierbar sein, wenn Daten oder Code fehlen. Der Bericht sollte beide Dimensionen getrennt bewerten.
6. Sensitivität und Unsicherheit sichtbar machen
Ein einzelner p-Wert, Mittelwert oder Score ist keine vollständige technische Bewertung. Je nach Fragestellung können Konfidenzintervalle, Effektgrößen, Streuung oder Sensitivitätsanalysen erforderlich sein.
Die Begutachtung dokumentiert, wie stark das Ergebnis auf plausible Änderungen der Stichprobe, Parameter oder Datenbereinigung reagiert. Instabile Ergebnisse werden entsprechend vorsichtig interpretiert und nicht über den geprüften Kontext hinaus generalisiert.
Bei mehrfachen Auswertungen desselben Datenbestands ist zu prüfen, ob Auswahlentscheidungen erst nach Sichtung der Ergebnisse getroffen wurden. Nachträgliches Filtern, Wechseln von Kennzahlen oder wiederholtes Testen kann die Interpretation statistischer Evidenz verändern. Die technische Rekonstruktion dokumentiert deshalb, soweit verfügbar, Analyseversionen und zeitliche Reihenfolge der Auswertungsschritte.
Für maschinelle Lernverfahren mit Cross-Validation oder Hyperparameter-Suche wird zusätzlich geprüft, ob Trainings-, Validierungs- und Testdaten sauber getrennt blieben. Informationsleckage zwischen diesen Mengen kann zu scheinbar guten Kennzahlen führen, die sich auf unabhängigen Daten nicht bestätigen.
Bei zeitabhängigen Daten sollten außerdem Saisonalität, Trend und zeitliche Abhängigkeit berücksichtigt werden. Eine zufällige Aufteilung kann bei Prognoseproblemen Informationen aus der Zukunft in Training oder Bewertung gelangen lassen. Die technische Prüfung dokumentiert deshalb, ob der gewählte Split zur zeitlichen Struktur der Fragestellung passt und ob alternative Aufteilungen das Ergebnis wesentlich verändern.
Ist ein reproduzierbares Ergebnis automatisch statistisch belastbar?
Nein. Reproduzierbarkeit zeigt zunächst, dass der Rechenweg mit denselben Voraussetzungen nachvollzogen werden kann.
Statistische Belastbarkeit hängt zusätzlich von Stichprobe, Modellannahmen, Messfehlern und der beabsichtigten Generalisierung ab.
Beide Fragen sollten im Gutachten getrennt beantwortet werden.
Ist die Untersuchung für diesen Themenbereich nachvollziehbar abgegrenzt?
- Sind Zielpopulation und tatsächlich untersuchte Datenbasis klar getrennt?
- Ist die Auswahl oder Stichprobenziehung reproduzierbar dokumentiert?
- Sind Ausschlüsse, Missing-Value-Behandlung und Transformationen nachvollziehbar?
- Sind statistisches Verfahren, relevante Annahmen und Parameter dokumentiert?
- Sind Softwareversionen und Zufallszustände soweit erforderlich reproduzierbar?
- Wurde die Sensitivität gegenüber plausiblen Alternativen geprüft?
- Werden Reproduzierbarkeit und Generalisierbarkeit ausdrücklich getrennt bewertet?
Konstruiertes Beispiel
Eine Fehlerquote wird aus Supporttickets berechnet. Die Untersuchung stellt fest, dass nur Tickets von zahlenden Kunden exportiert wurden und interne Störungen fehlen. Die Berechnung selbst ist reproduzierbar, die Verallgemeinerung auf alle Systemnutzungen wird jedoch wegen der Auswahlgrenze eingeschränkt.
Das Beispiel ist konstruiert und beschreibt kein reales Mandat.
Quellen und fachliche Grundlage
- NIST-Fachreferenz NIST/SEMATECH e-Handbook of Statistical Methods als Referenz für statistische Verfahren und Annahmen. Quelle öffnen.
- Publikationsstandard ACM Artifact Review and Badging mit Kriterien unter anderem für Reproduzierbarkeit von Artefakten. Quelle öffnen.
- Eigene Methodik Quellen und Methodik der Wissensplattform. Quelle öffnen.
Weiterführende Beiträge
- Daten als Untersuchungsgegenstand
- Datenqualität technisch prüfen
- Alle Beiträge in diesem Themenbereich
Eigene Fachliteratur und Veröffentlichungen
Die folgenden eigenen Arbeiten dienen der fachlichen Vertiefung und methodischen Einordnung. Sie ersetzen keine erforderlichen Primär-, Norm-, Hersteller- oder sonstigen unabhängigen Fachquellen. Unveröffentlichte Manuskripte, Entwürfe und Lehrunterlagen werden hier bewusst nicht als öffentliche Quellen ausgewiesen.
Technische Untersuchung zum Themenbereich Daten & Data Science
Die konkrete Aussagekraft hängt vom Untersuchungsgegenstand, der verfügbaren Evidenz und der dokumentierten Prüfmethode ab.
Data-Science-Gutachten