Daten & Data Science
Ein Datenbestand ist selten ein unverändertes Abbild einer Quelle. Extraktion, Filter, Joins, Bereinigung, Aggregation und manuelle Korrekturen können seine Bedeutung verändern. Für eine technische Bewertung ist deshalb relevant, welche Daten aus welchen Quellen stammen und welche Transformationen zwischen Quelle und untersuchtem Stand liegen.
Kurzantwort
Daten-Lineage verbindet Quelle, Verarbeitungsschritte und resultierende Datenstände. Rekonstruiert werden Eingaben, Transformationen, Parameter, Zeitpunkte und Ausgaben, soweit sie technisch nachweisbar sind. Eine vollständige Herkunft darf nur behauptet werden, wenn die verfügbaren Artefakte die gesamte relevante Kette tatsächlich abdecken.
Vom Prüfgegenstand zur dokumentierten technischen Schlussfolgerung
1. Datenquelle und Datenstand identifizieren
Zunächst wird geklärt, aus welchem System, Export oder Messprozess die Daten stammen. Tabellenname oder Dateiname allein reichen häufig nicht, wenn regelmäßig neue Exporte erzeugt oder Daten überschrieben werden.
Relevante Merkmale können Exportzeitpunkt, Quellsystem, Schema, Partition, Dateihash, Datenbank-Snapshot oder Versionskennung sein. Bei APIs sollte zusätzlich dokumentiert werden, welche Parameter und Endpunkte verwendet wurden.
Der identifizierte Datenstand bildet die Grundlage für spätere Qualitäts- oder Modellprüfungen. Wird ein anderer Stand verwendet, kann sich auch das Ergebnis ändern.
2. Transformationen als Teil des Untersuchungsgegenstands
Filter, Normalisierung, Imputation, Feature Engineering, Aggregationen und Joins können den Datenbestand wesentlich verändern. Deshalb werden nicht nur Roh- und Enddaten betrachtet, sondern soweit möglich auch Skripte, Pipeline-Definitionen und Parameter.
Manuelle Bearbeitungen sind besonders kritisch für die Nachvollziehbarkeit, wenn sie nicht protokolliert wurden. Dann kann eine Differenzanalyse zwischen Ständen Hinweise liefern, ohne den Entstehungsprozess vollständig zu rekonstruieren.
Bei Machine Learning gehört auch die Trennung von Trainings-, Validierungs- und Testdaten zur Lineage, wenn Aussagen über Reproduzierbarkeit oder Datenleckage geprüft werden.
3. Provenienzmodelle und technische Evidenz
W3C PROV stellt ein allgemeines Modell bereit, um Entitäten, Aktivitäten und Akteure in Provenienzbeziehungen auszudrücken. Für eine konkrete Begutachtung muss ein Projekt dieses Modell nicht verwenden; es bietet aber eine präzise Sprache für Herkunft und Ableitung.
Praktisch können Workflow-Logs, Notebook-Ausführungen, SQL-Skripte, Versionskontrolle, Orchestrator-Metadaten und Dateihashes kombiniert werden. Die Evidenzklassen sollten getrennt bleiben, damit aus einem Pipeline-Namen nicht automatisch eine ausgeführte Transformation abgeleitet wird.
Fehlen Zwischenschritte, wird die Lineage als partiell rekonstruiert bezeichnet und nicht als lückenlos.
4. Gegenprüfungen und Reproduzierbarkeit
Eine dokumentierte Pipeline kann nach Möglichkeit auf derselben Eingabe erneut ausgeführt werden. Stimmen resultierende Kennzahlen oder Hashwerte überein, stärkt dies die Nachvollziehbarkeit des Prozesses.
Abweichungen können durch nicht deterministische Verfahren, externe Datenquellen, Versionsunterschiede oder versteckte Zustände entstehen. Diese Ursachen werden getrennt untersucht.
Reproduzierbarkeit bedeutet nicht, dass jeder historische Zustand zwingend exakt wiederhergestellt werden kann. Entscheidend ist, welche Teile mit der vorhandenen Grundlage nachvollziehbar wiederholbar sind.
5. Aussagegrenzen bei Datenherkunft
Aus technischer Lineage lässt sich ableiten, welche dokumentierten und beobachtbaren Verarbeitungsschritte zu einem Datenstand geführt haben. Daraus folgt nicht automatisch, dass die Ursprungsdaten rechtmäßig erhoben oder fachlich korrekt waren.
Auch ein unveränderter Hash sagt nichts über die inhaltliche Qualität der Daten aus. Umgekehrt kann eine legitime Transformation den Hash vollständig verändern.
Gutachten sollten daher Herkunft, Integrität, Datenqualität und rechtliche Zulässigkeit als getrennte Fragestellungen behandeln.
6. Lineage-Graph, Kontrollsummen und Reproduktionspunkte
Bei komplexeren Datenpipelines ist ein Lineage-Graph hilfreicher als eine rein lineare Prozessbeschreibung. Knoten repräsentieren Datensätze oder Verarbeitungsschritte; Kanten dokumentieren, welche Quelle in welchen abgeleiteten Stand eingeflossen ist. Das W3C-PROV-Modell stellt hierfür allgemeine Konzepte wie Entitäten, Aktivitäten und Ableitungsbeziehungen bereit.
Zusätzliche Kontrollpunkte können Zeilenzahlen, Schlüsselverteilungen, Hashwerte definierter Extrakte oder aggregierte Qualitätsmetriken enthalten. Solche Werte beweisen nicht die semantische Richtigkeit des Datensatzes, helfen aber dabei, unbemerkte Änderungen zwischen Verarbeitungsschritten zu erkennen.
Eine Reproduktion muss zudem die Umgebung berücksichtigen. Bibliotheksversionen, SQL-Dialekte, Zeitzonen, Locale-Einstellungen oder zufällige Seeds können Ergebnisse beeinflussen. Deshalb gehören relevante Ausführungsparameter zur Provenienzdokumentation, wenn sie die Schlussfolgerung verändern können.
Bei analytischen Datensätzen ist zusätzlich zwischen technischer und semantischer Lineage zu unterscheiden. Technisch kann eine Spalte aus mehreren Feldern berechnet worden sein; semantisch kann ihre Bedeutung durch Geschäftsregeln, Kodierungen oder Kategorien geprägt werden, die nicht im Transformationstext selbst erkennbar sind. Deshalb gehören Datenwörterbuch, Schema-Informationen und dokumentierte Bedeutungsregeln zur Rekonstruktion, wenn sie für die Bewertung des Ergebnisses relevant sind.
Was tun, wenn nur der Enddatensatz vorliegt?
Dann kann die interne Struktur des Enddatensatzes untersucht werden, die tatsächliche Entstehungskette aber nur soweit rekonstruiert werden, wie Metadaten, Skripte, Logs oder Vergleichsstände vorhanden sind.
Plausible Transformationen dürfen nicht als historische Tatsachen dargestellt werden. Eine nachträglich reproduzierbare Pipeline ist nicht dasselbe wie der Nachweis, dass genau diese Pipeline ursprünglich verwendet wurde.
Die Aussagegrenze benennt deshalb ausdrücklich, welche Stufen durch Primärartefakte belegt und welche lediglich technisch plausibel sind.
Ist die Untersuchung für diesen Themenbereich nachvollziehbar abgegrenzt?
- Sind Ursprung, Erfassungszeitpunkt und technisches Format der Ausgangsdaten dokumentiert?
- Sind Filter, Joins, Bereinigungen und Aggregationen als eigene Verarbeitungsschritte erfasst?
- Sind Parameter, Skriptversionen und relevante Laufzeitumgebungen dokumentiert?
- Gibt es Kontrollpunkte, mit denen Zwischenstände verglichen werden können?
- Sind manuelle Eingriffe und nachträgliche Korrekturen sichtbar?
- Ist zwischen rekonstruierter historischer Lineage und nur nachträglich reproduzierbarer Pipeline getrennt?
- Sind Lücken in der Herkunftskette als Aussagegrenze ausgewiesen?
Konstruiertes Beispiel
Ein Trainingsdatensatz wurde aus drei Quellsystemen erzeugt. SQL-Skripte und Workflow-Logs zeigen zwei Joins, einen Datumsfilter und eine Imputation. Für eine weitere manuelle Excel-Korrektur existiert dagegen kein Protokoll. Die Lineage kann bis zu diesem Schritt nachvollzogen werden; die konkrete manuelle Änderung bleibt eine dokumentierte Lücke.
Das Beispiel ist konstruiert und beschreibt kein reales Mandat.
Quellen und fachliche Grundlage
- W3C Recommendation PROV-DM beschreibt das konzeptionelle Datenmodell der W3C-PROV-Familie für Provenienzinformationen. Quelle öffnen.
- Eigene Methodik Quellen und Methodik. Quelle öffnen.
- W3C Working Group Note Der W3C PROV Primer erläutert die Grundbegriffe des Provenienzmodells anhand von Entitäten, Aktivitäten und Ableitungen. Quelle öffnen.
Weiterführende Beiträge
- Daten als Untersuchungsgegenstand
- Datenqualität technisch prüfen
- Alle Beiträge in diesem Themenbereich
Eigene Fachliteratur und Veröffentlichungen
Die folgenden eigenen Arbeiten dienen der fachlichen Vertiefung und methodischen Einordnung. Sie ersetzen keine erforderlichen Primär-, Norm-, Hersteller- oder sonstigen unabhängigen Fachquellen. Unveröffentlichte Manuskripte, Entwürfe und Lehrunterlagen werden hier bewusst nicht als öffentliche Quellen ausgewiesen.
Technische Untersuchung zum Themenbereich Daten & Data Science
Die konkrete Aussagekraft hängt vom Untersuchungsgegenstand, der verfügbaren Evidenz und der dokumentierten Prüfmethode ab.
Data-Science-Gutachten