Datenqualität technisch prüfen: Vollständigkeit, Konsistenz, Genauigkeit und Aktualität

Daten & Data Science

Datenqualität ist kein einzelner Messwert und kein pauschales Gesamturteil. Für eine technische Untersuchung muss zunächst feststehen, welcher konkrete Datenbestand geprüft wird, welche Qualitätseigenschaft relevant ist und mit welcher Metrik, Referenz oder Regel diese Eigenschaft beurteilt werden soll.

Prüfpfad Von der Qualitätsfrage zum nachvollziehbaren Befund

1 Prüfzweck Verwendungskontext, Sollzustand und konkrete Fragestellung

2 Dimension Beispielsweise Vollständigkeit, Konsistenz, Genauigkeit oder Aktualität

3 Messung Referenz, Regeln, Zähler, Nenner, Schwellen und Stichprobe

4 Befund Messergebnis, Unsicherheit, Interpretation und Aussagegrenze

Ändern sich Verwendungszweck, Referenzbasis oder Sollanforderungen, kann sich auch die fachliche Bedeutung derselben Messwerte ändern.

1. Prüfgegenstand, Qualitätsdimension und Verwendungskontext

Eine Qualitätsmessung ist nur dann nachvollziehbar, wenn eindeutig dokumentiert ist, auf welchen Datenstand sie sich bezieht.

Dazu können beispielsweise gehören:

• konkrete Datei oder Dataset-Version,
• Datenbank-Snapshot,
• Export- oder Abfragezeitpunkt,
• fachlich betrachteter Zeitraum,
• verwendete Filter,
• Transformationsstand,
• dokumentierte Hashwerte oder andere technische Identifikatoren.

Wie ein solcher Datenbestand technisch bestimmt und seine Herkunft dokumentiert werden kann, ist Gegenstand des Beitrags Daten als Untersuchungsgegenstand: Herkunft, Datenstand und Reproduzierbarkeit .

Qualitätsdimension und Qualitätsmetrik sind zu trennen

Empirische Forschung zur Sicht von Datennutzern zeigt, dass Datenqualität über bloße Richtigkeit hinausgeht und auch von der konkreten Aufgabe abhängt. Welche Dimension im Einzelfall maßgeblich ist, muss deshalb aus der Prüffrage begründet werden; die Studie liefert keinen universellen Grenzwert.

Das W3C Data Quality Vocabulary unterscheidet unter anderem Qualitätsdimensionen, Qualitätsmetriken und konkrete Qualitätsmessungen.

Für eine technische Untersuchung ist diese Trennung besonders nützlich. Die Dimension bezeichnet, welcher Aspekt der Datenqualität untersucht wird. Die Metrik beschreibt dagegen, wie dieser Aspekt messbar gemacht wird.

Datenqualität benötigt einen konkreten Verwendungs- und Prüfkontext

Ein Datensatz ist nicht unabhängig von jeder Fragestellung „gut“ oder „schlecht“. Ob eine bestimmte Eigenschaft relevant ist, hängt davon ab, welche technische Aussage mit den Daten getroffen werden soll.

Für eine Versandliste kann beispielsweise die Vollständigkeit von Adressfeldern entscheidend sein. Für eine historische Analyse kann dagegen der zeitliche Datenstand oder die Genauigkeit bestimmter Messwerte im Vordergrund stehen.

Deshalb sollten Qualitätsdimension und Messregel aus der technischen Fragestellung beziehungsweise dem dokumentierten Verwendungszweck abgeleitet werden.

2. Vollständigkeit und fehlende Werte

Vollständigkeit lässt sich nur prüfen, wenn festgelegt ist, welche Daten überhaupt erwartet werden.

Je nach Fragestellung kann sich die Erwartung beziehen auf:

• erforderliche Datensätze,
• verpflichtende Attribute,
• erwartete Zeiträume,
• erwartete Kategorien oder Entitäten,
• eine bekannte Referenzpopulation.

Ohne solche Sollvorgaben kann beispielsweise eine niedrige Anzahl fehlender Werte nicht automatisch als „hohe Vollständigkeit“ interpretiert werden.

Feldvollständigkeit und Bestandsvollständigkeit sind verschieden

Ein Datensatz kann in allen vorhandenen Zeilen vollständig ausgefüllte Pflichtfelder besitzen und trotzdem relevante Datensätze insgesamt nicht enthalten.

Deshalb ist zu unterscheiden zwischen beispielsweise:

• Vollständigkeit einzelner Attribute,
• Vollständigkeit einzelner Datensätze,
• Abdeckung einer erwarteten Grundgesamtheit,
• zeitlicher Vollständigkeit.

Welche dieser Ebenen geprüft wird, muss in der Metrik ausdrücklich erkennbar sein.

Eine mögliche technische Operationalisierung für ein Pflichtfeld ist beispielsweise:

Anzahl vorhandener gültiger Werte / Anzahl erwarteter Werte

Diese Formel ist kein universeller Standardwert. Vor ihrer Anwendung muss geklärt werden, welche Datensätze in den Nenner eingehen und wann ein Wert als vorhanden gilt.

Andernfalls können unterschiedliche Auswertungen desselben Datenbestands zu unterschiedlichen Quoten führen.

NULL, leerer Text und fachlicher Wert sind nicht dasselbe

Bei Vollständigkeitsprüfungen muss technisch festgelegt werden, welche Zustände als fehlend gelten.

Je nach Datenmodell können sich beispielsweise unterscheiden:

• SQL-NULL,
• leerer String,
• nur aus Leerzeichen bestehender Wert,
• Platzhalter wie N/A oder unbekannt,
• numerischer Wert 0,
• fachlich tatsächlich unbekannter Wert.

Eine reproduzierbare Prüfung benötigt daher eine dokumentierte Missing-Value-Regel.

3. Konsistenz, Genauigkeit und Plausibilität

Konsistenz kann sich auf unterschiedliche technische Ebenen beziehen. Geprüft werden können beispielsweise:

• zulässige Wertebereiche,
• Beziehungen zwischen Feldern,
• referenzielle Beziehungen zwischen Tabellen,
• widersprüchliche Angaben zu derselben Entität,
• Abgleich verschiedener Datenquellen.

Eine Konsistenzregel könnte beispielsweise lauten, dass ein Enddatum nicht vor dem zugehörigen Startdatum liegen darf oder dass ein Fremdschlüssel auf einen vorhandenen Datensatz verweisen muss.

Interne Konsistenz beweist keine sachliche Richtigkeit

Ein Datenbestand kann vollständig widerspruchsfrei aufgebaut sein und dennoch falsche Angaben enthalten.

Beispiel: In allen Tabellen ist für dieselbe Person dasselbe Geburtsdatum gespeichert. Diese Übereinstimmung belegt interne Konsistenz. Sie belegt jedoch nicht, dass das gespeicherte Geburtsdatum tatsächlich richtig ist.

Deshalb ist Konsistenz von Genauigkeit beziehungsweise sachlicher Richtigkeit zu trennen.

Genauigkeit benötigt eine geeignete Referenz

Soll geprüft werden, ob ein gespeicherter Wert mit dem tatsächlich maßgeblichen Wert übereinstimmt, wird eine geeignete Referenzgrundlage benötigt.

Je nach Untersuchungsfrage kann dies beispielsweise sein:

• ein verifiziertes Referenzsystem,
• eine kontrollierte Messung,
• ein fachlich bestätigter Referenzdatensatz,
• eine Originalquelle,
• ein anderweitig begründeter Ground-Truth-Datensatz.

Ohne geeignete Referenz können zwar Format, Wertebereich, Konsistenz oder Plausibilität untersucht werden. Die tatsächliche sachliche Genauigkeit eines Werts lässt sich daraus jedoch nicht automatisch ableiten.

Ist nur für einen Teil des Datenbestands eine belastbare Referenz vorhanden, sollte eine Genauigkeitsmessung nicht so dargestellt werden, als gelte sie ungeprüft für den gesamten Datenbestand.

Zusätzlich zur eigentlichen Messung sollte deshalb dokumentiert werden:

• wie viele Werte geprüft wurden,
• welcher Anteil des Gesamtbestands eine Referenz besitzt,
• wie die geprüften Fälle ausgewählt wurden,
• welche Referenz verwendet wurde.

Plausibilität und Validität sind nicht mit Genauigkeit gleichzusetzen

Ein Datum kann syntaktisch gültig sein, ein Zahlenwert kann innerhalb eines plausiblen Bereichs liegen und eine Postleitzahl kann das erwartete Format besitzen.

Solche Prüfungen können technische Regelverletzungen erkennen. Sie belegen aber nicht zwingend, dass der konkrete Wert dem tatsächlichen Sachverhalt entspricht.

4. Aktualität und belastbare Qualitätsmetriken

Ob Daten aktuell genug sind, lässt sich nur in Bezug auf einen Zeitpunkt oder einen fachlich definierten Zeitraum beurteilen.

Relevante Zeitangaben können beispielsweise sein:

• Zeitpunkt des zugrunde liegenden Ereignisses,
• Zeitpunkt der Datenerfassung,
• Zeitpunkt der letzten Aktualisierung,
• Exportzeitpunkt,
• Prüfzeitpunkt.

Diese Zeitpunkte dürfen nicht ohne weiteres miteinander gleichgesetzt werden.

Aktualität braucht eine begründete Frist oder Schwelle

Eine Aussage wie „die Daten sind veraltet“ benötigt einen Prüfmaßstab.

Je nach Anwendungsfall kann beispielsweise festgelegt werden, dass ein bestimmtes Attribut nicht älter als einen definierten Zeitraum sein darf.

Eine mögliche Messgröße kann dann die Zeitdifferenz zwischen relevantem Bezugszeitpunkt und dokumentierter Aktualisierung sein.

Welche Zeitspanne akzeptabel ist, folgt jedoch nicht allein aus der technischen Messung. Sie muss aus einer dokumentierten Anforderung, einem fachlichen Nutzungskontext oder einem anderweitig begründeten Prüfmaßstab abgeleitet werden.

Prozentwerte wirken präzise, können aber ohne dokumentierte Berechnung irreführend sein.

Für jede Metrik sollte daher mindestens festgehalten werden:

• geprüfte Datenmenge,
• Zählerdefinition,
• Nennerdefinition,
• ausgeschlossene Fälle,
• Missing-Value-Regel,
• verwendete Referenz,
• Prüfzeitpunkt,
• verwendeter Datenstand.

5. Datenprofiling, Auffälligkeiten und Stichproben

Technische Datenprofile können beispielsweise Werteverteilungen, Häufigkeiten, fehlende Werte, eindeutige Werte, Wertebereiche oder statistische Auffälligkeiten sichtbar machen.

Solche Ergebnisse sind nützlich, um Prüfbereiche einzugrenzen und Anomalien zu erkennen. Sie ersetzen jedoch nicht die fachliche Festlegung, welche Qualitätsdimension und welche Regel für die konkrete Fragestellung relevant ist.

Ein statistisch ungewöhnlicher Wert kann ein Datenfehler sein. Er kann aber ebenso einen tatsächlich seltenen Sachverhalt korrekt abbilden.

Deshalb sollte ein Ausreißer zunächst als technischer Befund dokumentiert werden. Ob er fehlerhaft ist, benötigt anschließend eine geeignete fachliche oder technische Referenz.

Stichproben begrenzen die Reichweite der Aussage

Bei großen Datenbeständen kann eine vollständige Einzelprüfung technisch oder wirtschaftlich nicht sinnvoll sein. Dann kann eine Stichprobe Teil der Untersuchungsmethode sein.

In diesem Fall sollte dokumentiert werden:

• Grundgesamtheit,
• Stichprobenumfang,
• Auswahlverfahren,
• gegebenenfalls Schichtung,
• ausgeschlossene Datenbereiche,
• Grenzen der Übertragbarkeit.

Eine auf einer Stichprobe beruhende Feststellung darf nicht ohne weitere Begründung als vollständige Einzelprüfung des gesamten Datenbestands dargestellt werden.

Nicht jede Qualitätsdimension kann mit den vorhandenen Unterlagen vollständig geprüft werden.

Fehlt beispielsweise eine geeignete Referenzquelle, kann möglicherweise die Konsistenz eines Werts geprüft werden, nicht aber seine tatsächliche Genauigkeit.

Fehlt die erwartete Grundgesamtheit, kann eine Vollständigkeitsquote unter Umständen nur auf Feldebene bestimmt werden, nicht auf Ebene der gesamten fachlichen Abdeckung.

Solche Grenzen sind Teil des technischen Befunds und sollten ausdrücklich dokumentiert werden.

Warum eine hohe Qualitätsquote noch kein Gesamturteil erlaubt

Eine Kennzahl besitzt nur innerhalb ihrer Definition Aussagekraft. Eine Vollständigkeitsquote von 99 Prozent sagt beispielsweise wenig aus, wenn unklar bleibt, welche Sollmenge den Nenner bildet oder ob gerade die fehlenden Werte für den konkreten Prüfzweck wesentlich sind.

Ein sachverständiger Qualitätsbefund sollte deshalb Dimension, Referenzbasis, Messregel, Zähler, Nenner, Schwellenwert, Datenabdeckung und verbleibende Unsicherheit gemeinsam dokumentieren.

6. Vom Messwert zur fachlichen Bewertung

Ein Messwert ist zunächst ein technischer Befund.

Beispiel: In 9.420 von 10.000 untersuchten Datensätzen ist ein als verpflichtend definiertes Feld nach der festgelegten Missing-Value-Regel befüllt.

Daraus ergibt sich für diese konkret definierte Messung ein Vollständigkeitswert von 94,2 Prozent.

Ob dieser Wert für den vorgesehenen Einsatzzweck ausreichend ist, erfordert zusätzlich einen dokumentierten Bewertungsmaßstab.

Ein technisches Gutachten kann beispielsweise feststellen, dass ein definierter Anteil der Datensätze eine bestimmte Qualitätsregel verletzt oder dass eine berichtete Kennzahl mit der dokumentierten Berechnung nicht reproduzierbar ist.

Praktische Dokumentationsstruktur einer Qualitätsmessung

Für jede relevante Qualitätsmessung können beispielsweise folgende Angaben festgehalten werden:

• eindeutiger Datenstand,
• untersuchte Qualitätsdimension,
• technische oder fachliche Prüfregel,
• verwendete Metrik,
• Zähler und Nenner,
• verwendete Referenzdaten,
• Ausschluss- und Missing-Value-Regeln,
• Prüfskript oder Abfrage,
• Messergebnis,
• Unsicherheit und Aussagegrenze.

Prüfliste

Ist eine Datenqualitätsmessung fachlich belastbar?

1. Ist der konkrete Datenstand eindeutig bestimmt und versioniert?
2. Sind Verwendungszweck und technische Qualitätsfrage ausdrücklich definiert?
3. Ist klar, welche Qualitätsdimension tatsächlich untersucht wird?
4. Sind Sollmenge, Referenzwerte oder Prüfregeln nachvollziehbar dokumentiert?
5. Sind Zähler, Nenner, Missing-Value-Regeln und gegebenenfalls Schwellenwerte offengelegt?
6. Sind Datenprofiling-Auffälligkeiten von tatsächlich festgestellten Qualitätsfehlern getrennt?
7. Sind Stichprobenumfang, Referenzabdeckung und sonstige Unsicherheiten berücksichtigt?
8. Bleiben Messwert, technische Interpretation, fachliche Bewertung und rechtliche Würdigung getrennt?

Weiterführende Beiträge

Bevor Datenqualität gemessen wird, muss feststehen, welcher konkrete Datenbestand Untersuchungsgegenstand ist. Dazu siehe Daten als Untersuchungsgegenstand: Herkunft, Datenstand und Reproduzierbarkeit .

Wie eine technische Fragestellung, Datenbasis und ein Prüfmaßstab sauber voneinander abgegrenzt werden, erläutert Welche technische Fragestellung kann ein IT-Sachverständiger tatsächlich beantworten? .

Der allgemeine Quellen- und Dokumentationsstandard ist unter Quellen und Methodik beschrieben.

Kritische Gegenprüfung und methodische Aussagegrenze

Eine auffällige Qualitätsmetrik besitzt mehrere mögliche Ursachen. Deshalb werden Messverfahren, Referenz und alternative technische Erklärungen vor einer Gesamtbewertung getrennt geprüft.

• Mess- oder Referenzproblem: Eine Abweichung kann aus fehlerhafter Referenz, ungeeigneter Schwelle oder einer unpassenden Qualitätsmetrik entstehen.
• Datenpipeline als Ursache: Missing Values, Duplikate oder Inkonsistenzen können erst durch Extraktion, Transformation, Join oder Export eingeführt worden sein.
• Stichproben- und Zeitbezug: Ein Befund aus einer Teilmenge oder einem Stichtag darf nicht ohne zusätzliche Evidenz auf den Gesamtbestand übertragen werden.

Prüfregel: Eine fachliche Schlussfolgerung wird nicht stärker formuliert als die dokumentierte Untersuchungsgrundlage. Plausible Alternativerklärungen, widersprechende Evidenz, nicht untersuchte Bereiche und technische Detection Limits bleiben sichtbar Bestandteil der Aussagegrenze.

Eigene Fachliteratur und Veröffentlichungen

Die folgenden eigenen Arbeiten dienen der fachlichen Vertiefung und methodischen Einordnung. Sie ersetzen keine erforderlichen Primär-, Norm-, Hersteller- oder sonstigen unabhängigen Fachquellen. Unveröffentlichte Manuskripte, Entwürfe und Lehrunterlagen werden hier bewusst nicht als öffentliche Quellen ausgewiesen.

• Eigenes Fachbuch Kritisches Denken in Data Science mit Python – Vom Beobachten zur verantwortbaren Entscheidung

Datenqualität technisch untersuchen

Wenn Vollständigkeit, Konsistenz, Genauigkeit, Aktualität oder andere Datenqualitätsmerkmale technisch geprüft werden sollen, können zunächst Datenstand, Qualitätsdimension, Prüfmaßstab und geeignete Metriken fachlich eingegrenzt werden.

Data-Science-Gutachten ansehen