Datenqualität technisch prüfen: Vollständigkeit, Konsistenz, Genauigkeit und Aktualität

Daten & Data Science

Datenqualität ist kein einzelner Messwert und kein pauschales Gesamturteil. Für eine technische Untersuchung muss zunächst feststehen, welcher konkrete Datenbestand geprüft wird, welche Qualitätseigenschaft relevant ist und mit welcher Metrik, Referenz oder Regel diese Eigenschaft beurteilt werden soll.

1. Der Datenbestand muss vor der Qualitätsprüfung feststehen

Eine Qualitätsmessung ist nur dann nachvollziehbar, wenn eindeutig dokumentiert ist, auf welchen Datenstand sie sich bezieht.

Dazu können beispielsweise gehören:

• konkrete Datei oder Dataset-Version,
• Datenbank-Snapshot,
• Export- oder Abfragezeitpunkt,
• fachlich betrachteter Zeitraum,
• verwendete Filter,
• Transformationsstand,
• dokumentierte Hashwerte oder andere technische Identifikatoren.

Wie ein solcher Datenbestand technisch bestimmt und seine Herkunft dokumentiert werden kann, ist Gegenstand des Beitrags Daten als Untersuchungsgegenstand: Herkunft, Datenstand und Reproduzierbarkeit .

2. Qualitätsdimension und Qualitätsmetrik sind zu trennen

Das W3C Data Quality Vocabulary unterscheidet unter anderem Qualitätsdimensionen, Qualitätsmetriken und konkrete Qualitätsmessungen.

Für eine technische Untersuchung ist diese Trennung besonders nützlich. Die Dimension bezeichnet, welcher Aspekt der Datenqualität untersucht wird. Die Metrik beschreibt dagegen, wie dieser Aspekt messbar gemacht wird.

3. Datenqualität benötigt einen konkreten Verwendungs- und Prüfkontext

Ein Datensatz ist nicht unabhängig von jeder Fragestellung „gut“ oder „schlecht“. Ob eine bestimmte Eigenschaft relevant ist, hängt davon ab, welche technische Aussage mit den Daten getroffen werden soll.

Für eine Versandliste kann beispielsweise die Vollständigkeit von Adressfeldern entscheidend sein. Für eine historische Analyse kann dagegen der zeitliche Datenstand oder die Genauigkeit bestimmter Messwerte im Vordergrund stehen.

Deshalb sollten Qualitätsdimension und Messregel aus der technischen Fragestellung beziehungsweise dem dokumentierten Verwendungszweck abgeleitet werden.

4. Vollständigkeit braucht eine definierte Sollmenge

Vollständigkeit lässt sich nur prüfen, wenn festgelegt ist, welche Daten überhaupt erwartet werden.

Je nach Fragestellung kann sich die Erwartung beziehen auf:

• erforderliche Datensätze,
• verpflichtende Attribute,
• erwartete Zeiträume,
• erwartete Kategorien oder Entitäten,
• eine bekannte Referenzpopulation.

Ohne solche Sollvorgaben kann beispielsweise eine niedrige Anzahl fehlender Werte nicht automatisch als „hohe Vollständigkeit“ interpretiert werden.

5. Feldvollständigkeit und Bestandsvollständigkeit sind verschieden

Ein Datensatz kann in allen vorhandenen Zeilen vollständig ausgefüllte Pflichtfelder besitzen und trotzdem relevante Datensätze insgesamt nicht enthalten.

Deshalb ist zu unterscheiden zwischen beispielsweise:

• Vollständigkeit einzelner Attribute,
• Vollständigkeit einzelner Datensätze,
• Abdeckung einer erwarteten Grundgesamtheit,
• zeitlicher Vollständigkeit.

Welche dieser Ebenen geprüft wird, muss in der Metrik ausdrücklich erkennbar sein.

6. Eine Vollständigkeitsquote benötigt einen dokumentierten Nenner

Eine mögliche technische Operationalisierung für ein Pflichtfeld ist beispielsweise:

Anzahl vorhandener gültiger Werte / Anzahl erwarteter Werte

Diese Formel ist kein universeller Standardwert. Vor ihrer Anwendung muss geklärt werden, welche Datensätze in den Nenner eingehen und wann ein Wert als vorhanden gilt.

Andernfalls können unterschiedliche Auswertungen desselben Datenbestands zu unterschiedlichen Quoten führen.

7. NULL, leerer Text und fachlicher Wert sind nicht dasselbe

Bei Vollständigkeitsprüfungen muss technisch festgelegt werden, welche Zustände als fehlend gelten.

Je nach Datenmodell können sich beispielsweise unterscheiden:

• SQL-NULL,
• leerer String,
• nur aus Leerzeichen bestehender Wert,
• Platzhalter wie N/A oder unbekannt,
• numerischer Wert 0,
• fachlich tatsächlich unbekannter Wert.

Eine reproduzierbare Prüfung benötigt daher eine dokumentierte Missing-Value-Regel.

8. Konsistenz untersucht Widerspruchsfreiheit nach definierten Regeln

Konsistenz kann sich auf unterschiedliche technische Ebenen beziehen. Geprüft werden können beispielsweise:

• zulässige Wertebereiche,
• Beziehungen zwischen Feldern,
• referenzielle Beziehungen zwischen Tabellen,
• widersprüchliche Angaben zu derselben Entität,
• Abgleich verschiedener Datenquellen.

Eine Konsistenzregel könnte beispielsweise lauten, dass ein Enddatum nicht vor dem zugehörigen Startdatum liegen darf oder dass ein Fremdschlüssel auf einen vorhandenen Datensatz verweisen muss.

9. Interne Konsistenz beweist keine sachliche Richtigkeit

Ein Datenbestand kann vollständig widerspruchsfrei aufgebaut sein und dennoch falsche Angaben enthalten.

Beispiel: In allen Tabellen ist für dieselbe Person dasselbe Geburtsdatum gespeichert. Diese Übereinstimmung belegt interne Konsistenz. Sie belegt jedoch nicht, dass das gespeicherte Geburtsdatum tatsächlich richtig ist.

Deshalb ist Konsistenz von Genauigkeit beziehungsweise sachlicher Richtigkeit zu trennen.

10. Genauigkeit benötigt eine geeignete Referenz

Soll geprüft werden, ob ein gespeicherter Wert mit dem tatsächlich maßgeblichen Wert übereinstimmt, wird eine geeignete Referenzgrundlage benötigt.

Je nach Untersuchungsfrage kann dies beispielsweise sein:

• ein verifiziertes Referenzsystem,
• eine kontrollierte Messung,
• ein fachlich bestätigter Referenzdatensatz,
• eine Originalquelle,
• ein anderweitig begründeter Ground-Truth-Datensatz.

Ohne geeignete Referenz können zwar Format, Wertebereich, Konsistenz oder Plausibilität untersucht werden. Die tatsächliche sachliche Genauigkeit eines Werts lässt sich daraus jedoch nicht automatisch ableiten.

11. Genauigkeitsquote und Referenzabdeckung müssen getrennt werden

Ist nur für einen Teil des Datenbestands eine belastbare Referenz vorhanden, sollte eine Genauigkeitsmessung nicht so dargestellt werden, als gelte sie ungeprüft für den gesamten Datenbestand.

Zusätzlich zur eigentlichen Messung sollte deshalb dokumentiert werden:

• wie viele Werte geprüft wurden,
• welcher Anteil des Gesamtbestands eine Referenz besitzt,
• wie die geprüften Fälle ausgewählt wurden,
• welche Referenz verwendet wurde.

12. Plausibilität und Validität sind nicht mit Genauigkeit gleichzusetzen

Ein Datum kann syntaktisch gültig sein, ein Zahlenwert kann innerhalb eines plausiblen Bereichs liegen und eine Postleitzahl kann das erwartete Format besitzen.

Solche Prüfungen können technische Regelverletzungen erkennen. Sie belegen aber nicht zwingend, dass der konkrete Wert dem tatsächlichen Sachverhalt entspricht.

13. Aktualität benötigt einen Bezugszeitpunkt

Ob Daten aktuell genug sind, lässt sich nur in Bezug auf einen Zeitpunkt oder einen fachlich definierten Zeitraum beurteilen.

Relevante Zeitangaben können beispielsweise sein:

• Zeitpunkt des zugrunde liegenden Ereignisses,
• Zeitpunkt der Datenerfassung,
• Zeitpunkt der letzten Aktualisierung,
• Exportzeitpunkt,
• Prüfzeitpunkt.

Diese Zeitpunkte dürfen nicht ohne weiteres miteinander gleichgesetzt werden.

14. Aktualität braucht eine begründete Frist oder Schwelle

Eine Aussage wie „die Daten sind veraltet“ benötigt einen Prüfmaßstab.

Je nach Anwendungsfall kann beispielsweise festgelegt werden, dass ein bestimmtes Attribut nicht älter als einen definierten Zeitraum sein darf.

Eine mögliche Messgröße kann dann die Zeitdifferenz zwischen relevantem Bezugszeitpunkt und dokumentierter Aktualisierung sein.

Welche Zeitspanne akzeptabel ist, folgt jedoch nicht allein aus der technischen Messung. Sie muss aus einer dokumentierten Anforderung, einem fachlichen Nutzungskontext oder einem anderweitig begründeten Prüfmaßstab abgeleitet werden.

15. Qualitätsmetriken müssen ihren Zähler und Nenner offenlegen

Prozentwerte wirken präzise, können aber ohne dokumentierte Berechnung irreführend sein.

Für jede Metrik sollte daher mindestens festgehalten werden:

• geprüfte Datenmenge,
• Zählerdefinition,
• Nennerdefinition,
• ausgeschlossene Fälle,
• Missing-Value-Regel,
• verwendete Referenz,
• Prüfzeitpunkt,
• verwendeter Datenstand.

16. Datenprofiling ist eine Untersuchungstechnik, kein Gesamturteil

Technische Datenprofile können beispielsweise Werteverteilungen, Häufigkeiten, fehlende Werte, eindeutige Werte, Wertebereiche oder statistische Auffälligkeiten sichtbar machen.

Solche Ergebnisse sind nützlich, um Prüfbereiche einzugrenzen und Anomalien zu erkennen. Sie ersetzen jedoch nicht die fachliche Festlegung, welche Qualitätsdimension und welche Regel für die konkrete Fragestellung relevant ist.

17. Auffälligkeit und Qualitätsfehler sind nicht dasselbe

Ein statistisch ungewöhnlicher Wert kann ein Datenfehler sein. Er kann aber ebenso einen tatsächlich seltenen Sachverhalt korrekt abbilden.

Deshalb sollte ein Ausreißer zunächst als technischer Befund dokumentiert werden. Ob er fehlerhaft ist, benötigt anschließend eine geeignete fachliche oder technische Referenz.

18. Stichproben begrenzen die Reichweite der Aussage

Bei großen Datenbeständen kann eine vollständige Einzelprüfung technisch oder wirtschaftlich nicht sinnvoll sein. Dann kann eine Stichprobe Teil der Untersuchungsmethode sein.

In diesem Fall sollte dokumentiert werden:

• Grundgesamtheit,
• Stichprobenumfang,
• Auswahlverfahren,
• gegebenenfalls Schichtung,
• ausgeschlossene Datenbereiche,
• Grenzen der Übertragbarkeit.

Eine auf einer Stichprobe beruhende Feststellung darf nicht ohne weitere Begründung als vollständige Einzelprüfung des gesamten Datenbestands dargestellt werden.

19. Fehlende Referenzen gehören in die Aussagegrenze

Nicht jede Qualitätsdimension kann mit den vorhandenen Unterlagen vollständig geprüft werden.

Fehlt beispielsweise eine geeignete Referenzquelle, kann möglicherweise die Konsistenz eines Werts geprüft werden, nicht aber seine tatsächliche Genauigkeit.

Fehlt die erwartete Grundgesamtheit, kann eine Vollständigkeitsquote unter Umständen nur auf Feldebene bestimmt werden, nicht auf Ebene der gesamten fachlichen Abdeckung.

Solche Grenzen sind Teil des technischen Befunds und sollten ausdrücklich dokumentiert werden.

20. Vom Messwert zur fachlichen Schlussfolgerung

Ein Messwert ist zunächst ein technischer Befund.

Beispiel: In 9.420 von 10.000 untersuchten Datensätzen ist ein als verpflichtend definiertes Feld nach der festgelegten Missing-Value-Regel befüllt.

Daraus ergibt sich für diese konkret definierte Messung ein Vollständigkeitswert von 94,2 Prozent.

Ob dieser Wert für den vorgesehenen Einsatzzweck ausreichend ist, erfordert zusätzlich einen dokumentierten Bewertungsmaßstab.

21. Technischer Qualitätsbefund und rechtliche Würdigung bleiben getrennt

Ein technisches Gutachten kann beispielsweise feststellen, dass ein definierter Anteil der Datensätze eine bestimmte Qualitätsregel verletzt oder dass eine berichtete Kennzahl mit der dokumentierten Berechnung nicht reproduzierbar ist.

22. Praktische Dokumentationsstruktur einer Qualitätsmessung

Für jede relevante Qualitätsmessung können beispielsweise folgende Angaben festgehalten werden:

• eindeutiger Datenstand,
• untersuchte Qualitätsdimension,
• technische oder fachliche Prüfregel,
• verwendete Metrik,
• Zähler und Nenner,
• verwendete Referenzdaten,
• Ausschluss- und Missing-Value-Regeln,
• Prüfskript oder Abfrage,
• Messergebnis,
• Unsicherheit und Aussagegrenze.

Weiterführende Beiträge

Bevor Datenqualität gemessen wird, muss feststehen, welcher konkrete Datenbestand Untersuchungsgegenstand ist. Dazu siehe Daten als Untersuchungsgegenstand: Herkunft, Datenstand und Reproduzierbarkeit .

Wie eine technische Fragestellung, Datenbasis und ein Prüfmaßstab sauber voneinander abgegrenzt werden, erläutert Welche technische Fragestellung kann ein IT-Sachverständiger tatsächlich beantworten? .

Der allgemeine Quellen- und Dokumentationsstandard ist unter Quellen und Methodik beschrieben.

Datenqualität technisch untersuchen

Wenn Vollständigkeit, Konsistenz, Genauigkeit, Aktualität oder andere Datenqualitätsmerkmale technisch geprüft werden sollen, können zunächst Datenstand, Qualitätsdimension, Prüfmaßstab und geeignete Metriken fachlich eingegrenzt werden.

Data-Science-Gutachten ansehen