Bias und Fairness bei Machine-Learning-Modellen technisch untersuchen: Gruppen, Metriken und Aussagegrenzen

Machine Learning & KI

Eine technische Fairnessanalyse beginnt nicht mit der Aussage, ein Modell sei fair oder unfair. Zunächst müssen Untersuchungsfrage, Gruppenbildung, Datenstand, Referenzwerte, Modelloutput, Metrik und Vergleichsmaßstab festgelegt werden.

1. Der Begriff Bias besitzt mehrere Bedeutungen

Bias kann in einem technischen Kontext eine systematische statistische Verzerrung bezeichnen. In der Diskussion über KI-Systeme wird der Begriff jedoch auch für weitergehende organisatorische, gesellschaftliche und menschliche Einflüsse verwendet.

Deshalb sollte ein Gutachten nicht lediglich feststellen, es liege „Bias“ vor, ohne den gemeinten Befund genauer zu bestimmen.

2. NIST unterscheidet mehrere Kategorien von AI Bias

NIST unterscheidet in Special Publication 1270 drei übergeordnete Kategorien: systemischen, statistischen und menschlichen Bias.

Damit wird Bias ausdrücklich nicht allein auf Modellparameter, Trainingsdaten oder eine einzelne Fairnessmetrik reduziert.

3. Statistischer Bias bildet nicht das gesamte Bias-Problem ab

NIST beschreibt, dass Bias in technischen Systemen häufig zunächst als statistisches Phänomen betrachtet wird.

Diese Perspektive allein deckt nach der NIST-Einordnung jedoch nicht das gesamte Spektrum möglicher Risiken eines KI-Systems ab.

4. Eine Fairnessfrage benötigt einen konkreten Untersuchungskontext

Die Aussage „Ist das Modell fair?“ ist als technische Prüffrage noch zu unbestimmt.

Es muss zumindest geklärt werden, welches Verhalten, welcher mögliche Effekt und welche Gruppen miteinander verglichen werden sollen.

5. Fairlearn betrachtet Fairness im sozio-technischen Kontext

Fairlearn ordnet die Fairness von AI-Systemen nicht lediglich einer einzelnen technischen Ursache zu.

Die Dokumentation stellt mögliche Auswirkungen beziehungsweise Schäden für Menschen in den Mittelpunkt und weist darauf hin, dass verschiedene Ursachen gleichzeitig auftreten können.

6. Der mögliche Schaden bestimmt mit, welche Metrik sinnvoll ist

Fairlearn unterscheidet beispielsweise zwischen Allocation Harms und Quality-of-Service Harms.

Bei einer Allokationsfrage kann relevant sein, wie häufig Gruppen ein positives Ergebnis erhalten. Bei einer Quality-of-Service-Frage kann dagegen entscheidend sein, wie zuverlässig das System für unterschiedliche Gruppen arbeitet.

7. Gruppenmerkmale müssen vor der Messung bestimmt werden

Eine gruppenbezogene Messung benötigt ein oder mehrere Merkmale, anhand derer Beobachtungen Gruppen zugeordnet werden.

In Fairlearn werden solche Variablen technisch unter anderem als sensitive_features verarbeitet.

8. Ein technisches Gruppenmerkmal ist noch keine rechtliche Einordnung

9. Gesamtmetriken können Unterschiede zwischen Gruppen verdecken

Ein Modell kann über den vollständigen Testbestand eine bestimmte Accuracy oder Fehlerrate erreichen, während die entsprechenden Werte zwischen Gruppen erheblich voneinander abweichen.

Eine Gesamtmetrik beantwortet deshalb nicht automatisch eine gruppenspezifische Untersuchungsfrage.

10. Gruppenmetriken sollten dieselbe technische Definition verwenden

Werden Gruppen miteinander verglichen, sollte dieselbe Metrikdefinition auf dieselbe Art auf die jeweiligen Teilbestände angewendet werden.

11. MetricFrame trennt Gesamt- und Gruppenmetriken

Fairlearn stellt mit MetricFrame eine technische Struktur bereit, mit der Metriken sowohl insgesamt als auch gruppenweise ausgewertet werden können.

Die Eigenschaft by_group liefert Metriken für die jeweiligen Untergruppen.

12. Differenzen zwischen Gruppen sind eine mögliche Zusammenfassung

MetricFrame.difference() kann Unterschiede zwischen Gruppenwerten zusammenfassen.

Eine solche Differenz beschreibt einen Messwert. Sie erklärt nicht automatisch, wodurch der Unterschied verursacht wurde.

13. Verhältnisse beantworten eine andere Frage als Differenzen

MetricFrame.ratio() bildet ein Verhältnis zwischen Gruppenwerten.

Verhältnis und absolute Differenz sind unterschiedliche Darstellungen und dürfen nicht verwechselt werden.

14. Selection Rate misst den Anteil positiver Vorhersagen

Bei einer binären Klassifikation kann untersucht werden, welcher Anteil einer Gruppe eine positive Vorhersage erhält.

Diese Selection Rate beschreibt zunächst den Modelloutput und nicht automatisch dessen Richtigkeit.

15. Demographic Parity vergleicht positive Vorhersagen zwischen Gruppen

Fairlearn beschreibt Demographic Parity als gruppenbezogenes Kriterium.

Im binären Fall kann dies insbesondere über die Selection Rates zwischen Gruppen untersucht werden.

16. Demographic Parity berücksichtigt die wahren Labels nicht direkt

Demographic Parity betrachtet die Vorhersagen zwischen Gruppen.

Ob eine Vorhersage mit einem Referenzlabel übereinstimmt, ist nicht Bestandteil dieser konkreten Metrikdefinition.

17. Gleiche Selection Rates beweisen nicht automatisch Fairness

Das Erreichen einer bestimmten Paritätsmetrik erlaubt kein allgemeines Gesamturteil über Fairness.

Die Aussagekraft hängt von Annahmen, Untersuchungsfrage und sozio-technischem Kontext ab.

18. Demographic Parity besitzt inhaltliche Voraussetzungen

Die Verwendung einer Fairnessmetrik setzt voraus, dass die zugehörige Fragestellung zum untersuchten Problem passt.

Eine mathematisch berechnete Metrik ersetzt diese fachliche Begründung nicht.

19. Equalized Odds verwendet Referenzlabels

Equalized Odds beantwortet eine andere Frage als Demographic Parity.

Dabei werden insbesondere True-Positive- und False-Positive-Raten zwischen Gruppen betrachtet.

20. True-Positive-Raten vergleichen korrekt erkannte positive Fälle

Die True-Positive-Rate betrachtet Fälle mit positivem Referenzlabel und den Anteil, den das Modell ebenfalls positiv klassifiziert.

21. False-Positive-Raten betrachten eine andere Fehlerart

Die False-Positive-Rate betrachtet Fälle mit negativem Referenzlabel, die vom Modell positiv vorhergesagt werden.

Gruppen können ähnliche Selection Rates und dennoch unterschiedliche Fehlerraten besitzen.

22. Equal Opportunity betrachtet nur einen Teil von Equalized Odds

Equal Opportunity fokussiert insbesondere die positiven Referenzfälle beziehungsweise die True-Positive-Rate.

23. Die Wahl der Fairnessmetrik ist Teil des Prüfmaßstabs

Demographic Parity, Equalized Odds und Equal Opportunity beantworten unterschiedliche Fragen.

Die Auswahl sollte deshalb aus der konkreten Untersuchungsfrage abgeleitet und dokumentiert werden.

24. Referenzlabels sind selbst Untersuchungsgegenstand

True-Positive- und False-Positive-Raten setzen geeignete Referenzlabels voraus.

Fehlerhafte, unvollständige oder fachlich ungeeignete Labels begrenzen die Aussage der Gruppenmetriken.

25. Construct Validity begrenzt auch Fairnessmetriken

Die Übersetzung eines realen Problems in Zielvariable, Features und Messgrößen enthält Annahmen.

Eine mathematisch korrekt berechnete Fairnessmetrik kann eine ungeeignete Operationalisierung nicht automatisch korrigieren.

26. Gruppengröße gehört zur Interpretation

Kleine Gruppen können zu stark schwankenden gruppenspezifischen Kennzahlen führen.

Deshalb sollten Fallzahlen und Datenabdeckung zusammen mit der Metrik dokumentiert werden.

27. Unsicherheit sollte bei Gruppenmetriken sichtbar bleiben

Fairlearn unterstützt für MetricFrame Bootstrap-basierte Konfidenzintervalle.

Damit können Schätzwerte zusammen mit ihrer Unsicherheit betrachtet werden.

28. Mehrere Gruppenmerkmale erzeugen feinere Untergruppen

Werden mehrere Gruppenmerkmale gemeinsam ausgewertet, entstehen Kombinationen der Merkmalsausprägungen.

Dadurch können Unterschiede sichtbar werden, die in gröberen Aggregationen verborgen bleiben.

29. Nicht vorhandene Untergruppen können keine belastbare Metrik liefern

Fehlen bestimmte Kombinationen von Gruppenmerkmalen im untersuchten Datenbestand, kann für diese Kombination keine belastbare empirische Gruppenmetrik aus diesem Bestand abgeleitet werden.

30. Aggregation kann gruppenspezifische Muster verdecken

Ein Gesamtergebnis kann ein anderes Muster zeigen als stärker aufgeschlüsselte Gruppen.

Deshalb gehört die verwendete Aggregations- und Gruppierungsebene zur Dokumentation.

31. Viele Untergruppen erhöhen die Zahl der Vergleiche

Mit zunehmender Zahl von Gruppen und Metriken steigt auch die Zahl statistischer Vergleiche.

Dies ist bei Interpretation und Unsicherheitsbewertung zu berücksichtigen.

32. Fairnessmetriken sind keine Ursachenanalyse

Eine gemessene Differenz zeigt zunächst, dass sich eine bestimmte Metrik zwischen Gruppen unterscheidet.

Sie beweist nicht allein, wodurch dieser Unterschied entstanden ist.

33. Eine Gruppenabweichung beweist nicht automatisch einen Modellfehler

Unterschiede können mit Datenzusammensetzung, Referenzlabels, Modellverhalten, Schwellenwerten, Auswahlprozessen oder dem Anwendungskontext zusammenhängen.

Die Ursachenanalyse ist deshalb vom Gruppenvergleich zu trennen.

34. Ein fehlender gemessener Unterschied beweist nicht die Abwesenheit von Schäden

Eine einzelne Fairnessmetrik kann geringe Unterschiede zeigen.

Daraus folgt nicht, dass alle anderen Auswirkungen, Gruppen oder Schadensarten untersucht wurden.

35. Repräsentativität und Fairness bleiben unterschiedliche Prüfbereiche

Repräsentativität betrifft insbesondere Population, Stichprobe, Abdeckung und Datenverteilung.

Eine Fairnessanalyse untersucht dagegen konkrete gruppenbezogene Unterschiede in Modelloutput, Leistung oder Auswirkungen.

36. Bias und Fairness sind ebenfalls nicht identisch

NIST behandelt Bias als breites sozio-technisches Phänomen.

Nicht jede Gruppenabweichung sollte deshalb automatisch mit dem umfassenden Begriff Bias gleichgesetzt werden.

37. Technische Fairnessmessung und rechtliche Diskriminierungsprüfung sind zu trennen

Eine technische Untersuchung kann Gruppen, Selection Rates, True-Positive- und False-Positive-Raten sowie weitere Unterschiede dokumentieren.

38. NIST ersetzt keine verbindliche Rechtsquelle

NIST-Publikationen dienen hier als fachliche und sozio-technische Grundlage.

Sie ersetzen keine Gesetze, regulatorischen Vorgaben oder die rechtliche Würdigung eines konkreten Falls.

39. Praktische Dokumentationsstruktur einer Fairnessanalyse

• technische Fragestellung,
• untersuchter Modellstand,
• Daten- und Testdatenstand,
• untersuchter Effekt beziehungsweise Harm,
• Gruppenmerkmale und Gruppendefinitionen,
• Fallzahlen je Gruppe,
• Referenzlabels,
• Modelloutput und Schwellenwert,
• Selection Rates,
• gruppenbezogene Leistungsmetriken,
• True-Positive- und False-Positive-Raten,
• verwendetes Fairnesskriterium,
• Differenzen oder Ratios,
• Unsicherheitsangaben,
• Aggregations- und Untergruppenebene,
• Daten- und Methodenbegrenzungen,
• technische Interpretation,
• Aussagegrenze.

Weiterführende Beiträge

Zur Repräsentativität von Trainings- und Testdaten siehe Trainings- und Testdaten auf Repräsentativität prüfen .

Zur technischen Modellvalidierung siehe Machine-Learning-Modell technisch validieren .

Zur Bestimmung des Modellstands siehe Machine-Learning-Modell als Untersuchungsgegenstand .

Zur Datenqualität siehe Datenqualität technisch prüfen .

Zur Eingrenzung technischer Fragestellungen siehe Welche technische Fragestellung kann ein IT-Sachverständiger tatsächlich beantworten? .

Der Quellen- und Dokumentationsstandard ist unter Quellen und Methodik beschrieben.

Bias und Fairness technisch untersuchen

Wenn Gruppenunterschiede, Selection Rates, Fehlerraten oder andere Fairnessmetriken eines Machine-Learning-Modells untersucht werden sollen, können zunächst Modellstand, Datenbasis, Gruppen, Prüfmaßstab und Aussagegrenzen fachlich eingegrenzt werden.

Data-Science- & KI-Gutachten ansehen