Machine Learning & KI
Eine technische Fairnessanalyse beginnt nicht mit der Aussage, ein Modell sei fair oder unfair. Zunächst müssen Untersuchungsfrage, Gruppenbildung, Datenstand, Referenzwerte, Modelloutput, Metrik und Vergleichsmaßstab festgelegt werden.
Kurzantwort
Bias und Fairness sind keine einzelne technische Kennzahl. NIST beschreibt Bias als breiteres sozio-technisches Thema und unterscheidet unter anderem systemischen, statistischen und menschlichen Bias.
Für eine technische Modellprüfung können anschließend konkrete Gruppenunterschiede gemessen werden: beispielsweise Selection Rates, True-Positive-Raten, False-Positive-Raten, gruppenspezifische Accuracy oder daraus gebildete Differenzen und Verhältnisse.
Eine praktikable Untersuchungskette lautet: Untersuchungsfrage → möglicher Schaden beziehungsweise Effekt → Gruppenmerkmale → Datenstand → Referenzwerte → Modelloutput → Gruppenmetriken → Unsicherheit → technische Interpretation → Aussagegrenze.
1. Begriffe und Untersuchungskontext
Der Begriff Bias besitzt mehrere Bedeutungen
Bias kann in einem technischen Kontext eine systematische statistische Verzerrung bezeichnen. In der Diskussion über KI-Systeme wird der Begriff jedoch auch für weitergehende organisatorische, gesellschaftliche und menschliche Einflüsse verwendet.
Deshalb sollte ein Gutachten nicht lediglich feststellen, es liege „Bias“ vor, ohne den gemeinten Befund genauer zu bestimmen.
NIST unterscheidet mehrere Kategorien von AI Bias
NIST unterscheidet in Special Publication 1270 drei übergeordnete Kategorien: systemischen, statistischen und menschlichen Bias.
Damit wird Bias ausdrücklich nicht allein auf Modellparameter, Trainingsdaten oder eine einzelne Fairnessmetrik reduziert.
Statistischer Bias bildet nicht das gesamte Bias-Problem ab
NIST beschreibt, dass Bias in technischen Systemen häufig zunächst als statistisches Phänomen betrachtet wird.
Diese Perspektive allein deckt nach der NIST-Einordnung jedoch nicht das gesamte Spektrum möglicher Risiken eines KI-Systems ab.
Eine Fairnessfrage benötigt einen konkreten Untersuchungskontext
Die Aussage „Ist das Modell fair?“ ist als technische Prüffrage noch zu unbestimmt.
Es muss zumindest geklärt werden, welches Verhalten, welcher mögliche Effekt und welche Gruppen miteinander verglichen werden sollen.
Fairlearn betrachtet Fairness im sozio-technischen Kontext
Fairlearn ordnet die Fairness von AI-Systemen nicht lediglich einer einzelnen technischen Ursache zu.
Die Dokumentation stellt mögliche Auswirkungen beziehungsweise Schäden für Menschen in den Mittelpunkt und weist darauf hin, dass verschiedene Ursachen gleichzeitig auftreten können.
Der mögliche Schaden bestimmt mit, welche Metrik sinnvoll ist
Fairlearn unterscheidet beispielsweise zwischen Allocation Harms und Quality-of-Service Harms.
Bei einer Allokationsfrage kann relevant sein, wie häufig Gruppen ein positives Ergebnis erhalten. Bei einer Quality-of-Service-Frage kann dagegen entscheidend sein, wie zuverlässig das System für unterschiedliche Gruppen arbeitet.
Gruppenmerkmale müssen vor der Messung bestimmt werden
Eine gruppenbezogene Messung benötigt ein oder mehrere Merkmale, anhand derer Beobachtungen Gruppen zugeordnet werden.
In Fairlearn werden solche Variablen
technisch unter anderem als
sensitive_features
verarbeitet.
Ein technisches Gruppenmerkmal ist noch keine rechtliche Einordnung
sensitive_feature
folgt nicht,
dass damit bereits
ihre rechtliche Bedeutung
oder ein rechtlicher Schutzstatus
bestimmt wäre.
2. Gruppenvergleich und technische Messbasis
Gesamtmetriken können Unterschiede zwischen Gruppen verdecken
Ein Modell kann über den vollständigen Testbestand eine bestimmte Accuracy oder Fehlerrate erreichen, während die entsprechenden Werte zwischen Gruppen erheblich voneinander abweichen.
Eine Gesamtmetrik beantwortet deshalb nicht automatisch eine gruppenspezifische Untersuchungsfrage.
Gruppenmetriken sollten dieselbe technische Definition verwenden
Werden Gruppen miteinander verglichen, sollte dieselbe Metrikdefinition auf dieselbe Art auf die jeweiligen Teilbestände angewendet werden.
MetricFrame trennt Gesamt- und Gruppenmetriken
Fairlearn stellt mit
MetricFrame
eine technische Struktur bereit,
mit der Metriken
sowohl insgesamt
als auch gruppenweise
ausgewertet werden können.
Die Eigenschaft
by_group
liefert Metriken
für die jeweiligen Untergruppen.
Differenzen zwischen Gruppen sind eine mögliche Zusammenfassung
MetricFrame.difference()
kann Unterschiede
zwischen Gruppenwerten zusammenfassen.
Eine solche Differenz beschreibt einen Messwert. Sie erklärt nicht automatisch, wodurch der Unterschied verursacht wurde.
Verhältnisse beantworten eine andere Frage als Differenzen
MetricFrame.ratio()
bildet ein Verhältnis
zwischen Gruppenwerten.
Verhältnis und absolute Differenz sind unterschiedliche Darstellungen und dürfen nicht verwechselt werden.
Selection Rate misst den Anteil positiver Vorhersagen
Bei einer binären Klassifikation kann untersucht werden, welcher Anteil einer Gruppe eine positive Vorhersage erhält.
Diese Selection Rate beschreibt zunächst den Modelloutput und nicht automatisch dessen Richtigkeit.
Demographic Parity vergleicht positive Vorhersagen zwischen Gruppen
Fairlearn beschreibt Demographic Parity als gruppenbezogenes Kriterium.
Im binären Fall kann dies insbesondere über die Selection Rates zwischen Gruppen untersucht werden.
Demographic Parity berücksichtigt die wahren Labels nicht direkt
Demographic Parity betrachtet die Vorhersagen zwischen Gruppen.
Ob eine Vorhersage mit einem Referenzlabel übereinstimmt, ist nicht Bestandteil dieser konkreten Metrikdefinition.
Gleiche Selection Rates beweisen nicht automatisch Fairness
Das Erreichen einer bestimmten Paritätsmetrik erlaubt kein allgemeines Gesamturteil über Fairness.
Die Aussagekraft hängt von Annahmen, Untersuchungsfrage und sozio-technischem Kontext ab.
Demographic Parity besitzt inhaltliche Voraussetzungen
Die Verwendung einer Fairnessmetrik setzt voraus, dass die zugehörige Fragestellung zum untersuchten Problem passt.
Eine mathematisch berechnete Metrik ersetzt diese fachliche Begründung nicht.
Equalized Odds verwendet Referenzlabels
Equalized Odds beantwortet eine andere Frage als Demographic Parity.
Dabei werden insbesondere True-Positive- und False-Positive-Raten zwischen Gruppen betrachtet.
True-Positive-Raten vergleichen korrekt erkannte positive Fälle
Die True-Positive-Rate betrachtet Fälle mit positivem Referenzlabel und den Anteil, den das Modell ebenfalls positiv klassifiziert.
False-Positive-Raten betrachten eine andere Fehlerart
Die False-Positive-Rate betrachtet Fälle mit negativem Referenzlabel, die vom Modell positiv vorhergesagt werden.
Gruppen können ähnliche Selection Rates und dennoch unterschiedliche Fehlerraten besitzen.
Equal Opportunity betrachtet nur einen Teil von Equalized Odds
Equal Opportunity fokussiert insbesondere die positiven Referenzfälle beziehungsweise die True-Positive-Rate.
| Kriterium | Verglichen wird | Referenzlabels | Aussagegrenze |
|---|---|---|---|
| Demographic Parity | positive Vorhersagen beziehungsweise Selection Rates | nicht unmittelbar erforderlich | Gleiche Raten beweisen kein allgemeines Fairnessurteil. |
| Equalized Odds | True-Positive- und False-Positive-Raten zwischen Gruppen | erforderlich | Abhängig von Qualität und Bedeutung der Referenzlabels. |
| Equal Opportunity | True-Positive-Raten zwischen Gruppen | erforderlich | Betrachtet nur einen Teil der Fehlerstruktur. |
3. Fairnesskriterien und Metrikwahl
Die Wahl der Fairnessmetrik ist Teil des Prüfmaßstabs
Equalized Odds und Equal Opportunity wurden als unterschiedliche statistische Kriterien für überwachte Klassifikation formuliert. Ein erfülltes Kriterium beantwortet nur die damit definierte Messfrage; es beweist weder Ursachenfreiheit von Benachteiligung noch eine rechtliche Bewertung des Systems.
Demographic Parity, Equalized Odds und Equal Opportunity beantworten unterschiedliche Fragen.
Die Auswahl sollte deshalb aus der konkreten Untersuchungsfrage abgeleitet und dokumentiert werden.
Referenzlabels sind selbst Untersuchungsgegenstand
True-Positive- und False-Positive-Raten setzen geeignete Referenzlabels voraus.
Fehlerhafte, unvollständige oder fachlich ungeeignete Labels begrenzen die Aussage der Gruppenmetriken.
Construct Validity begrenzt auch Fairnessmetriken
Die Übersetzung eines realen Problems in Zielvariable, Features und Messgrößen enthält Annahmen.
Eine mathematisch korrekt berechnete Fairnessmetrik kann eine ungeeignete Operationalisierung nicht automatisch korrigieren.
Gruppengröße gehört zur Interpretation
Kleine Gruppen können zu stark schwankenden gruppenspezifischen Kennzahlen führen.
Deshalb sollten Fallzahlen und Datenabdeckung zusammen mit der Metrik dokumentiert werden.
4. Unsicherheit, Untergruppen und Aggregation
Unsicherheit sollte bei Gruppenmetriken sichtbar bleiben
Fairlearn unterstützt
für MetricFrame
Bootstrap-basierte Konfidenzintervalle.
Damit können Schätzwerte zusammen mit ihrer Unsicherheit betrachtet werden.
Mehrere Gruppenmerkmale erzeugen feinere Untergruppen
Werden mehrere Gruppenmerkmale gemeinsam ausgewertet, entstehen Kombinationen der Merkmalsausprägungen.
Dadurch können Unterschiede sichtbar werden, die in gröberen Aggregationen verborgen bleiben.
Nicht vorhandene Untergruppen können keine belastbare Metrik liefern
Fehlen bestimmte Kombinationen von Gruppenmerkmalen im untersuchten Datenbestand, kann für diese Kombination keine belastbare empirische Gruppenmetrik aus diesem Bestand abgeleitet werden.
Aggregation kann gruppenspezifische Muster verdecken
Ein Gesamtergebnis kann ein anderes Muster zeigen als stärker aufgeschlüsselte Gruppen.
Deshalb gehört die verwendete Aggregations- und Gruppierungsebene zur Dokumentation.
Viele Untergruppen erhöhen die Zahl der Vergleiche
Mit zunehmender Zahl von Gruppen und Metriken steigt auch die Zahl statistischer Vergleiche.
Dies ist bei Interpretation und Unsicherheitsbewertung zu berücksichtigen.
Warum ist eine gemessene Gruppenabweichung noch keine Ursachenanalyse?
Eine Gruppenmetrik beschreibt zunächst, dass sich ein definierter Messwert zwischen den untersuchten Gruppen unterscheidet.
Als mögliche Ursachen kommen unter anderem Datenzusammensetzung, Referenzlabels, Modellverhalten, Schwellenwerte, Auswahlprozesse und der Anwendungskontext in Betracht. Welche Ursache tatsächlich trägt, muss gesondert untersucht werden.
5. Ursachen, Aussagegrenzen und rechtliche Trennung
Fairnessmetriken sind keine Ursachenanalyse
Eine gemessene Differenz zeigt zunächst, dass sich eine bestimmte Metrik zwischen Gruppen unterscheidet.
Sie beweist nicht allein, wodurch dieser Unterschied entstanden ist.
Eine Gruppenabweichung beweist nicht automatisch einen Modellfehler
Unterschiede können mit Datenzusammensetzung, Referenzlabels, Modellverhalten, Schwellenwerten, Auswahlprozessen oder dem Anwendungskontext zusammenhängen.
Die Ursachenanalyse ist deshalb vom Gruppenvergleich zu trennen.
Ein fehlender gemessener Unterschied beweist nicht die Abwesenheit von Schäden
Eine einzelne Fairnessmetrik kann geringe Unterschiede zeigen.
Daraus folgt nicht, dass alle anderen Auswirkungen, Gruppen oder Schadensarten untersucht wurden.
Repräsentativität und Fairness bleiben unterschiedliche Prüfbereiche
Repräsentativität betrifft insbesondere Population, Stichprobe, Abdeckung und Datenverteilung.
Eine Fairnessanalyse untersucht dagegen konkrete gruppenbezogene Unterschiede in Modelloutput, Leistung oder Auswirkungen.
Bias und Fairness sind ebenfalls nicht identisch
NIST behandelt Bias als breites sozio-technisches Phänomen.
Nicht jede Gruppenabweichung sollte deshalb automatisch mit dem umfassenden Begriff Bias gleichgesetzt werden.
Technische Fairnessmessung und rechtliche Diskriminierungsprüfung sind zu trennen
Eine technische Untersuchung kann Gruppen, Selection Rates, True-Positive- und False-Positive-Raten sowie weitere Unterschiede dokumentieren.
NIST ersetzt keine verbindliche Rechtsquelle
NIST-Publikationen dienen hier als fachliche und sozio-technische Grundlage.
Sie ersetzen keine Gesetze, regulatorischen Vorgaben oder die rechtliche Würdigung eines konkreten Falls.
6. Dokumentation und fachliche Synthese
Praktische Dokumentationsstruktur einer Fairnessanalyse
- technische Fragestellung,
- untersuchter Modellstand,
- Daten- und Testdatenstand,
- untersuchter Effekt beziehungsweise Harm,
- Gruppenmerkmale und Gruppendefinitionen,
- Fallzahlen je Gruppe,
- Referenzlabels,
- Modelloutput und Schwellenwert,
- Selection Rates,
- gruppenbezogene Leistungsmetriken,
- True-Positive- und False-Positive-Raten,
- verwendetes Fairnesskriterium,
- Differenzen oder Ratios,
- Unsicherheitsangaben,
- Aggregations- und Untergruppenebene,
- Daten- und Methodenbegrenzungen,
- technische Interpretation,
- Aussagegrenze.
Ist die Fairnessanalyse technisch belastbar?
- Ist die konkrete Entscheidungssituation und Zielpopulation bestimmt?
- Sind relevante Gruppenmerkmale und Gruppendefinitionen dokumentiert?
- Wird für alle Gruppen dieselbe technische Metrikdefinition verwendet?
- Sind Gruppengrößen, Fallzahlen und statistische Unsicherheit sichtbar?
- Ist begründet, warum die gewählte Fairnessmetrik zur Fragestellung passt?
- Sind Untergruppen, Aggregationseffekte und Mehrfachmerkmale berücksichtigt?
- Bleiben beobachtete Unterschiede und ihre möglichen Ursachen getrennt?
- Bleiben technische Fairnessmessung, Bewertung und rechtliche Diskriminierungsprüfung getrennt?
Konstruiertes Beispiel
Ein Klassifikationsmodell priorisiert eingehende Servicefälle. Zwei vorab definierte Kundensegmente werden getrennt ausgewertet.
Segment A erhält in 55 Prozent der Fälle eine positive Vorhersage, Segment B in 35 Prozent. Die Selection Rates unterscheiden sich.
Unter Verwendung eines unabhängig geprüften Referenzlabels zeigen sich jedoch ähnliche True-Positive-Raten, während die False-Positive-Raten unterschiedlich sind.
Demographic-Parity- und Equalized-Odds-bezogene Messungen liefern damit unterschiedliche Informationen über denselben Modellstand.
Der technische Befund lautet deshalb nicht pauschal „das Modell ist unfair“, sondern dokumentiert Gruppen, Metriken, Unterschiede, Fallzahlen, Referenzwerte und Aussagegrenzen.
Das Beispiel ist vollständig konstruiert und stellt kein reales Mandat, keine rechtliche Bewertung und keine gerichtliche Beauftragung dar.
Quellen und fachliche Grundlage
- Wissenschaftliche Originalarbeit Moritz Hardt, Eric Price und Nati Srebro: Equality of Opportunity in Supervised Learning. NeurIPS 29 (2016), Abschnitt 2, Definitionen 2.1 und 2.2. Definiert Equalized Odds und Equal Opportunity; setzt geeignete Zielwerte und Gruppenangaben voraus. Geprüft am 15.10.2026.
- Offizielle NIST-Publikation National Institute of Standards and Technology: NIST Special Publication 1270 – Towards a Standard for Identifying and Managing Bias in Artificial Intelligence . Grundlage zur sozio-technischen Einordnung von AI Bias sowie zu systemischem, statistischem und menschlichem Bias. Geprüft am 20.09.2026.
- Offizielle NIST-Ressource NIST: AI RMF Playbook – Measure . Ergänzende Grundlage zu Messung, Kontext und Aussagegrenzen. Geprüft am 20.09.2026.
- Technische Referenz Fairlearn: Fairness in Machine Learning . Grundlage zu sozio-technischer Fairness, Harm-Kategorien und Construct Validity. Geprüft am 20.09.2026.
- Technische Referenz Fairlearn: Common fairness metrics . Grundlage zu Demographic Parity, Selection Rates, Equalized Odds und Equal Opportunity. Geprüft am 20.09.2026.
-
Technische Referenz
Fairlearn:
fairlearn.metrics.MetricFrame
.
Grundlage zu Gesamt-
und Gruppenmetriken,
by_group, Differenzen, Ratios und Bootstrap-Konfidenzintervallen. Geprüft am 20.09.2026. - Eigene Fachliteratur Mathias Ellmann: Von Modellen zu Entscheidungen in Machine Learning mit Python . Fachlicher Hintergrund zu Evaluation, Metriken, Testdaten, Klassifikation und Modellinterpretation.
- Eigene fachliche Einordnung Untersuchungsfrage → möglicher Effekt beziehungsweise Harm → Gruppen → Datenstand → Referenz → Modelloutput → Gruppenmetriken → Unsicherheit → Interpretation → Aussagegrenze.
Weiterführende Beiträge
Wie sich ein bestimmter Modellstand unter Randfällen, definierten Störungen, Stressbedingungen und adversarialen Eingaben verhält, erläutert Robustheit von Machine-Learning-Modellen technisch prüfen: Randfälle, Störungen und adversariale Eingaben .
Zur Repräsentativität von Trainings- und Testdaten siehe Trainings- und Testdaten auf Repräsentativität prüfen .
Zur technischen Modellvalidierung siehe Machine-Learning-Modell technisch validieren .
Zur Bestimmung des Modellstands siehe Machine-Learning-Modell als Untersuchungsgegenstand .
Zur Datenqualität siehe Datenqualität technisch prüfen .
Zur Eingrenzung technischer Fragestellungen siehe Welche technische Fragestellung kann ein IT-Sachverständiger tatsächlich beantworten? .
Der Quellen- und Dokumentationsstandard ist unter Quellen und Methodik beschrieben.
Kritische Gegenprüfung und methodische Aussagegrenze
Unterschiede zwischen Gruppenmetriken können aus Modell, Daten, Labeldefinition, Messfehlern, Schwellenwerten oder Stichprobenzusammensetzung entstehen. Eine einzelne Fairnessmetrik begründet deshalb keine allgemeine normative Bewertung.
- Daten- oder Modellursache: Gruppenunterschiede können bereits in Auswahl, Messung oder Labelung liegen oder erst durch Modell und Entscheidungsschwelle entstehen.
- Metrik-Konflikte: Unterschiedliche Fairnesskriterien können gleichzeitig nicht erfüllbar oder für den Einsatzzweck unterschiedlich relevant sein.
- Technik und Normativität trennen: Der technische Befund beschreibt messbare Unterschiede; die Frage, welche Verteilung als gerecht oder rechtlich zulässig gilt, benötigt einen gesonderten normativen Maßstab.
Eigene Fachliteratur und Veröffentlichungen
Die folgenden eigenen Arbeiten dienen der fachlichen Vertiefung und methodischen Einordnung. Sie ersetzen keine erforderlichen Primär-, Norm-, Hersteller- oder sonstigen unabhängigen Fachquellen. Unveröffentlichte Manuskripte, Entwürfe und Lehrunterlagen werden hier bewusst nicht als öffentliche Quellen ausgewiesen.
- Eigenes Fachbuch Kritisches Denken in Data Science mit Python – Vom Beobachten zur verantwortbaren Entscheidung
- Eigener veröffentlichter Fachbeitrag KI und Ethik in der Praxis: Leitlinien für Entwickler:innen, Data Scientists und Projektverantwortliche
Müssen Bias oder Fairness eines Machine-Learning-Modells technisch untersucht werden?
Ich untersuche Gruppenbildung, Daten- und Labelgrundlage, Modelloutput, Fairnessmetriken und Unsicherheiten. Gemessene Unterschiede, mögliche Interpretationen und die Grenze zur rechtlichen Bewertung werden klar voneinander getrennt.
Data-Science-Gutachten ansehen