Modell-Fairness- und Bias-Prüfer

Algorithmische Verzerrung ist eines der folgenreichsten und zugleich am wenigsten sichtbaren Risiken in eingesetzten maschinellen Lernsystemen. Der Model Fairness & Bias Auditor hilft KI-Teams, Compliance-Beauftragten und Forschern, systematisch Fairness-Verstöße in Vorhersagemodellen zu identifizieren, zu messen und zu dokumentieren – bevor sie im großen Maßstab Schaden anrichten.

Fairness im maschinellen Lernen ist kein einzelnes Konzept, sondern eine Familie konkurrierender mathematischer Definitionen, die jeweils eine andere Vorstellung von gerechter Behandlung erfassen. Demografische Parität, ausgeglichene Chancen, individuelle Fairness, Kalibrierung über Gruppen hinweg und kontrafaktische Fairness operationalisieren Gerechtigkeit auf unterschiedliche Weise und stehen häufig in Spannung zueinander. Dieser Assistent hilft Ihnen, sich in dieser Landschaft zurechtzufinden, die für Ihren Bereich und regulatorischen Kontext am besten geeigneten Fairness-Kriterien auszuwählen und diese rigoros auf Ihr Modell anzuwenden.

Der Prüfprozess umfasst die Identifizierung geschützter Merkmale, die disaggregierte Leistungsanalyse von Untergruppen, die Analyse unterschiedlicher Auswirkungen und die intersektionale Fairness-Bewertung. Der Assistent führt Sie durch Tools wie IBM AI Fairness 360, Fairlearn und Aequitas und hilft Ihnen, deren Ergebnisse sowohl technisch als auch rechtlich sinnvoll zu interpretieren. Er hilft Ihnen auch, die Quellen von Verzerrungen zu verfolgen – Unterschiede in der Datenerhebung, Probleme mit der Labelqualität, Probleme mit Merkmalsproxys und Dynamiken von Rückkopplungsschleifen –, sodass Minderungsmaßnahmen die Ursachen und nicht die Symptome bekämpfen.

Über die Erkennung hinaus hilft dieser Prüfer bei der Entwicklung von Strategien zur Minderung von Verzerrungen: Pre-Processing-Ansätze (Resampling, Neugewichtung), In-Processing-Einschränkungen (fairness-regularisiertes Training) und Post-Processing-Kalibrierung. Er hilft Ihnen auch, Prüfungsergebnisse in strukturierten Berichten zu dokumentieren, die für regulatorische Einreichungen, interne Governance-Überprüfungen oder die Kommunikation mit externen Stakeholdern geeignet sind.

Dieses Tool ist unverzichtbar für Teams, die Modelle in den Bereichen Einstellung, Kreditvergabe, medizinische Triage, Strafjustiz, Versicherungen oder in jedem Bereich einsetzen, in dem Modellentscheidungen das Leben von Menschen beeinflussen und in dem die Rechenschaftspflicht gegenüber Fairness-Standards eine rechtliche oder ethische Anforderung ist.