Completed Projects

FairAlgos

Project Details

Funding

FFG - BRIDGE

Grant Number

878730

Duration

2020/05/01-2022/10/31

Contact

Martin Kampel

Persons

Martin Kampel
Jennifer Lumetzberger

Fairness, Bias und Transparenz von Computer Vision Algorithmen

Datenbasierte Technologie hat das Ziel, nach gewissen Merkmalen zu diskriminieren, zu klassifizieren und zu unterscheiden. Hierbei muss jedoch zwischen erwünschten und unfairen Formen der Diskriminierung unterschieden werden.

In aktuellen und weit verbreiteten Bilddatenbanken wie zum Beispiel dem IMDB Datenset wurde ein geschlechtsspezifischer Bias offengelegt. Das bedeutet, dass die Genauigkeit der Gesichtserkennung bei Männern mit weißer Hautfarbe am größten, während sie bei Frauen mit dunkler Hautfarbe am niedrigsten ist.

Auch interne Strukturen und Entscheidungsmechanismen eines Algorithmus können unfair und/oder intransparent sein. Das kann zum Beispiel folgende Bereiche Betreffen:

  • Entscheidungen über die Kreditwürdigkeit oder Anspruchsberechtigung
  • Zugang zu Gesundheitsdiensten
  • Zugang zu einer Arbeitsbeschäftigung
  • Zugang zu Bildung (z.B. Universitätszulassung)

Abgesehen vom Grundsatz der Transparenz nach der DSGVO, ist die Transparenz von Systemen entscheidend für sowohl Experten aus dem Rechtswesen, für Software-Entwickler, aber auch für reguläre User. Letzterer profitiert davon, wenn er die Entscheidungen eines Algorithmus besser versteht und somit mehr Vertrauen ins System entwickelt.

Die Ziele des Projektes sind:

  1. Basiswissen zu schaffen: was ist der Nutzen von Explainable AI (XAI) Methoden, welche Definitionen für Transparenz gibt es und in welche Stufen kann sie untergliedert werden, Analyse von Methoden zur Erklärbarkeit von Algorithmen.
  2. Erarbeitung eines Frameworks: Designkriterien für einen fairen und transparenten Algorithmus, potentielle Fehlerquellen, Metriken
  3. Daten aus der Praxis: wie ist der Grad an Transparenz, Analyse der Erklärbarkeit unter Berücksichtigung von vertraulichen Informationen

Project Partners

Publications

  • Noiret S.,  Ravi S, Kampel M., Florez-Revuelta F.. Fairly Private:  Investigating The Fairness of Visual Privacy Preservation Algorithms. In 4th Privacy-Preserving AI workshop of the annual AAAI conference on Artificial Intelligence, Washington Feb 2023.
  • Mucha W., Kampel M. (2022) “Addressing Privacy Concerns in Depth Sensors”, Joint International Conference on Digital Inclusion, Assistive Technology & Accessibility – ICCHP-AAATE 2022, July 11-15, 2022, Lecco, Italy https://doi.org/10.1007/978-3-031-08645-8_62
  • Mucha W., Kampel M. (2022) “Beyond Privacy of Depth Sensors in Active and Assisted Living Devices”, The 15th PErvasive Technologies Related to Assistive Environments Conference – PrivAw Workshop, June 29 – July 1, 2022, Corfu, Greece https://doi.org/10.1145/3529190.3534764
  • S. Noiret, S. Ravi, M. Kampel, F. Florez-Revuelta. 2022. “On The Nature of Misidentification With Privacy Preserving”, 15th International Conference on PErvasive Technologies Related to Assistive Environments (PETRA ’22), June 29-July 1 2022, Corfu, Greece. ACM, New York, NY, USA, 3 pages. https://doi.org/10.1145/3529190.3534760
  • Kreissl, R., von Laufenberg, R. (2022). Das Verbrechen lesen – Fakt, Fiktion und Phantasma kriminalistischer Spurensuche im digitalen Zeitalter. Neue Kriminalpolitik 2/2022, 175-189. DOI: 10.5771/0934-9200-2022-2-175
  • Laufenberg, R. von. (2022). KI-Systeme in Pflegeeinrichtungen: Erwartungen, Altersbilder und Überwachung. In M. Friedewald, A. Roßnagel, J. Heesen, N. Krämer & J. Lamla (Hrsg.), Künstliche Intelligenz, Demokratie und Privatheit (S. 353–376). Nomos Verlagsgesellschaft mbH & Co. KG. https://doi.org/10.5771/9783748913344-353
  • Fairness-Guidelines für Algorithmen – TU Wien Magazin
  • Sophie Noiret. 2021. Assessing Algorithmic Fairness without Sensitive Information. Short Paper. In: Proceedings of the Conference on Information Technology for Social Good (GoodIT ’21). Association for Computing Machinery, New York, NY, USA, 325–328. DOI:https://doi.org/10.1145/3462203.3475894
  • S. Noiret, J. Lumetzberger and M. Kampel, “Bias and Fairness in Computer Vision Applications of the Criminal Justice System,” 2021 IEEE Symposium Series on Computational Intelligence (SSCI), 2021, pp. 1-8, doi: 10.1109/SSCI50451.2021.9660177.
  • R. von Laufenberg. Zum Nutzen von KI-Technologien in der Pflege – Möglichkeiten, Probleme und Risiken. Accepted at Jahreskonferenz Forum Privatheit 2021: Auswirkungen der Künstlichen Intelligenz auf Demokratie & Privatheit.

 

Workshop Organisation

  • PrivAw – GoodBrother Workshop on Privacy aware and acceptable solutions for AAL. https://goodbrother.eu/conferences/privaw2022/

Presentation

  • M. Kampel, ” View from the developer”, 21st Annual STS Conference Graz 2023, May 8 – 10 – Critical Issues in Science, Technology and Society Studies
  • J. Lumetzberger, M. Kampel, V. Gallistl, R. von Laufenberg, „Wie fair sind Algorithmen in der Pflege?“. Jahrestagung der ÖGGG, April 2023, Salzburg.
  • Noiret S.,  Ravi S, Kampel M., Florez-Revuelta F.. Fairly Private: Investigating The Fairness of Visual Privacy Preservation
    Algorithms
  • von Laufenberg, R. 2022. Algorithmic Governance of Care – Constructing Age into Artificial Intelligence. Symposium on Critical Explorations of Ageing Bodies and Socio-Gerontechnology, Online.
  • von Laufenberg, R. 2022. The Power of Simulation: Synthesising Ground Truth for AI Systems. 4th International Data Power Conference, Dialogues in Data Power, Bremen.
  • Von Laufenberg, R. 2022. Intelligence Led Policing and the Risks of Artificial Intelligence. CEPOL Research & Science Conference 2022, MRU, Vilnius.
  • Roger von Laufenberg organised the Social Science Track of the International Digital Security Forum, titled “Understanding the challenges of digital societies”, on the 1. June 2022 in Vienna. https://idsf.io/

Dissemination