jtiblog

Blogsite of the Institute for Legal Studies

AI-Driven Healthcare Technologies and Algorithmic Gender Bias: A Need for Data Feminism - An Overview of Pin Lean Lau’s Seminar Talk at TK MILAB

2022. March 28. 12:19
Márton Vida
BA student, CEU

Pin Lean Lau held the final talk of the Artificial Intelligence National Laboratory (MILAB) online seminar series in 2021. She is a researcher at the Brunel University of London, and holds a PhD in Law from Central European University. She introduced an ongoing project of hers concerning the regulation of AI bias in healthcare. Her main goal was to explore how AI bias may occur in healthcare technologies, and how such biases may be avoided through better regulation and data science.

Dr Lau started her talk by outlining the main topic and aims of her ongoing research project. Her primary interest is the emergence and regulation of gender-based algorithmic discrimination in healthcare technologies. Her principal aims are to (1) understand the relationship between AI bias and the quality of healthcare discriminated patients receive, (2) detect the impact of algorithmic bias in healthcare on women’s rights, and (3) build a case for data feminism as a response to the issue.

If used properly, AI technologies can lead to tremendous improvements in the efficiency and quality of healthcare. Dr Lau highlighted two examples for this. First, algorithms proved to be very efficient in predicting the risk, or diagnosing, certain diseases. In the case of breast cancer, for instance, algorithms proved to be 85% more reliable than human doctors. Second, algorithms can help prescribe personalized medicine to patients. By processing a huge amount of personal data, they can predict which medicine would be safe and most effective for a given patient.

Algorithmic bias occurs once these AI systems treat patients differently without any medical justification. These usually include discrimination based on gender, race or socio-economic background. Dr Lau argued that most often, such biases occur because the initial data fed to these algorithms is itself biased. This is due to two reasons. First, due to the long standing male-dominated nature of medicine, data on the male body is much more accurate and representative than on the female one. Second, the human labeling of medically relevant data (for instance, who counts as male, female or transgander) is often subjective, paving way for bias.

In the case of gender-based discrimination, such biases in AI-technologies in healthcare are already detectable. Dr Lau cited numerous studies showing how AI systems led to mistreatment or misdiagnosis in a disproportionately higher number of cases for female, than for male patients. This has devastating impacts. First, it augments past inequalities, as these algorithms make future decisions based on data which contain the very biases we aim to eliminate. Second, it unfairly lowers the overall quality of healthcare women receive. Third, it endangers the mental and physical well-being of women.

Dr Lau recommended two remedies for the outlined issue. First, there is a need to better regulate AI-systems used in healthcare. She cited attempts to this end from the European Union, the United Nations and the Federal Trade Commission. While she praised the direction these initiatives take, she highlighted unclarities and hardships in their enforcement and implementation. Second, she argued that there is a need for data feminism. Feminist data science aims to (1) fill in the gaps in data to make it more representatie, (2) eliminate bias in the data we already have, and (3) use data to detect and highlight unfair discrimination. Ultimately, as elsewhere in this technological field, solutions to social problems lie beyond legal regulation, and genuine changes are necessary in how technology actors conduct themselves, and in how they view their responsibility towards society and the individual.

During the discussion, some participants argued that while Dr Lau gave a compelling justification for combating AI bias, it was unclear whether it is possible to achieve this end. Dr Lau responded that there are at least some obvious steps we can already take. For instance, while it is true that machine learnt biases are hard to regulate, we can start by eliminating biases contained in the initial data.

__________________________________________________________

It was supported by the Ministry of Innovation and Technology NRDI Office within the framework of the FK_21 Young Researcher Excellence Program (138965) and the Artificial Intelligence National Laboratory Program.

__________________________________________________________

The views expressed above belong to the author and do not necessarily represent the views of the Centre for Social Sciences.

Tagcloud

alapjogok európai bíróság európai bizottság tagállami mozgástér ttip diszkrimináció európai központi bank fogyasztóvédelem tisztességtelen szerződési feltétel jogállamiság belső piac alkotmánybíróság európai parlament előzetes döntéshozatali eljárás gazdasági és monetáris unió demokrácia kúria állami támogatás jogegységi határozat versenyjog uniós értékek eu alapjogi charta szociális jog irányelvek átültetése euró kásler-ítélet eusz 7. cikke arányosság elve választás nemzeti érdek oroszország közös kereskedelempolitika european convention of human rights brexit fizetésképtelenségi rendelet nemzeti bíróságok ultra vires aktus német alkotmánybíróság kötelezettségszegési eljárás európai parlamenti választások európai bizottság elnöke adatvédelem wto bankunió magyarország energiapolitika devizakölcsön fogyatékosok jogai btk alkotmányjog fővárosi közgyűlés közös kül- és biztonságpolitika strasbourgi bíróság szankció ukrán válság migráció szolidaritás egységes piac russia ukraine crisis compliance fundamental rights eu sanctions bevándorlás európai integráció környezetvédelem fenntartható fejlődés menekültkérdés ceta polgári kezdeményezés trump nafta tpp ecthr prison conditions surrogacy human trafficking human rights közigazgatás panpsychism personhood syngamy environment civil törvény irányelvek legitimáció kikényszerítés szociális deficit letelepedés szabadsága kiskereskedelmi különadó központi bankok európai rendszere hatáskör-átruházás elsőbbség elve adatmegőrzési irányelv közerkölcs európai unió alapjogi ügynoksége magyar helsinki bizottság vesztegetés hálapénz vallásszabadság első alkotmánykiegészítés obamacare születésszabályozás hobby lobby büntetőjog jogos védelem áldozatvédelem külkapcsolatok hatáskörmegosztás tényleges életfogytiglan új btk. szabadságvesztés lojális együttműködés végrehajtás gazdasági szankciók állampolgárság nemzetközi magánjog családi jog öröklési jog uniós polgárság alapjogi charta személyek szabad mozgása európai jog európai emberi jogi egyezmény uniós jog sérthetetlensége uniós jog autonómiája infrastruktúrához való hozzáférés versenyképesség adózás gmo-szabályozás gmo-mentesség european neighbourhood policy ukraine uk report európai szomszédságpolitika brit jelentés excessive deficit exclusionarism protectionism national courts consumer protection single market retaliation hungary european court of justice autonomy of eu legal order inviolability of eu legal order european values article 7 teu rule of law democracy reklámadó verseny szabadsága halálbüntetés schuman-nyilatkozat alapító atyák juncker bizottság energiahatékonysági irányelv energiaunió eurasian economic union dcfta european central bank german constitutional court omt görögország pénzügyi válság államcsőd likviditás menekült fal dublin iii 1951-es genfi egyezmény strasbourgi esetjog európai bíróság elnöke lenaerts hatékony jogvédelem franciaország németország értékközösség érdekközösség ügynökprobléma közbeszerzés környezetvédelmi politika áruk szabad áramlása egészségvédelem ártatlanság vélelme törökország történelmi konfliktusok uniós válságkezelés európai tanács válság szíria lengyel alkotmánybíróság jogállamiság normakontroll eljárási alkotmányosság beruházásvédelem szabályozáshoz való jog jog és irodalom erdély konferencia law in literature law as literature lengyel alkotmánybíróság lengyelország jogállamiság-védelmi mechanizmus eu klímapolitika kvótakereskedelem kiotói jegyzőkönyv adójog európai politikai pártok; pártfinanszírozás európai politikai közösség politikai pártok kohéziós politika régió székelyföld mulhaupt ingatlanadó-követelés nyilvános meghallgatás kommunikáció datafication internet platformtársadalom adókövetelés fizetésképtelenségi eljárás sokszínű európa kisebbségek sokféleség fizetésképtelenség; jogharmonizáció; csődjog; többségi demokrácia; olaszország népszavazás common commercial policy egyenlő bánásmód emberi méltóság ebh szülő nők helyzete peschka jogelmélet parlament véleménynyilvánítás szabadsága média országgyűlés sajtószabadság muršić european court of human rights dajkaterhesség egyesült királyság közigazgatási perrendtartás általános közigazgatási rendtartás egyesülési jog velencei bizottság civil felsőoktatás lex ceu közjogtudomány zaklatás szegregáció