Diskriminace, umělá inteligence a algoritmické rozhodování

Rada Evropy zveřejnila počátkem února zprávu profesora Frederika Zuiderveen Borgesiuse věnovanou diskriminaci, umělé inteligenci a algoritmickému rozhodování (s výmluvným názvem Discrimination, Artificial Intelligence and Algorithmic Decision-Making). Stručný přehled toho, co zpráva obsahuje, je možné najít níže v článku.

Jaký je cíl zprávy?

Cílem zprávy je odpovědět na několika základních otázek:

• V kterých oblastech algoritmické rozhodování a rozhodování umělé inteligence vede nebo v dohledné době může vést k diskriminaci?
  
• Jaké prostředky obrany proti diskriminačnímu rozhodování umělé inteligence či diskriminačnímu algoritmického rozhodování jsou nyní k dispozici?
• Jaká doporučení vedoucí ke snížení rizika diskriminačního rozhodování umělé inteligence či algoritmického rozhodování je možné učinit?

Diskriminační rozhodování

Rozhodování umělé inteligence a algoritmické rozhodování může vést k diskriminaci např. v případech, kdy

• data, na kterých se umělá inteligence učí, jsou diskriminační (umělá inteligence či algoritmus tedy „převezme diskriminační pohled na svět od lidí“),
  
• proces sběru tréninkových dat byl diskriminační,
• jsou nevhodně zvolené proměnné,
• je systém úmyslně zneužit k diskriminaci.

Dle autora zprávy jsou nejvíce rizikové následující oblasti:

• rozhodování v trestních věcech (jako příklad uvádí americký systém COMPAS používaný k predikci toho, zda osoba znovu spáchá trestný čin a jestli by tedy soudce měl rozhodnout o jejím podmíněném nebo nepodmíněném odsouzení k trestu odnětí svobody),
• rozhodování o přijetí uchazečů o zaměstnání nebo studium,
• cílení reklamy (někteří uživatelé internetu se nemusí vůbec dostat např. k inzerátům nabízejícím určitou práci z důvodu svého pohlaví),
• vytváření cenové politiky prodejci a poskytovateli služeb směrem ke konkrétnímu zákazníkovi,
• překladatelské programy (příkladem jsou překlady z genderově neutrálních jazyků, které mohou být „sexistické“, kdy např. doktor je automaticky překládán v mužském rodě a sekretářka v ženském rodě),
  
• vyhledávání a analýza obrázků (mediálně známý je případ, kdy aplikace Fotky Google na obrázcích označila několik černochů za gorily).

Jak se takové diskriminaci bránit?

Jedním z nástrojů, který může pomoci zabránit diskriminaci způsobené rozhodováním umělé inteligence nebo algoritmickým rozhodováním, jsou antidiskriminační právní předpisy. Zákaz diskriminace najdeme např. v čl. 3 Listiny základních práv a svobod, čl. 14 Úmluvy o ochraně lidských práv a základních svobod, v Protokolu č. 12 k Úmluvě o ochraně lidských práv a základních svobod, v zákoně č. 198/2009 Sb., o rovném zacházení a o právních prostředcích ochrany před diskriminací a o změně některých zákonů (antidiskriminační zákon), ve směrnici Rady 2000/43/ES ze dne 29. června 2000, kterou se zavádí zásada rovného zacházení s osobami bez ohledu na jejich rasu nebo etnický původ.

Jak však uvádí profesor Zuiderveen Borgesiuse, navzdory tomu, že antidiskriminační předpisy zakazují, a to zejména prostřednictvím institutu nepřímé diskriminace, mnohé diskriminační projevy způsobené rozhodováním umělé inteligence nebo algoritmickým rozhodováním, tak nejsou dostačující. Zejména z důvodu špatné vymahatelnosti (V mnoha případech poškozený nemá šanci se dozvědět, že se stal obětí diskriminace. Navíc je těžké prokázat, že zdánlivě neutrální ustanovení, kritérium nebo praxe vede ke znevýhodnění určité osoby oproti ostatním ve srovnatelné situaci, a to z důvodu rasy, etnického původu, národnosti atd.), tak kvůli slabinám, které profesor spatřuje v možnostech vyvinění se (Např. nepřímou diskriminací není, pokud zdánlivě neutrální ustanovení, kritérium nebo praxe vedoucí ke zvýhodnění osoby oproti ostatním ve srovnatelné situaci, a to z důvodu rasy, etnického původu, národnosti atd., je objektivně odůvodněno legitimním cílem a prostředky k jeho dosažení jsou přiměřené a nezbytné.). Navíc dané předpisy nepokrývají situaci, kdy je osoba diskriminována z jiných, než v zákonu uvedených důvodů (Jako příklad autor uvádí situaci, kdy budou online obchody nabízet produkty za vyšší ceny pro uživatele konkrétního vyhledávače, zatímco uživatelům jiných vyhledávačů za cenu nižší.).

Druhým okruhem právních předpisů, které mohou pomoci zabránit diskriminaci způsobené rozhodováním umělé inteligence nebo algoritmickým rozhodováním, jsou předpisy upravující ochranu osobních údajů. Nejvýznamnějším evropským předpisem je v současnosti nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů a o zrušení směrnice 95/46/ES (dále jen “GDPR”):

• čl. 13 a 14 GDPR požaduje transparentnost ohledně zpracovávaných osobních údajů. Subjekt údajů musí být informován, kromě jiného, i o tom, jaké jeho osobní údaje jsou zpracovávány, za jakým účelem a jakým způsobem. U automatizovaného rozhodování, včetně profilování, je správce povinen uvést smysluplné informace týkající se použitého postupu, jakož i významu a předpokládaných důsledků takového zpracování pro subjekt údajů.
• Dle čl. 35 GDPR je v určitých případech nutné provést posouzení vlivu na ochranu osobních údajů. Posouzení je nutné provést zejména v případě, kdy je pravděpodobné, že určitý druh zpracování, zejména při využití nových technologií (kterými umělá inteligence určitě je), bude s přihlédnutím k povaze, rozsahu, kontextu a účelům zpracování mít za následek vysoké riziko pro práva a svobody fyzických osob.
• Dle čl. 22 odst. 1 GDPR má subjekt údajů právo, kromě případů uvedených v odst. 2 daného ustanovení, nebýt předmětem žádného rozhodnutí založeného výhradně na automatizovaném zpracování, včetně profilování, které má pro něho právní účinky nebo se ho obdobným způsobem významně dotýká. Mezi výjimkami uvedenými v čl. 22 odst. 2 GDPR nalezneme nezbytnost k uzavření nebo plnění smlouvy mezi subjektem údajů a správcem údajů, výslovný souhlas subjektu údajů, povolení právem. Pokud je automatizované rozhodování, které má pro subjekt údajů právní účinky nebo se ho obdobným způsobem významně dotýká, založeno na některé z prvních dvou výše uvedených výjimek, tak správce údajů provede vhodná opatření na ochranu práv a svobod a oprávněných zájmů subjektu údajů, alespoň práva na lidský zásah ze strany správce, práva vyjádřit svůj názor a práva napadnout rozhodnutí.
  

Ani jedna z výše uvedených právních oblastí navíc dostatečně nechrání před chybami v rozhodování, které se v určitých případech mohou objevit.

K ochraně před diskriminací by mohly pomoci i právní předpisy upravující postavení spotřebitele, správní a trestní právo a právo hospodářské soutěže.

V současné době probíhá mnoho debat na dané téma. Komise vzniklá na základě Úmluvy o ochraně osob se zřetelem na automatizované zpracování osobních dat (Convention for the Protection of Individuals with Regard to Automatic Processing of Personal Data) vydala počátkem roku zprávu Artificial Intelligence and Data Protection: Challenges and Possible Remedies. Možné je pozorovat i snahu o samoregulaci (viz např. principy Principles for Accountable Algorithms and a Social Impact Statement for Algorithms vydané organizací Fairness, Accountability, and Transparency in Machine Learning).

Doporučení pro budoucnost

Co se týče doporučení pro budoucnost, tak zpráva v prvním řadě mluví o vzdělávání a potřebě širší debaty o daném tématu, a to jak u odborné, tak i u laické veřejnosti. Společně s osvětou je pak důležitá i samoregulace společnostmi využívajícími umělou inteligenci či algoritmické rozhodování. Společnosti by měly iniciativně provést důkladné posouzení těchto technologií před jejich zavedením a zároveň by měly provádět pravidelné posuzování využívání těchto technologií s ohledem na možnou diskriminaci.

Autor zprávy rovněž navrhuje vypracovat obecnou metodiku pro provedení posouzení vlivu na ochranu osobních údajů v případě využití umělé inteligence.

Důležitá je rovněž spolupráce a vzájemná otevřená komunikace mezi jednolitými organizacemi a úřady (regulátory) věnujícími se ochraně osobních údajů a ochraně před diskriminací a akademickou obcí.

S ohledem na rychle se měnící možnosti, které moderní technologie nabízí, autor zprávy doporučuje, aby regulátoři měli více možností ovlivňovat předmětnou oblast metodikami a pokyny. Jejich snaha by měla v první řadě vést zejména k větší transparentnosti ohledně toho, jak konkrétní algoritmus nebo umělá inteligence funguje. Zejména u veřejného sektoru se autor přimlouvá za zveřejnění kódů aplikací, aby tyto mohli projít veřejnou kontrolou.

Autor zároveň přiznává, že do budoucna může být nevyhnutné přijmout nová pravidla upravující rozhodování umělé inteligence a algoritmické rozhodování. V současné době je však příliš brzo, aby mohla být takováto pravidla formulována. Nejdříve je nutné provést další výzkum v této oblasti.