Përgjegjësia për paragjykim algoritmik sipas ligjit holandez dhe të BE-së

Përgjegjësia për paragjykim algoritmik është përgjegjësia ligjore që mban një organizatë kur një sistem i automatizuar prodhon rezultate diskriminuese. Në Holandë, kjo përgjegjësi mbështetet në tre themele që tashmë zbatohen sot: dispozita e përgjithshme e deliktit e nenit 6:162 të Kodit Civil Holandez, legjislacioni për trajtim të barabartë i mbikëqyrur nga Instituti Holandez për të Drejtat e Njeriut dhe rregullat e GDPR-së mbi drejtësinë dhe vendimmarrjen e automatizuar. Akti i BE-së për Inteligjencën Artificiale shton një shtresë të mëtejshme, një pjesë e së cilës është tashmë në fuqi dhe një pjesë e së cilës fillon më vonë këtë dekadë.

Pasoja praktike është e drejtpërdrejtë. Një kompani që përdor një filtër rekrutimi, një model krediti ose një rezultat zbulimi mashtrimi është përgjegjëse për atë që bën ai sistem, pavarësisht nëse e ka ndërtuar vetë modelin apo jo dhe nëse dikush e ka pasur për qëllim rezultatin apo jo. Në ligjin holandez të diskriminimit, rëndësi ka efekti i një vendimi, jo motivi që qëndron pas tij.

Çfarë mbulon në të vërtetë përgjegjësia për paragjykime algoritmike?

Paragjykimi algoritmik lind kur një sistem i automatizuar i trajton njerëzit e krahasueshëm ndryshe për arsye që ligji i mbron, ose për arsye që veprojnë si zëvendësim për ta. Ai rrallë e shpall veten. Një model i trajnuar mbi një dekadë vendimesh të vetë kompanisë do të riprodhojë çfarëdo modeli që përmbajnë ato vendime, dhe do ta bëjë këtë në mënyrë të vazhdueshme, me shpejtësi, në çdo dosje që prek. Kjo qëndrueshmëri është ajo që e kthen një defekt teknik në një ekspozim ligjor: një vendim i vetëm njerëzor i paragjykuar është një incident, ndërsa një model i paragjykuar është një politikë.

Përgjegjësia rrjedh nga tre burime të ndara, dhe ato mund të shkaktohen në të njëjtën kohë nga i njëjti vendim. Përgjegjësia civile kompenson personin që ka pësuar humbje. Ligji i trajtimit të barabartë i jep atij personi një rrugë drejt Institutit Holandez për të Drejtat e Njeriut (College voor de Rechten van de Mens) ose gjykatës civile, me një barrë prove që zhvendoset drejt organizatës pasi të bëhet një supozim diskriminimi. Ligji i mbrojtjes së të dhënave i jep Autoritetit Holandez për Mbrojtjen e të Dhënave (Autoriteit Persoonsgegevens) kompetenca zbatuese që nuk varen fare nga ndonjë individ që ngre një padi.

Asnjë nga këto nuk kërkon një statut të personalizuar për inteligjencën artificiale. Rregullat që vendosin për këto raste janë shkruar përpara se të ekzistonte teknologjia dhe zbatohen për të pa ndryshime.

Ku paragjykimi hyn në një sistem të automatizuar

Paragjykimi nuk është një dështim i vetëm që mund të testohet një herë. Ai hyn në pika të identifikueshme të ciklit jetësor dhe çdo pikë lidhet me një akuzë të ndryshme për neglizhencë.

• Të dhënat e stërvitjes. Vendimet historike mbartin modele historike. Një model i trajnuar mbi to i mëson këto modele si standard dhe jo si një problem që duhet korrigjuar.
• Zgjedhja e variablave. Një veçori që duket neutrale mund të lidhet ngushtë me një karakteristikë të mbrojtur. Kodi postar që zëvendëson etninë është shembulli i librit shkollor dhe prodhon diskriminim të tërthortë edhe aty ku vetë karakteristika e mbrojtur nuk është regjistruar kurrë.
• Mënyra se si përdoret rezultati. Një model që funksionon në mënyrë të pabarabartë në të gjitha grupet mund të jetë i mbrojtshëm si një mjet kërkimi dhe i pambrojtshëm si baza e vetme për refuzimin e një aplikimi. I njëjti rezultat, i përdorur ndryshe, prodhon një rezultat të ndryshëm ligjor.
• Mungesa e monitorimit. Një sistem që ishte i ekuilibruar në momentin e nisjes ndryshon ndërsa të dhënat përreth tij ndryshojnë. Mosvëzhgimi është vetë akt neglizhent në shumë pretendime.

Dallimi që ka rëndësi ligjërisht është midis diskriminimit të drejtpërdrejtë, ku një bazë e mbrojtur përdoret hapur, dhe diskriminimit të tërthortë, ku një kriter neutral e dëmton një grup të mbrojtur. Diskriminimi i tërthortë mund të justifikohet nëse qëllimi është legjitim dhe mjetet janë të përshtatshme dhe të nevojshme, por ky justifikim duhet të dëshmohet, dhe një organizatë që nuk mund të shpjegojë pse modeli i saj përdor një variabël të caktuar nuk do ta arrijë këtë.

Fondacioni holandez: ligji i delikteve dhe ligji i trajtimit të barabartë

Dy organe të ligjit holandez bëjnë pjesën më të madhe të punës në një pretendim për paragjykim dhe u përgjigjen pyetjeve të ndryshme. Ligji i delikteve pyet nëse organizata ka vepruar në mënyrë të pakujdesshme dhe sa vlen humbja. Ligji i trajtimit të barabartë pyet nëse rezultati ishte diskriminues dhe e bën këtë me një barrë prove që është qëllimisht miqësore për paditësit.

Vendosja neglizhente si një veprim i paligjshëm

Neni 6:162 i Kodit Civil Holandez e bën një person përgjegjës për një veprim të paligjshëm (onrechtmatige daad) që mund t'i atribuohet atij dhe që shkakton dëme. Vendosja e një sistemi të automatizuar që organizata nuk e ka testuar, validuar ose monitoruar mund të jetë sjellje e paligjshme në vetvete, pavarësisht nga rezultati diskriminues. Paditësi duhet të tregojë veprimin, atribuimin, dëmin dhe lidhjen shkakësore midis tyre; standardi i aplikuar është ajo që duhet të kishte bërë një organizatë e kujdesshme në të njëjtën pozicion.

Kur sistemi vjen nga një furnizues, organizata që e ka vendosur nuk lirohet nga ky detyrim. Ajo mund të ketë një kërkesë kontraktuale kundër shitësit sipas nenit 6:74 të Kodit Civil për performancë të dëmtuar, por kjo është një padi e veçantë midis dy palëve tregtare. Nuk i përgjigjet kërkesës së aplikantit që është refuzuar.

Ligji i trajtimit të barabartë dhe barra e provës e zhvendosur

Ligji për diskriminimin mbi bazën e moshës dhe statutet sektoriale bashkë me të, duke përfshirë aktin për diskriminimin mbi bazën e moshës (WGBL) dhe aktin për aftësinë e kufizuar dhe sëmundjet kronike (WGBH/CZ), ndalojnë dallimin e drejtpërdrejtë dhe të tërthortë mbi baza të mbrojtura. Në punësim, neni 7:646 i Kodit Civil shton dispozitat për gjininë.

Rregulli procedural është ai që vendos për shumicën e rasteve. Pasi paditësi paraqet fakte që çojnë në supozimin e diskriminimit, barra ndryshon: organizata duhet të provojë se nuk e ka shkelur ndalimin. Një organizatë që nuk mund të tregojë se çfarë peshonte modeli i saj, mbi cilat të dhëna dhe me çfarë testimesh, nuk ka asnjë mënyrë për ta shkarkuar atë barrë. Kjo është pika në të cilën dokumentacioni i dobët pushon së qeni një problem i brendshëm i mirëmbajtjes dhe bëhet arsyeja pse një kërkesë humbet.

Ankesat mund të paraqiten edhe para Institutit Holandez për të Drejtat e Njeriut, mendimet e të cilit nuk janë detyruese, por ndiqen gjerësisht dhe përdoren shpesh si prova në procedurat civile pasuese.

Çfarë kërkon GDPR për vendimet e automatizuara

GDPR rregullon të njëjtat sisteme nga ana e mbrojtjes së të dhënave. Neni 22 i jep një personi të drejtën të mos i nënshtrohet një vendimi të bazuar vetëm në përpunimin e automatizuar, duke përfshirë profilizimin, kur ky vendim prodhon efekte ligjore ose në mënyrë të ngjashme ndikon ndjeshëm tek ata. Vendimet për rekrutimin, kreditë dhe përfitimet zakonisht bien brenda këtij përshkrimi.

Fjala që mbart peshën është vetëm ... Përfshirja njerëzore merr një vendim jashtë nenit 22 vetëm nëse është kuptimplotë: një person me autoritetin dhe informacionin për të arritur në një përfundim të ndryshëm, jo ​​një operator që konfirmon çfarëdo që shfaqet në ekran. Vulosja trajtohet si vendimmarrje e automatizuar.

Dy detyrime të tjera zbatohen pavarësisht nenit 22. Parimi i drejtësisë në nenin 5(1)(a) është një kërkesë e pavarur që një model diskriminues e shkel sipas përkufizimit, dhe neni 35 kërkon një vlerësim të ndikimit në mbrojtjen e të dhënave para përpunimit që ka të ngjarë të rezultojë në një rrezik të lartë për individët, gjë që në përgjithësi është profilizimi sistematik i aplikantëve ose klientëve. Gjoba maksimale për shkelje të këtyre dispozitave përcaktohet nga neni 83(5) i GDPR-së në shumën më të lartë prej njëzet milionë eurosh ose katër përqind të xhiros vjetore në mbarë botën.

Përmbledhja jonë e përgjithshme mbi privatësinë e të dhënave, GDPR-në, inteligjencën artificiale dhe të dhënat e mëdha përcakton se si këto detyra ndërveprojnë me përdorimin e të dhënave në shkallë të gjerë në më shumë detaje.

Çfarë kërkon tashmë Akti i Inteligjencës Artificiale dhe çfarë fillon më vonë

Rregullorja (BE) 2024/1689, Akti i IA-së, nuk është më një propozim. Ajo hyri në fuqi më 1 gusht 2024 dhe zbatohet në faza. Që nga 2 shkurti 2025, zbatohen ndalimet në nenin 5, së bashku me detyrimin në nenin 4 për të siguruar që stafi që punon me sistemet e IA-së të ketë një nivel të mjaftueshëm të njohurive mbi IA-në. Detyrimet për modelet e IA-së me qëllim të përgjithshëm kanë zbatuar që nga 2 gushti 2025, ashtu si edhe dispozitat e qeverisjes dhe ndëshkimit.

Regjimi me rrezik të lartë është pjesa që lidhet më drejtpërdrejt me paragjykimet, dhe është gjithashtu pjesa që është shtyrë. Sistemet e inteligjencës artificiale të listuara në Shtojcën III, të cilat përfshijnë sistemet e përdorura për rekrutimin dhe përzgjedhjen, për vendimet mbi ngritjen në detyrë dhe ndërprerjen e marrëdhënies së punës, për vlerësimin e besueshmërisë dhe për vlerësimin e rrezikut në sigurime, tani i nënshtrohen detyrimeve me rrezik të lartë më 2 dhjetor 2027. Sistemet me rrezik të lartë që janë komponentë sigurie të produkteve të rregulluara sipas Shtojcës I vijojnë më 2 gusht 2028.

Kur këto detyrime janë të rëndësishme, ato kodifikojnë shumë nga ato që përfshin praktika e kujdesshme: qeverisjen e të dhënave që synojnë grupe të dhënash përfaqësuese dhe të kontrolluara nga gabimet, dokumentacionin teknik, regjistrimin automatik, transparencën ndaj personave të prekur, mbikëqyrjen njerëzore të projektuar në sistem në vend që të fiksohet me bulona, ​​dhe një vlerësim të konformitetit përpara se sistemi të vendoset në treg ose të vihet në shërbim. Zbatuesit, jo vetëm ofruesit, mbajnë detyrat e tyre, duke përfshirë mbajtjen e regjistrave dhe caktimin e mbikëqyrjes personave kompetentë.

Dy pika keqinterpretohen rregullisht. Kufiri i gjobave është i shkallëzuar në vend që të jetë uniform: deri në tridhjetë e pesë milionë euro ose shtatë përqind e xhiros botërore zbatohet për shkeljen e praktikave të ndaluara në nenin 5, ndërsa mosrespektimi i detyrimeve me rrezik të lartë mbart një kufi më të ulët prej pesëmbëdhjetë milionë eurosh ose tre përqind. Dhe Direktiva e propozuar për Përgjegjësinë ndaj IA-së, e cila do të kishte lehtësuar barrën e provës për njerëzit e dëmtuar nga sistemet e IA-së në të gjithë BE-në, është tërhequr. Nuk ka një regjim të harmonizuar evropian të përgjegjësisë për dëmin e IA-së; një kërkesë në Holandë është një kërkesë sipas ligjit holandez.

Zbatimi kombëtar është ende në proces ndërtimi. Holanda ende nuk e ka përfunduar aktin zbatues që përcakton autoritetet e saj të mbikëqyrjes së tregut sipas Rregullores, megjithëse Autoriteti Holandez i Mbrojtjes së të Dhënave dhe Autoriteti Holandez për Infrastrukturën Dixhitale kanë marrë role koordinuese në punën përgatitore. Ne e diskutojmë kornizën në mënyrë më të detajuar në udhëzuesin tonë për anën ligjore të inteligjencës artificiale dhe Aktin e BE-së për IA-në.

Si krahasohen tre kornizat

Kornizat mbivendosen në vend që të konkurrojnë. Një aplikim i refuzuar mund të shkaktojë një padi civile, një ankesë drejtuar Institutit, një hetim rregullator dhe, në kohën e duhur, një dështim në përputhshmëri me Aktin e Inteligjencës Artificiale, mbi të njëjtat fakte.

Çfarë kanë vërtetuar rastet holandeze

Dy episode formësojnë mënyrën se si gjykatat dhe rregullatorët holandezë i qasen vendimeve të automatizuara, dhe të dyja kanë të bëjnë me të njëjtin dështim: një sistem të errët të aplikuar ndaj njerëzve që nuk mund ta shihnin se si funksiononte.

Në shkurt të vitit 2020, Gjykata e Qarkut të Hagës ndaloi SyRI-n, sistemin e treguesit të riskut me të cilin organet publike kombinonin të dhëna nga një sërë burimesh për të zbuluar mashtrimet me përfitime dhe taksat. Gjykata vendosi që legjislacioni që mbështeste sistemin dështoi në testin e ekuilibrit të drejtë sipas nenit 8 të Konventës Evropiane për të Drejtat e Njeriut. Ajo që ishte fatale nuk ishte përdorimi i analizës së të dhënave si i tillë, por mungesa e transparencës dhe verifikueshmërisë: as modeli i riskut dhe as treguesit nuk u zbuluan, kështu që as qytetari i prekur dhe as gjykata nuk mund të kontrollonin për efekt diskriminues. Mësimi për organizatat private është se një sistem që askush nuk mund ta shpjegojë nuk mund të mbrohet, sepse pala që e drejton atë mban barrën e justifikimit të tij.

Skandali i përfitimeve të kujdesit për fëmijët (toeslagenaffaire) e theksoi të njëjtën pikë përmes pasojave të tij. Administrata tatimore përdori përzgjedhjen automatike të riskut që trajtoi tregues të tillë si shtetësia e dyfishtë si një sinjal mashtrimi, dhe dhjetëra mijëra prindër u etiketuan gabimisht dhe u ndoqën për rimbursim. Autoriteti Holandez i Mbrojtjes së të Dhënave e gjeti përpunimin themelor të paligjshëm dhe diskriminues dhe vendosi masa zbatuese. Ai gjithashtu konfirmoi parimin që ka më shumë rëndësi këtu: mbrojtja që sistemi prodhoi si rezultat nuk ka peshë, sepse zgjedhja për të drejtuar sistemin është vetë akti që gjykohet.

Kur lind përgjegjësia në përdorimin e zakonshëm të biznesit

Shumica e ekspozimeve nuk arrijnë kurrë në një vendim të rëndësishëm. Ato lindën në vendime të njohura operative.

Një filtër rekrutimi i trajnuar mbi historinë e punësimit të vetë organizatës do të mësojë çdo preferencë që përmbante ajo histori dhe do ta zbatojë atë për çdo aplikant pasues. Meqenëse mjetet e rekrutimit ndodhen drejtpërdrejt në Shtojcën III të Aktit të IA-së dhe prekin nenin 22 të GDPR-së në të njëjtën kohë, ato tërheqin të tre kornizat njëherësh. Një model krediti ose sigurimi që përdor kodin postar, një boshllëk në historinë e punësimit ose një përfaqësim me karakter të ngjashëm mund të prodhojë diskriminim indirekt edhe kur grupi i të dhënave nuk përmban asnjë karakteristikë të mbrojtur. Një sistem menaxhimi i fuqisë punëtore që ndan ndërrime, monitoron performancën ose futet në vendimet e ndërprerjes së punësimit bie në të njëjtën kategori, me ndërlikimin shtesë që këshilli i punës mund të ketë të drejtën e pëlqimit sipas Aktit të Këshillave të Punës përpara se të futet një sistem i tillë.

Në secilin rast, pyetja që bën një gjykatë holandeze është e njëjtë. Çfarë dinte organizata rreth mënyrës se si sillej sistemi, çfarë bëri për ta zbuluar dhe çfarë bëri kur modeli u bë i dukshëm?

Furnizuesi dhe shpërndarësi: kush përgjigjet për çfarë

Blerja e një sistemi nuk e transferon rrezikun me të. Sipas Aktit të Inteligjencës Artificiale, ofruesi dhe zbatuesi kanë detyra të ndara, dhe sipas ligjit civil holandez, personi i dëmtuar padit këdo që ka marrë vendimin që e preku atë, që është pothuajse gjithmonë organizata zbatuese.

Ajo që mund të bëjnë kontratat është të ndajnë pasojat financiare dhe të sigurojnë informacionin e nevojshëm për të mbrojtur një kërkesë. Një marrëveshje prokurimi që ia vlen të ekzistojë specifikon metrikat e performancës dhe drejtësisë që sistemi duhet të përmbushë, garanton akses në dokumentacion, rezultate testimi dhe regjistra, jep të drejtën e auditimit, kërkon që furnizuesi të njoftojë ndryshimet materiale në model dhe përcakton se si ndahen kostot e përgjegjësisë dhe mbrojtjes nëse lind një kërkesë. Ajo që nuk mund të bëjnë kontratat është të heqin një gjobë rregullatore ose një detyrim statutor. Artikulli ynë mbi atë se kush është përgjegjës për gabimet e bëra nga inteligjenca artificiale trajton më në detaje ndarjen.

Kontrollimi i rrezikut përpara se të mbërrijë një kërkesë

Pozicioni mbrojtës në një pretendim për paragjykim ndërtohet shumë kohë përpara se të bëhet pretendimi dhe përbëhet pothuajse tërësisht nga të dhënat. Meqenëse barra e provës ndryshon sapo të vendoset një supozim për diskriminim, organizata që mund të tregojë se çfarë ka testuar, kur dhe çfarë ka bërë me rezultatin është në një pozicion thelbësisht të ndryshëm nga ajo që nuk mundet.

Një program i realizueshëm ka katër elementë. Testoni para vendosjes, duke krahasuar normat e rezultateve në të gjitha grupet që mbron ligji dhe duke shqyrtuar të dhënat e trajnimit dhe variablat e zgjedhura për përfaqësime. Vazhdoni testimin pas vendosjes, sepse një model që ishte i balancuar në lançim nuk do të mbetet i tillë. Jepini një personi ose komiteti të emëruar autoritetin për të shqyrtuar rezultatet dhe për të pezulluar një sistem, në mënyrë që vendimi për ta vazhduar funksionimin e tij të jetë një vendim i marrë nga dikush dhe jo një vendim i paracaktuar që askush nuk e zotëron. Dhe regjistroni të gjitha këto, duke përfshirë burimet e të dhënave, validimin, gjetjet e auditimit dhe hapat korrigjues, në një formë që mund t'i dorëzohet një rregullatori ose të prodhohet në procedura.

Krahas kësaj, mbajeni vendimin njerëzor vërtet njerëzor aty ku zbatohet neni 22, përfundoni vlerësimin e ndikimit në mbrojtjen e të dhënave përpara se sistemi të vihet në punë dhe jo më vonë, kontrolloni nëse këshilli i punës ka një rol dhe jini në gjendje t'i tregoni një personi të prekur me gjuhë të thjeshtë pse vendimi mori atë që mori. Asnjë nga këto hapa nuk është ekzotik dhe regjimi i rrezikut të lartë i Aktit të Inteligjencës Artificiale do t'i bëjë shumicën e tyre të detyrueshme për sistemet e rekrutimit, kreditit dhe sigurimit nga dhjetori 2027 në çdo rast. Organizatat që i ndërtojnë ato tani thjesht po arrijnë herët.

Çfarë duhet të bëni nëse një vendim kundërshtohet

Kur një aplikant, një klient ose një punonjës vë në dyshim një vendim të automatizuar, detyra e parë është faktike: të përcaktohet se çfarë bëri në të vërtetë sistemi në atë rast, cilat të dhëna përdori, nëse një person ushtroi gjykim të vërtetë dhe nëse rezultati përputhet me një model më të gjerë. Bëjeni këtë para se të përgjigjeni, sepse një përgjigje e parë e pasaktë është e vështirë të korrigjohet më vonë dhe do të interpretohet kundër organizatës.

Ruani regjistrat dhe versionin e modelit të përfshirë. Vlerësoni pretendimin kundrejt të tre kornizave në vend të atij që ankimuesi rastësisht ka ngritur, pasi një ankesë për mbrojtjen e të dhënave dhe një pretendim për diskriminim mund të rrjedhin nga i njëjti skedar. Nëse modeli është real, korrigjimi i tij dhe ndreqja e vendimeve të prekura e kufizon dëmin shumë më efektivisht sesa mbrojtja ndaj tij.

Law & More këshillon kompanitë mbi anën ligjore të vendimmarrjes së automatizuar: vlerësimin e ekspozimit sipas ligjit holandez të delikteve dhe trajtimit të barabartë, shqyrtimin e pajtueshmërisë me GDPR për profilizimin dhe vendimet e automatizuara, përgatitjen për detyrimet e Aktit të Inteligjencës Artificiale që zbatohen për sistemet e rekrutimit, kreditit dhe sigurimit, negocimin e kontratave të shitësve dhe mbrojtjen e pretendimeve dhe hetimeve rregullatore. Avokatët e IT-së jemi të lumtur të diskutojmë se si zbatohen rregullat në sistemet që përdorni.

Pyetje të shpeshta rreth përgjegjësisë algoritmike të paragjykimeve

Ndërsa bizneset thellohen më shumë në inteligjencën artificiale, shumë udhëheqës e gjejnë veten duke bërë pyetje shumë specifike në lidhje me përgjegjësinë. Më poshtë, ne trajtojmë disa nga pyetjet më të zakonshme dhe sfiduese, duke ofruar përgjigje të qarta për t'ju ndihmuar të lundroni në këtë fushë komplekse ligjore.