toezicht te houden. 2.3 Risico’s. De inzet van AI en algoritmes kent ook risico’s. Allereerst bestaat het risico van oneerlijke, bevoordeelde of.
11 pages
39 KB – 11 Pages
PAGE – 1 ============
Over de Autoriteit Persoonsgegevens Iedereen heeft recht op een zorgvuldige omgang met z ijn persoonsgegevens. De Autoriteit Persoonsgegevens houdt toezicht op de naleving van de wettelijke regels voor bescherming van persoonsgegevens en a dviseert over nieuwe regelgeving . Toezicht op AI & Algoritme s Autoriteit Persoonsgegevens
PAGE – 2 ============
2 Inhoudsopgave 1. Inleiding 3 2. AI & Algoritmes 4 2.1 Wat zijn alg oritmes? 4 2.2 Wat is AI? 4 2.3 4 3. Toezichtkader AI & algoritmes 5 3.1 Rechtmatigheid, behoorlijkheid en transparantie 5 3.2 Verantwoordingsplicht 6 3.3 Uitsluitend geautomatiseerde besluitvorming 7 4. Organisatie van Toezicht 7 4.1 Toezicht van de AP 7 4.2 Samenwerking met andere toezichthouders – Europees 8 4.3 Samenwerking met andere toezichthouders – nationaal 8 5. Bijlage: Wettelijk kader 9 5.1 Beginselen (artikel 5 AVG) 9 5. 2 Verantwoording (artikel 24 en 25 AVG) 9 5.3 Data Protection Impact Assessment en Voorafgaande Raadpleging (artikel 35 en 36 AVG) 9 5.4 Profilering (artikel 4 AVG) 9 5.5 (Uitsluitend) geautomatiseerde besluitvorming (artikel 22 AVG) 10 5.6 Toepasselijke normen uit de AVG (artikel 2 AVG) 10 5.7 Specifieke normen voor uitsluitend geaut omatiseerde besluitvorming (artikel 22 AVG) 10
PAGE – 3 ============
3 1. Inleiding Artifici ële Intellige n tie (AI) en algoritmes 1 staan volop in de aandacht van de politiek en de samenleving. 2 Deze aandacht is niet zonder reden. De inzet van algoritmes vindt inmiddels op grote schaal plaats , vaak onder de noemer van AI . Niet alleen private organisaties, maar ook steeds meer publieke organisaties op alle niveaus m aker er gebruik van. D e inzet van AI en algoritmes gaat samen met hoge verwachtingen, maar versterkt ook de roep om passend toezicht op systemen die gebruik maken van AI en algoritmes . De Autoriteit Persoonsgegevens is als toezichthouder verantwoordelijk voor het toezicht op de verwerking van persoonsgegevens en daarmee ook op de toepassing van AI en algoritmes waarbij persoonsgegevens worden gebruikt. E r is een helder wettelijk Europees kader dat organisaties en ons als toezichthouder houvast biedt: de Algemene V erordening G egevensbescherming (AVG). De AVG heeft als doel om de grondrechten en de fundamentele vrijheden van natuurlijke personen te beschermen en om regels vast te stellen be treffende het vrije verkeer van persoonsgegevens. Dit betekent in de praktijk dat de ontwikkeling en het gebruik van de meeste systemen die gebruik maken van AI en algoritmes binnen dit huidige wettelijke kader en daarmee onder het toezicht van de AP val t . Zoals ook beschreven in het meerjarig visiedocument Focus AP 2020 – 2023 : ataprotectie in een digitale samenleving is AI en algoritmes één van de drie focusgebieden in het toezicht van de AP. In d it document lichten we het toezicht op AI en algoritmes door de AP op hoofdlijnen toe . Dit document is opgedeeld in een viertal onderdelen: In hoofdstuk 2 word t kort toegelicht wat AI en algoritm es precies zijn. In hoofdstuk 3 wordt het t oezicht kader geschetst . In hoofdstuk 4 wordt toegelicht hoe de AP het toezicht inricht. De b ijlage bevat het wettelijk kader. 1 2 De afgelopen periode zijn er m eerdere rapporten gepubliceerd zoals deze selectie: Strategisch Actieplan voor Artificiële Intelligentie , Ministerie van Economische Zaken en Klimaat . https://www.rijksoverheid.nl/documenten/beleidsnotas/2019/10/08/strategisch – actieplan – voor – artificiele – intelligentie . Opinion of the Data Ethics Commission , Datenethikkommission. https://www.bmjv.de/DE/Them en/FokusThemen/Datenethikkommission/Datenethikkommission_EN_node.html Toezicht op het gebruik van Algoritmen en overheid. Hooghiemstra en Partners. In opdracht van het Ministerie van Binnenlandse zaken en Koninkrijksrelaties.
PAGE – 4 ============
4 2. AI & Algoritmes 2.1 Wat zijn algoritmes? A lgoritmes zijn in principe niet meer dan recepten of stappenplannen en d e toepassing van algoritmes is niet nieuw . De inzet van algoritmes vindt inmiddels op grote schaal plaats. Dat geldt niet alleen voor private organisaties, maar ook voor de overheid: van de belastingdienst en de politie tot verschillende gemeentes. Inzet van algoritmes kan voordelen bieden . Bedrijve n en organisaties kunnen snel en efficiënt besluiten nemen door grote hoeveelheden data te analyseren. Denk aan routeplanning of dienstverlening aan klanten . Maar denk ook aan de mogelijkheden die deze technologie biedt in bijvoorbeeld de gezondheidszorg. 2.2 Wat is AI? Het wetenschapsgebied artificiële intelligentie (AI) heeft de laatste tien jaar een enorme ontwikkeling doorgemaakt, met name op het gebied van de mogelijkheden van machine learning, n eural networks en deep learning. Door deze ontwikkelingen wo rden algoritmische beslismodellen krachtiger en complexer. D e verhoudingen tussen de mens en de machine zijn veranderd. In de praktijk wordt veelal gesproken over de toepassing van AI – systemen. Systemen die nu getypeerd Bij Machine Learning wordt, o p basis van algoritmes en grote hoeveelheden voorbeeld data , een computer getraind om een bepaalde taak uit te voeren . Dit in tegenstelling tot het programmeren van een specifiek vooraf ontworpen recept of stappenplan. Belan grijke uitwerkingen van machine learning algoritmes zijn neural networks, deep learning en reinforced learning. Veel van deze systemen worden ingezet voor patroonherkenning waarbij een set voorbeelddata gebruikt wordt om het systeem te trainen . Neural networks zijn geïnspireerd op het menselijk brein en hebben de mogelijkheid om in netwerken te leren. Deep learning zijn gelaagde netwerken waar in hiërarchie en abstracties kunnen worden geleerd. Machine Learning systemen kunnen ook zelfstandig zonder begeleiding leren, bijvoorbeeld door het systeem zelf verbanden te laten leggen . Reinforced learning betreft systemen die zelfstandig leren door te reageren op situaties en data, bijvoorbeeld autonome voertuigen maken hier gebruik van. Zo gauw een autonoom voertuig een situatie tegenkomt en daarin een keuze maakt, wordt de uitkomst van deze keuze naderhand versterkt indien het effect voldoet aan de ge stelde eisen. Op deze manier leert een voertuig om objecten te ontwijken, de rijbaan te volgen, of in een file te rijden. Het onderscheid tussen stapsgewijze en lerende algoritmes is voor de toepasselijkheid van de AVG en het toezicht van de AP verder nie t relevant: zolang er persoonsgegevens worden verwerkt is de AP bevoegd om toezicht te houden. 2.3 het risico van oneerlijke, bevoordeelde of zelfs discriminatoire uitkomsten bij ge bruik van algoritmische systemen . 3 Dit kan verschillende oorzaken hebben. Discriminatie kan een bewuste keuze zijn van de ontwikke laar of van de gebruiker van een systeem. Maar d e uitkomst kan ook een gevolg zijn van een slecht ontworpen stappenplan of, bij AI , van de gebruikte 3 I n de literatuur samengevat onder de noemer unfairness .
PAGE – 5 ============
5 dataset, dit zijn de (persoons) dataset kan bevoordeelde, oneerlijke of discriminatoire overtuigingen of gedragingen bevatten, of simpelweg het gedrag of de voorkeuren van de meerderheid reflecteren. Alle datasets zullen in de praktijk beperkingen kennen en waarborgen behoeven om bias en ongewenste resultaten te verminderen. Als dit soort datasets worden gebruikt om algoritmische systemen te trainen kan dit leiden tot onbehoorlijke of oneerlijke uitkomsten voor specifieke groepen of individuen. Daarnaast kan een dergelijke uitkomst de onbedoelde bijkomstigheid zijn van hoe een systeem is ontworpen of hoe deze wordt gebruikt. Ten tweede bestaat de neiging bi j het ontwikkelen en gebruiken van algoritmische systemen om zoveel mogelijk gegevens te verzamelen. Hierbij is de aanname dat hoe meer data wordt gebruikt om de systemen te trainen, hoe beter deze systemen worden. Dit betekent dat er een perverse prikkel kan ontstaan om te veel, te lang en onnodig veel data te verzamelen, bewaren en verder te verwerken. Ten derde wordt het door de toenemende complexiteit van algoritm es steeds moeilijker om de interne logica van deze systemen te begrijpen en uit te leggen: er ontstaat een black box . Dit zorgt ervoor dat een betrokkene geen zicht meer heeft o p wat er met zijn gegevens gebeurd. Het verlies van menselijke autonomie is een uiterste consequentie. 3. Toezicht kader AI & algoritmes Als in een algoritm e ongeacht het type – persoonsgegevens worden gebruikt , valt deze onder het toezicht van de AP. D e privacywetgeving biedt belangrijke kaders voor het toezicht op algoritm es waar in persoonsgegevens worden gebruikt. In de Algemene v erordening g egevensbesc herming (AVG) zijn rechtmatigheid, behoorlijkheid en transparantie als kernbeginselen opgenomen en nader uitgewerkt in verschillende normen . Ook is als beginsel vastgelegd dat de verwerkingsverantwoordelijke verantwoordelijk is voor de naleving van alle beginselen uit de AVG, en dat ook kan aantonen. Deze verantwoordingsplicht is in de AVG uitgewerkt in verschillende instrumenten, di e goede handva t ten bieden voor de wijze waarop de AP toezicht op algoritmes kan vormgeven. Voorbeelden van deze (verantwoordings – )instrumenten zijn het Data Protection Impact Assessment (DPIA) en de Voorafgaande Raadpleging (VR). Tot slot stelt de AVG extra eisen aan de situatie wanneer er sprake is van uitsluitend geautomatiseerde besluitvormin g , dat wil zeggen zonder menselijke tussenkomst . 3.1 Rechtmatigheid, behoorlijkheid en transparantie In het toezicht op algoritmes en een goed aangrijp ings punt. De AVG bevat duidelijk e normen over wanneer het rechtmatig is om persoonsgegevens te verwerken. Ook schrijft de wet voor dat verwerkingsverantwoordelijke organisaties transparant moeten zijn over welke pe rsoonsgegevens zij verwerken , met welk doel en de wijze waarop die gegeven s worden verwerkt. Het begrip behoorlijk heid (fairness) kan worden ingevuld aan de hand van casuïstiek en bestaande normen . 4 4
PAGE – 6 ============
6 Daarnaast is er in de AVG opgenomen welke informatie er proactief of op verzoek – moet worden gegeven over het verwerken van persoonsgegevens in algoritmes aan degenen op wie deze persoonsgegevens betrekking 5 Zo is het onder andere verplicht om , als er sprake is van profilering en/of geautomatiseerde besluitvor ming, dit kenbaar te maken . Daarbij moet in bepaalde gevallen ook nuttige informatie worden gegeven over de onderliggende logica van het algoritme , alsmede het belang en de verwachte gevolgen van die verwerking voor de betrokkene. In het geval van profiler ing heeft de betrokkene het recht om daar tegen bezwaar te maken. 6 Een algoritme beoordelen op behoorlijkheid (fairness) is op zichzelf complex maar mogelijk met de juiste middelen en kennis . of behoorlijk is, is immers sterk verweven met de omstandigheden van het geval, maar daarnaast o ok met mogelijk subjectieve opvattingen over rechtvaardigheid . Een verwerkingsverantwoordelijke zal zelf actief moeten verantwoorden en motiveren waarom een algoritme fair is en het gebruik van het gekozen algoritme niet leidt tot onbehoorlijke uitkomsten. Desalniettemin is het actief bevorderen van transparantie ov er algoritmes belangrijk voor onze democrati sche rechtsstaat . Zo bezien is transparantie n ie t alleen van belang voor betrokkenen zelf , maar ook voor a ndere partijen , zoals de media, belangenorganisaties in het maatschappelijk veld en andere toezichthouders . 3.2 Verantwoordingsplicht Ook de verantwoordingsplicht geeft handvat t en voor het toezicht op algoritmes . Zo moet een verwerkingsverantwoordelijke verplicht een register bijhouden , waarin hij activiteiten waarbij persoonsgegevens worden verwerkt, inclusief de doeleinden van die verwerkingen en de gebruikte categorieën persoonsgegevens , beschrijft . 7 Ook moet e en organisatie die algoritmes gebruikt vooraf in kaart brengen de rechten en vrijheden van personen ontstaan. Bij het ontwerpen en bij het gebruik van algoritmische systemen oveel mogelijk worden voorkomen , onder andere door het nemen van gepaste waarborgen en maatregelen ; dataprotection by design. Concreet betekent dat vooraf goed nadenken over he t ontwerp van het systeem : is het gekozen algoritme passend bij het doel waarvoor het wordt ingezet? Ook betekent dit het testen van de werking van het algoritme en gepaste maatregelen en waarborgen implementeren voor dat het systeem gebruik t wordt . Het gaat daarbij bijvoorbeeld over wat er gebeurt wanneer algoritmes onbedoeld een verkeerde uitkomst ge ven en de vraag of door het gebruik van algoritmes misschien bepaalde groepen in de samenleving stelselmatig worden gediscrimineerd. De beoordeling over de , maatregelen en waarborgen moet regelmatig opnieuw worden beoordeeld. Daarnaast moet een verwerkingsverantwoordelijke voo r afgaand aan een bepaalde verwerking een beoordeling uitvoeren van het effect hier van op de bescherming van persoonsgege vens . Dit is vereist als de verwerking – gelet op de aard, de omvang, de context en de doeleinden – waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen. 5 Artikel 13, 14 en 15 AVG. 6 Artikel 21 AVG. 7 Artikel 30 AVG.
PAGE – 8 ============
8 Functionarissen voor de Gegevensbescherming (FG). In veel gevallen zullen organisaties die werken met algoritmes een FG moeten aanstellen die intern toezicht houdt en adviseert over verwerkingen. Daarna ast z ullen we verder e invulling geven aan een aantal specifieke verplichtingen . Dit zullen we in het bijzonder doen op het gebied van verplichtingen rondom transparantie en de v erantwoordings verplichtingen van de DPIA. Hierbij kan onderscheid worden gemaak t tussen verplichtingen bij het gebruik van algoritmes in het algemeen en lerende algoritmes , zoals toepassingen die gebruik maken van machine learning. D e AP zal hierbij zoveel mogelijk aansluiten bij bestaande (inter – )nationale initiatieven, standaarden en normen . 8 Verder zal de AP de mogelijke totstandkoming van sectorspecifieke gedragscodes op het terrein van de toepassing van AI stimuleren. Het stelsel van toezicht functioneert voor, tijdens en na een verwerking van persoonsgegevens. Verantwoordingsi nstrumenten kunnen worden gecontroleerd. Zowel door bijvoorbeeld het beoordelen van en adviseren over aan de AP voorgelegde voorafgaande raadplegingen, als door het uitvoeren van controlerende onderzoeken en handhaven als er sprake is van een overtreding. Een controlerend onderzoek kan ambtshalve gedaan worden of kan bijvoorbeeld worden geïnitieerd door een klacht of een tip. Hierbij zal de AP rekening houden met het feit dat de werking en de gevolgen van een algoritme moeilijk voor burgers te beoordelen zi jn. 4.2 Samenwerking met a ndere toezichthouders – Europees O ok in Europees verband zal er de komende jaren worden gewerkt aan normering op het gebied van de inzet van algoritmes . Het onderwerp staat binnen het samenwerkingsverband van Europese privacy toez ichthouders – de E uropean Data Protection Board (EDPB) – hoog op de agenda. Begin 2020 heeft de , uiteengezet. 9 De AP zal zich in de komende periode sterk maken voor een adequate en effectie ve invulling van toezicht op algoritmes. De AP zet ook in op hechte samenwerking met de Europese toezichthouders, om zo ook op Europees niveau een betere invulling te kunnen geven aan toezicht. 4.3 Samenwerking met a ndere toezichthouders – nationaal De AP houdt alleen toezicht op de naleving van wetgeving op het gebied van databescherming. Echter, de ontwikkeling en inzet van algoritm es kan ook gevolgen hebben voor andere ( rechts ) gebieden, zoals onder andere consument enrecht, mededingingsrecht en antidiscriminatie. Om deze reden zal de AP ook met andere nationale toezichthouders gaan samenwerk en op het terrein van algoritmes en AI . Zo heeft de AP in de ontwikkeling van dit document deskundigen van verschillende depart ementen , van andere toezichthouders en wetenschap pers geraadpleegd . 8 Bekende i nitiatieven zijn bijvoorbeeld : FATML: Fairness, Accountability, and Transparency in Machine Learning ; EU: Ethics guidelines for trustworthy AI ; AI NOW Institute : Algorithmic Accountability Policy Toolkit ; en van het Platform voor Informatiecentrum (ECP): AI Impact Assessment . 9 Beantwoording van de brief (31 juli 2019) van Europarlementariër Sophie in t Veld . https://edpb.europa.eu/our – work – tools/our – documents/letters/edpb – response – mep – sophie – int – velds – letter – unfair – algorithms_en
PAGE – 9 ============
9 5. Bijlage: Wettelijk kader Bij het gebruik van persoonsgegevens in algoritmes is de AVG geheel van toepassing. Hier noemen we een aantal passages uit de AVG die specifiek van toepassing zijn bij het gebruik van algoritmes . 5.1 Beginselen (artikel 5 AVG) De AVG geeft in het eerste lid, onder a, van artikel 5 drie beginselen weer die aangeven dat persoonsgegevens moeten worden verwerkt op een wijze die ten aanzien van de betrokkene rechtmatig, behoorlijk en transparant is 5.2 Verantwoording (artikel 24 en 25 AVG) De verwerkingsverantwoordelijke is verantwoordelijk om passende technische en organisatorische maatregelen te treffen om te waarborgen en te kunnen aantonen dat de verwerking in overeenstemming met de AVG wordt uitgevoerd. Hierbij dient de verwerkingsverantwoordelijke rekening te houden met de aard, de omvang, de context en het doel van de verwerking, alsook met de qua waarschijnlijkheid en ernst uiteenlopende risico’s voor de rechten en vrijheden van natuurlijke personen . Deze maatregelen dienen te worden geëvalueerd en indien nodig te worden geactualiseerd. In beginsel dient de verwerking gegevensbescherming te bieden door het ontwerp en de standaardinstellingen. 5.3 Data Protection Impact Assessment en Voorafgaande Raadpleging (artikel 35 en 36 AVG) Organisaties kunnen verplicht zijn om een data protection imp act assessment (DPIA) uit te voeren. Dit is het geval wanneer een soort verwerking, in het bijzonder een verwerking waarbij nieuwe technologieën worden gebruikt, gelet op de aard, de omvang, de context en de doeleinden daarvan waarschijnlijk een hoog risic o voor de rechten en vrijheden van natuurlijke personen inhoudt. De DPIA is een instrument om . De verwerkingsver antwoordelijke mag in dat geval niet beginnen met het verwerken van gegevens voordat een DPIA (en indien nodig ee n voorafgaande raadpleging) is uitgevoerd. Wanneer een DPIA uitwijst dat de verwerking een hoog risico oplevert indien de verwerkingsverantwoor delijke geen maatregelen neemt om het risico te beperken, dan raadpleegt de verantwoordelijke voorafgaand aan de verwerking de verantwoordelijke toezichthouder. De toezichthoudende autoriteit geeft schriftelijk advies aan de verwerkingsverantwoordelijke ov er de verwerking. 5.4 Profilering (artikel 4 AVG) waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worde n geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te Het gebruik van het woord “evaluer en” betekent dat er bij profilering een beoordeling over een persoon gemaakt wordt.
PAGE – 10 ============
10 5.5 (Uitsluitend) geautomatiseerde besluitvorming (artikel 22 AVG) Geautomatiseerde besluiten kunnen met of zonder profilering worden genomen en profilering kan plaatsvinden met en zonder geautomatiseerde besluitvorming. Uitsluitend geautomatiseerde besluitvorming is het nemen van besluiten met technologische middelen en zonder menselijke tussenkomst. 5.6 Toepasselijke normen uit de AVG (artikel 2 AVG) geautomatiseerde verwerking of van de verwerking van persoonsgegev ens die in een bestand zijn bepalingen in de AVG van toepassing op beiden. 5.7 Specifieke normen voor uitsluitend geautomatiseerde besluitvorming (artikel 22 AVG) Artikel 22 AVG formuleert een verbod op volledig geautomatiseerde individuele besluitvorming d ie is gebaseerd op profilering als het voor de betrokkene juridische of anderszins aanmerkelijke gevolgen heeft. Het verbod is niet absoluut, lid 2 geeft drie ui tzonderingsgronden op het verbod. 1.De betrokkene heeft het recht niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft. 2.Lid 1 geldt niet indien het besluit: a) noodzakelijk is voor de totstandkoming of de uitvoering van een overeenkomst tussen de betrokkene en een verwerkingsverantwoordelijke; b) is toegestaan bij een Unierechtelijke of li dstaatrechtelijke bepaling die op de verwerkingsverantwoordelijke van toepassing is en die ook voorziet in passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene; of c) berust op de uitdrukkelijke t oestemming van de betrokkene. 3.In de in lid 2, punten a) en c), bedoelde gevallen treft de verwerkingsverantwoordelijke passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene, waaronder ten minste het recht op menselijke tussenkomst van de verwerkingsverantwoordelijke, het recht om zijn standpunt kenbaar te maken en het recht om het besluit aan te vechten. 4.De in lid 2 bedoelde besluiten worden niet gebaseerd op de in artikel 9, lid 1, bedoelde bi jzondere categorieën van persoonsgegevens, tenzij artikel 9, lid 2, punt a) of g), van toepassing is en er passende maatregelen ter bescherming van de gerechtvaardigde belangen van de betrokkene zijn getroffen. De wetgever achtte het wenselijk om van de uitzonderingsgrond lid 2 sub b gebruik te maken en heeft in artikel 40 van de UAVG het volgende opgenomen: geautomatiseerde individuele besluitvorming, anders dan op basis van profilering, noodzakelijk is om te voldoen aan een wettelijke verplichting die op de verwerkingsverantwoordelijke rust of noodzakelijk is voor de vervulling van een taak van algemeen belang. 2 Bij de geautomatiseerde individuele besluitvormin g, bedoeld in het eerste lid, treft de verwerkingsverantwoordelijke passende maatregelen die strekken tot bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene.
PAGE – 11 ============
11 3 Indien de verwerkingsverantwoordelijke geen bestuursorgaan i s, dan zijn passende maatregelen als bedoeld in het tweede lid, in ieder geval getroffen indien het recht op menselijke tussenkomst, het recht voor betrokkene om zijn standpunt kenbaar te maken en het recht om het besluit aan te vechten, zijn V ragen over de Algemene verordening gegevensbescherming Op onze website autoriteitpersoonsgegevens.nl vindt u informatie en antwoorden op vragen over de Algemene verordening gegevensbescherming (AVG). Heeft u op deze website geen antwoord op uw vraag gevonden? Dan kunt u contact opnemen met het Informatie – en Meldpunt Privacy van de Autoriteit Persoonsgegevens op 088 – 1805 250.
39 KB – 11 Pages