Zalecenie CM/Rec(2020)1 Komitetu Ministrów dla państw członkowskichw sprawie wpływu systemów algorytmicznych na prawa człowieka

WAŻNE DOBITNE ISTOTNE !!! DOTYCZY CIEBIE 

Zalecenie CM/Rec(2020)1 Komitetu Ministrów dla państw członkowskich

w sprawie wpływu systemów algorytmicznych na prawa człowieka

(Przyjęte przez Komitet Ministrów w dniu 8 kwietnia 2020

w 1373 rd posiedzeniu Zastępców Ministrów)

Preambuła

Komitet Ministrów, zgodnie z art. 15 lit. b Statutu Rady Europy,

Zważywszy, że państwa członkowskie Rady Europy zobowiązały się do zapewnienia praw i wolności zapisanych w Konwencji o ochronie praw człowieka i podstawowych wolności (ETS nr 5, „Konwencja”) wszystkim osobom podlegającym ich jurysdykcji oraz że zaangażowanie jest widoczne w ciągłych procesach postępu technologicznego i transformacji cyfrowej, których doświadczają społeczeństwa europejskie;

potwierdzając, że w rezultacie państwa członkowskie muszą zapewnić, aby wszelkie projektowanie, rozwój i bieżące wdrażanie systemów algorytmicznych odbywało się zgodnie z prawami człowieka i podstawowymi wolnościami, które są uniwersalne, niepodzielne, współzależne i wzajemnie powiązane, w celu wzmocnienia pozytywnych skutki i zapobieganie lub minimalizowanie ewentualnych skutków ubocznych;

Uznając bezprecedensowy wzrost wykorzystania aplikacji cyfrowych jako podstawowych narzędzi życia codziennego, w tym w komunikacji, edukacji, zdrowiu, działalności gospodarczej i transporcie, ich rosnącą rolę w strukturach zarządzania oraz zarządzaniu i dystrybucji zasobów oraz fakt, że przekrojowe technologie wykorzystujące systemy algorytmiczne, wraz z odpowiednimi zachętami, mają potencjał do sprostania ważnym wyzwaniom, w tym zmianom klimatu i zrównoważonemu rozwojowi;

Świadomi ewoluującego wpływu, który może być pozytywny lub negatywny, jaki ma zastosowanie systemów algorytmicznych z automatycznym gromadzeniem danych, analizą, podejmowaniem decyzji, optymalizacją lub uczeniem maszynowym na korzystanie, korzystanie i ochronę wszystkich praw człowieka i podstawowych wolności oraz znaczących wyzwań, także dla społeczeństw demokratycznych i praworządności, związanych z coraz większą zależnością od systemów algorytmicznych w życiu codziennym;

Podkreślając potrzebę zagwarantowania, że ​​nierówności rasowe, płciowe i inne nierówności społeczne i siły roboczej, które nie zostały jeszcze wyeliminowane z naszych społeczeństw, nie są celowo lub przypadkowo utrwalane przez systemy algorytmiczne, a także potrzebę zajęcia się tymi zaburzeniami równowagi za pomocą odpowiednich technologii;

Mając na uwadze, że technologie cyfrowe mają znaczny potencjał społecznie korzystnych innowacji i rozwoju gospodarczego oraz że osiągnięcie tych celów musi być zakorzenione we wspólnych wartościach społeczeństw demokratycznych i podlegać pełnemu demokratycznemu uczestnictwu i nadzorowi;

potwierdzając zatem, że normy praworządności, które regulują stosunki publiczne i prywatne, takie jak legalność, przejrzystość, przewidywalność, rozliczalność i nadzór, muszą być również utrzymane w kontekście systemów algorytmicznych;

Biorąc pod uwagę, że bieżące inicjatywy sektora publicznego i prywatnego mające na celu opracowanie wytycznych i standardów etycznych dotyczących projektowania, rozwoju i ciągłego wdrażania systemów algorytmicznych, stanowiąc jednocześnie bardzo pożądane uznanie zagrożeń, jakie te systemy stwarzają dla wartości normatywnych, nie zwalniają Rady Europy państwa członkowskie ich obowiązków jako głównych strażników Konwencji;

Przypominając wynikający z Konwencji zobowiązanie państw członkowskich do powstrzymywania się od naruszeń praw człowieka, w tym za pomocą systemów algorytmicznych, niezależnie od tego, czy są one stosowane przez nie same, czy w wyniku ich działań, oraz ich obowiązek ustanowienia skutecznych i przewidywalnych ram prawnych, regulacyjnych i nadzorczych, które zapobiegać, wykrywać, zakazywać i naprawiać naruszenia praw człowieka, zarówno ze strony podmiotów publicznych, jak i prywatnych oraz mające wpływ na stosunki między przedsiębiorstwami, między przedsiębiorstwami a konsumentami lub między przedsiębiorstwami a innymi osobami i grupami, których to dotyczy;

Podkreślając, że państwa członkowskie powinny zapewnić zgodność z obowiązującymi ramami prawnymi i regulacyjnymi oraz zagwarantować zabezpieczenia proceduralne, organizacyjne i merytoryczne oraz dostęp do skutecznych środków odwoławczych w odniesieniu do wszystkich odpowiednich podmiotów, jednocześnie promując środowisko, w którym innowacje technologiczne szanują i wzmacniają prawa człowieka oraz są zgodne z podstawowy obowiązek, aby wszelkie ograniczenia praw człowieka były konieczne i proporcjonalne w społeczeństwie demokratycznym oraz wdrażane zgodnie z prawem;

Biorąc pod uwagę i opierając się na istniejących normach, standardach i zaleceniach Rady Europy, regionalnych i międzynarodowych związanych z ochroną praw człowieka i podstawowych wolności we współczesnych społeczeństwach, jak również na zmieniającym się orzecznictwie Europejskiego Trybunału Praw Człowieka;

Podkreślając w szczególności znaczenie istniejących standardów ochrony danych osobowych, w szczególności Konwencji o ochronie osób w związku z automatycznym przetwarzaniem danych osobowych (ETS nr 108) zmodernizowanej protokołem zmieniającym (CETS nr 223), podkreślając jednocześnie, że wpływ systemów algorytmicznych na prawa człowieka jest szerszy i wymaga dodatkowej ochrony;

Przypominając ponadto, że podmioty sektora prywatnego, zgodnie z wytycznymi ONZ dotyczącymi biznesu i praw człowieka, ponoszą korporacyjną odpowiedzialność za poszanowanie praw człowieka swoich klientów i wszystkich zainteresowanych stron oraz że w tym celu należy wprowadzić elastyczne modele zarządzania przyjęte, które gwarantują szybkie i skuteczne zadośćuczynienie i możliwości zadośćuczynienia w przypadku wystąpienia incydentów, zapewniając, że odpowiedzialność i odpowiedzialność za ochronę praw człowieka są skutecznie i wyraźnie rozłożone na wszystkich etapach procesu, od etapu wniosku po identyfikację zadań, wybór danych, gromadzenie i analiza, modelowanie i projektowanie systemu, aż po bieżące wdrażanie, przegląd i wymagania dotyczące raportowania;

Uznając fakt, że szybki rozwój społeczno-techniczny wymaga stałego monitorowania i dostosowywania odpowiednich ram zarządzania w celu skutecznej ochrony praw człowieka w złożonym środowisku globalnym, oraz uznając potrzebę regularnego udzielania wskazówek wszystkim odpowiednim podmiotom sektora publicznego i prywatnego ,

Zaleca rządom państw członkowskich:

1. dokonać przeglądu swoich ram prawnych i polityk, a także własnych praktyk w odniesieniu do zamówień, projektowania, rozwoju i ciągłego wdrażania systemów algorytmicznych, aby zapewnić ich zgodność z wytycznymi określonymi w załączniku do niniejszego zalecenia; promować ich wdrażanie we wszystkich odpowiednich obszarach i oceniać skuteczność podejmowanych środków w regularnych odstępach czasu, przy udziale wszystkich odpowiednich zainteresowanych stron;

2. zapewnić, aby niniejsze zalecenie, w tym wytyczne zawarte w załączniku, było jak najszerzej tłumaczone i rozpowszechniane wszelkimi dostępnymi środkami wśród właściwych organów i zainteresowanych stron, w tym parlamentów, niezależnych organów, wyspecjalizowanych agencji publicznych, krajowych instytucji praw człowieka i organów ds. równości , organizacje społeczeństwa obywatelskiego i sektor prywatny;

3. zapewnić, poprzez odpowiednie ramy prawne, regulacyjne i nadzorcze związane z systemami algorytmicznymi, aby podmioty sektora prywatnego zaangażowane w projektowanie, rozwój i bieżące wdrażanie takich systemów przestrzegały obowiązujących przepisów i wypełniały swoje obowiązki w zakresie poszanowania praw człowieka zgodnie z Wytyczne ONZ dotyczące biznesu i praw człowieka oraz odpowiednie normy regionalne i międzynarodowe;

4. wyposażyć odpowiednie krajowe instytucje nadzoru, nadzoru, oceny ryzyka i egzekwowania prawa w niezbędne zasoby i uprawnienia do badania, nadzorowania i koordynowania zgodności z odpowiednimi ramami prawnymi i regulacyjnymi, zgodnie z niniejszym zaleceniem;

5. angażować się w regularne, integracyjne i przejrzyste konsultacje, współpracę i dialog ze wszystkimi odpowiednimi zainteresowanymi stronami (takimi jak społeczeństwo obywatelskie, organizacje obrony praw człowieka, sektor prywatny, społeczność akademicka i zawodowa, media, placówki edukacyjne, biblioteki publiczne, dostawców infrastruktury i podstawowych usług publicznych, w tym opieki społecznej i policji), zwracając szczególną uwagę na potrzeby i głosy grup szczególnie wrażliwych, w celu zapewnienia, że ​​skutki dla praw człowieka wynikające z projektowania, rozwoju i ciągłego wdrażania systemów algorytmicznych są kompleksowo monitorowane, omawiane i adresowane;

6. traktować priorytetowo budowanie wiedzy specjalistycznej w instytucjach publicznych i prywatnych zaangażowanych w integrację systemów algorytmicznych z wieloma aspektami społeczeństwa w celu skutecznej ochrony praw człowieka;

7. zachęcać i promować wdrażanie skutecznych i dostosowanych do potrzeb mediów, informacji i programów alfabetyzacji cyfrowej, aby umożliwić wszystkim osobom i grupom:

a. zrozumieć funkcje i konsekwencje systemów wykorzystujących zautomatyzowane podejmowanie decyzji,

b. podejmować świadome decyzje w korzystaniu z takich systemów,

C. cieszyć się korzyściami płynącymi z używania systemów algorytmicznych oraz

D. zminimalizować narażenie na zagrożenia i ryzyka wynikające z użytkowania takich systemów,

w skutecznej współpracy ze wszystkimi zainteresowanymi stronami, w tym z sektora prywatnego, mediów, społeczeństwa obywatelskiego, placówek edukacyjnych oraz instytucji akademickich i technicznych;

8. brać pod uwagę wpływ rozwoju usług cyfrowych na dużą skalę na środowisko i podejmować niezbędne kroki w celu optymalizacji wykorzystania i zużycia zasobów naturalnych i energii;

9. dokonywać regularnych przeglądów, w porozumieniu ze wszystkimi odpowiednimi podmiotami, oraz składać sprawozdania na szczeblu krajowym i w ramach Komitetu Ministrów o środkach podjętych w celu wdrożenia niniejszego zalecenia i jego wytycznych w celu zwiększenia ich skuteczności i dostosowania ich do zmieniających się wyzwań.

Załącznik do Rekomendacji CM/Rec(2020)1

Wytyczne dotyczące wpływu systemów algorytmicznych na prawa człowieka

A. Zakres i kontekst

1.           Niniejsze wytyczne mają na celu doradzanie państwom oraz podmiotom sektora publicznego i prywatnego we wszystkich ich działaniach dotyczących projektowania, rozwoju i ciągłego wdrażania systemów algorytmicznych. W celu zapewnienia skutecznej ochrony praw człowieka i podstawowych wolności wszystkich osób, zapisanych w Europejskiej Konwencji Praw Człowieka („Konwencja”) i innych odpowiednich traktatach w trakcie rozwoju technologicznego, państwa członkowskie Rady Europy powstrzymują się łamania praw człowieka poprzez stosowanie systemów algorytmicznych oraz opracowują ramy prawne i regulacyjne, które sprzyjają środowisku, w którym wszystkie podmioty szanują i promują prawa człowieka oraz starają się zapobiegać ewentualnym naruszeniom. Niezależnie od zobowiązań państwowych i w różnych jurysdykcjach,

2.             Na potrzeby niniejszej rekomendacji przez „systemy algorytmiczne” rozumie się aplikacje, które często z wykorzystaniem technik optymalizacji matematycznej wykonują jedno lub więcej zadań, takich jak zbieranie, łączenie, czyszczenie, sortowanie, klasyfikowanie i wnioskowanie danych oraz selekcja, ustalanie priorytetów, formułowanie zaleceń i podejmowanie decyzji. Opierając się na jednym lub kilku algorytmach, aby spełnić swoje wymagania w ustawieniach, w których są stosowane, systemy algorytmiczne automatyzują działania w sposób, który pozwala na tworzenie usług adaptacyjnych na dużą skalę i w czasie rzeczywistym .

3.            Działając zazwyczaj poprzez wykrywanie wzorców w dużych zbiorach danych, systemy algorytmiczne oferują potencjał do poprawy wydajności usług (w szczególności poprzez zwiększoną precyzję, celowanie i spójność), zapewniają nowe rozwiązania oraz zapewniają zwrot w zakresie wydajności i skuteczności zadań i wydajności systemu. Doprowadziły one do ogromnych ulepszeń w kategoryzacji i wyszukiwaniu informacji cyfrowych oraz ułatwiły ważne postępy w dziedzinach takich jak diagnostyka medyczna, transport i logistyka, umożliwiając szerszą i szybszą wymianę informacji na całym świecie oraz umożliwiając nowe formy współpracy i współpracy. -wyświęcenie. Dzięki temu przenikają wiele aspektów życia współczesnego człowieka.

4.           Jednak coraz większe poleganie na systemach algorytmicznych w życiu codziennym wiąże się z poważnymi wyzwaniami w zakresie praw człowieka, takimi jak prawo do rzetelnego procesu sądowego; prawo do prywatności i ochrony danych; prawo do wolności myśli, sumienia i wyznania; prawo do wolności wypowiedzi; prawo do wolności zgromadzeń; prawo do równego traktowania; oraz prawa gospodarcze i społeczne. Funkcjonalność systemów algorytmicznych często opiera się na systematycznej agregacji i analizie danych gromadzonych za pomocą śledzenia cyfrowego na skalę tożsamości online i offline oraz zachowań osób i grup. Oprócz ingerencji w prywatność jednostek i rosnącego potencjału wysoce zindywidualizowanej manipulacji śledzenie na dużą skalę może mieć poważny negatywny wpływ na korzystanie z praw człowieka,

5.           Chociaż często twierdzi się, że koszty są równoważone przez korzyści w zakresie racjonalizacji i dokładności, należy zauważyć, że większość systemów algorytmicznych opiera się na modelach statystycznych, w których błędy stanowią nieuniknioną część, czasami z pętlami sprzężenia zwrotnego, które utrzymują, replikują i wzmacniają wcześniejsze -istniejące uprzedzenia, błędy i założenia. Chociaż może się wydawać, że większe zestawy danych zapewniają większe szanse na znalezienie powtarzających się wzorców i korelacji, wskaźniki dokładności nie zwiększają się automatycznie wraz z rozmiarem zestawu danych. W wyniku dużej liczby osób dotkniętych systemami algorytmicznymi zwiększy się również liczba błędów w postaci fałszywie pozytywnych i fałszywie negatywnych, a także osób dotkniętych tymi błędami i wbudowaną stronniczością, powodując dodatkowe zakłócenia w funkcjonowaniu systemu. korzystanie z praw człowieka na wiele sposobów.

6.            Systemy algorytmiczne nie przetwarzają i nie generują wyników wyłącznie na podstawie danych osobowych. Mogą również działać w oparciu o dane nieobserwacyjne i nieosobowe, takie jak symulacje, dane syntetyczne lub uogólnione zasady lub procedury. Jednak ich stosowanie może mieć negatywny wpływ na prawa człowieka. Osoby i grupy, których dane nie są przetwarzane lub które nie zostały w inny sposób wzięte pod uwagę, mogą być bezpośrednio zaangażowane i mogą mieć na nie znaczący wpływ, szczególnie gdy systemy algorytmiczne są wykorzystywane do podejmowania decyzji, dostosowywania zaleceń lub kształtowania środowiska fizycznego.

7.            Wiele systemów algorytmicznych wykorzystuje techniki optymalizacji, w których etapy rozwoju i wdrożenia są ze sobą ściśle powiązane. Każde użycie systemu algorytmicznego może skłonić do wprowadzenia korekt w jego funkcjonowaniu w celu doskonalenia wyników, które opierają się na wąskim zakresie wcześniej zdefiniowanych wyników. Takie procesy mogą kształtować i zakłócać środowisko, zwłaszcza gdy działają na dużą skalę. Przedkładają pewne wartości nad inne, na przykład ogólne zyski nad konkretnymi stratami. Zwykle dzieje się to w sposób, który nie jest jednoznaczny, przejrzysty, rozliczalny lub kontrolowany przez osobę, której to dotyczy, i który może generować negatywne skutki, szczególnie dla mniejszości i grup zmarginalizowanych lub znajdujących się w niekorzystnej sytuacji.

8.           Biorąc pod uwagę szeroki wachlarz rodzajów i zastosowań systemów algorytmicznych w życiu codziennym, poziom ich wpływu – pozytywnego i negatywnego – na prawa człowieka zawsze będzie zależał od konkretnego celu, w jakim są wykorzystywane, ich funkcjonalności, dokładności, złożoności, efektów oraz skalę, na jaką są wdrażane. Ich wpływ będzie również zależał od szerszego kontekstu organizacyjnego, tematycznego, społecznego i prawnego, w jakim są używane, z których każdy jest powiązany z określonymi wartościami publicznymi i etycznymi. Aplikacje są bardzo zróżnicowane, na przykład filtry spamu w poczcie e-mail, analiza danych związanych ze zdrowiem lub racjonalizacja przepływów ruchu. Systemy algorytmiczne są również wykorzystywane do celów predykcyjnych w kontekście policji i kontroli granic, w celu zwalczania prania pieniędzy i oszustw lub w pracy,

9.            Oceniając potencjalnie negatywny wpływ na prawa człowieka wynikający z projektowania, rozwoju i ciągłego wdrażania systemu algorytmicznego, konieczne jest ciągłe ocenianie i dokumentowanie kontekstu, podstawy prawnej, celu, dokładności, skutków ubocznych i skali systemu posługiwać się. Należy również wziąć pod uwagę nieodłączne ryzyko ataku lub pomylenia tych systemów poprzez wrogie uczenie maszynowe lub za pomocą innych środków (w tym cyberataków) ze względu na skalę, charakter i możliwą wartość przetwarzanych danych. Ocena zakresu możliwego wpływu systemu algorytmicznego na prawa człowieka powinna uwzględniać wagę, skalę i prawdopodobieństwo spowodowania naruszenia praw człowieka.

10.          Gdy systemy algorytmiczne mogą potencjalnie wywrzeć negatywny wpływ na prawa człowieka dla jednostki, określonej grupy lub całej populacji, w tym wpływ na procesy demokratyczne lub rządy prawa, skutki te wiążą się z zobowiązaniami państwa i odpowiedzialnością sektora prywatnego w odniesieniu do praw człowieka.

11.         W niektórych przypadkach zastosowanie systemu algorytmicznego może wywołać szczególne, wyższe ryzyko dla praw człowieka, na przykład dlatego, że jest on wykorzystywany przez państwa w celu świadczenia usług publicznych lub realizacji polityki publicznej, a jednostka nie ma możliwości zrezygnowania lub cierpi negatywne konsekwencje w wyniku decyzji o rezygnacji. Podobnie podwyższone ryzyko powstaje w wyniku używania w kontekście procesów decyzyjnych przez organy publiczne lub podmioty prywatne w sytuacjach o szczególnej wadze lub skutkach prawnych. Na przykład, wykorzystanie systemów algorytmicznych w dziedzinie sądownictwa do celów analizy prawnej, przewidywania lub indywidualnej oceny ryzyka musi być wprowadzane z wielką starannością i zgodnie z gwarancjami rzetelnego procesu sądowego zapisanymi w art. 6 Konwencji. W tym zaleceniu

12. Na          szczególną uwagę w ocenie potencjalnych negatywnych skutków dla praw człowieka – i wynikających z tego kwestii podziału odpowiedzialności – zasługuje szeroki zakres zastosowań systemów algorytmicznych, które nie są ani wyraźnie publiczne, ani wyraźnie prywatne. Może tak być w przypadku, gdy części usługi publicznej są zlecane na zewnątrz dostawcom z sektora prywatnego, którzy sami mogą być zależni od innych dostawców usług, gdy podmioty publiczne zamawiają systemy i usługi algorytmiczne od sektora prywatnego lub gdy przedsiębiorstwo wdraża system algorytmiczny w celu osiągnąć cele polityki publicznej określone przez państwa.

13.          Sprawy, w których funkcje tradycyjnie wykonywane przez władze publiczne, takie jak związane z transportem lub telekomunikacją, w całości lub w części uzależniają się od dostarczania systemów algorytmicznych przez podmioty prywatne, są również skomplikowane. Kiedy takie systemy są następnie wycofywane z powodów komercyjnych, skutkiem może być spadek jakości i/lub wydajności do utraty usług, które są uważane za niezbędne przez jednostki i społeczności. Państwa powinny wprowadzić sytuacje awaryjne, aby zapewnić dostępność podstawowych usług bez względu na ich rentowność komercyjną, szczególnie w sytuacji, gdy podmioty sektora prywatnego dominują na rynku w sposób, który plasuje ich na pozycjach wpływu lub nawet kontroli.

14.         Projektowanie, rozwój i bieżące wdrażanie systemów algorytmicznych angażuje wiele podmiotów, w tym projektantów oprogramowania, programistów, źródła danych, pracowników danych, właścicieli, sprzedawców, użytkowników lub klientów, dostawców infrastruktury oraz podmioty i instytucje publiczne i prywatne. Ponadto wiele systemów algorytmicznych, czy to uczących się, czy nieuczących, działa ze znacznymi poziomami nieprzejrzystości, czasami nawet celowo. Nawet projektant lub operator, który zwykle ustala nadrzędny cel i parametry systemu, w tym dane wejściowe, cel optymalizacji i model, często nie wie, na jakich informacjach system opiera się przy podejmowaniu decyzji i prawdopodobnie napotykają niepewność co do bezpośredniego i pośredniego wpływu systemu na użytkowników i szersze środowiska, w których te systemy mają działać.

15.          Biorąc pod uwagę tę złożoność, konieczne jest, aby państwa członkowskie były świadome specyficznego wpływu tych procesów na prawa człowieka oraz aby wszelkie inwestycje w takie systemy zawierały odpowiednie zdarzenia awaryjne w celu skutecznego monitorowania, oceny, procesów przeglądu i zadośćuczynienia za wynikłe niekorzystne skutki lub, tam, gdzie to konieczne, zaniechanie procesów, które nie spełniają standardów praw człowieka. Procesy zarządzania ryzykiem powinny wykrywać i zapobiegać szkodliwemu wykorzystaniu systemów algorytmicznych i ich negatywnym skutkom. Państwa członkowskie powinny przyjąć ostrożne podejście i wymagać odmowy stosowania niektórych systemów, gdy ich wdrożenie prowadzi do wysokiego ryzyka nieodwracalnych szkód lub gdy ze względu na ich nieprzejrzystość kontrola i nadzór ze strony człowieka stają się niepraktyczne.

B. Obowiązki państw w zakresie ochrony i promowania praw człowieka i podstawowych wolności w kontekście systemów algorytmicznych

1. Zasady ogólnego zastosowania

1.1 Prawodawstwo: Proces opracowywania, uchwalania i oceny polityk i przepisów lub regulacji mających zastosowanie do projektowania, rozwoju i ciągłego wdrażania systemów algorytmicznych powinien być przejrzysty, rozliczalny i integracyjny. Państwa powinny regularnie konsultować się ze wszystkimi zainteresowanymi stronami i zainteresowanymi stronami, w tym na poziomie sektorowym, w stosownych przypadkach. Państwa powinny zapewnić egzekwowalność i egzekwowanie prawa, w tym poprzez wymaganie od odpowiednich podmiotów przedstawienia odpowiedniej dokumentacji w celu weryfikacji zgodności z prawem. W przypadku gdy podmioty sektora publicznego i prywatnego nie wywiązują się ze swoich obowiązków prawnych, powinny zostać pociągnięte do odpowiedzialności.         

1.2.      Ciągły przegląd: Przez cały cykl życia systemu algorytmicznego, od etapu propozycji do oceny skutków, należy regularnie oceniać wpływ poszczególnych systemów na prawa człowieka i ich interakcję z innymi technologiami. Jest to konieczne ze względu na szybkość i skalę funkcjonowania tych systemów oraz szybko zmieniające się środowisko technologiczne, w którym działają. Powinno się to odbywać na podstawie szerokich, skutecznych konsultacji z osobami dotkniętymi lub prawdopodobnie dotkniętymi.

1.3       Demokratyczny udział i świadomość:W celu zapewnienia pełnego korzystania z praw człowieka i wolności demokratycznych, Państwa powinny wspierać ogólną świadomość społeczną w zakresie zdolności, mocy i konsekwencji systemów algorytmicznych, w tym ich potencjalnego wykorzystania do manipulowania, wykorzystywania, oszukiwania lub rozpowszechniania zasobów, w celu umożliwienie wszystkim jednostkom i grupom uświadomienia sobie swoich praw i umiejętności ich stosowania w praktyce oraz korzystania z technologii cyfrowych dla własnej korzyści. Ponadto wszystkie odpowiednie podmioty, w tym podmioty z sektorów publicznego, prywatnego i społeczeństwa obywatelskiego, w których rozważa się lub stosuje systemy algorytmiczne, powinny promować, zachęcać i wspierać w sposób dostosowany do potrzeb i włączający (biorąc pod uwagę różnorodność w odniesieniu do np. wiek, płeć, rasa, pochodzenie etniczne, kulturowe lub społeczno-ekonomiczne) poziom mediów,

1.4       Ramy instytucjonalne:Państwa powinny zidentyfikować i/lub opracować odpowiednie ramy i standardy instytucjonalne i regulacyjne, które ustalają ogólne lub sektorowe wzorce i zabezpieczenia w celu zapewnienia zgodności projektowania, rozwoju i ciągłego wdrażania systemów algorytmicznych z prawami człowieka. Wysiłki powinny zapewnić, że bezpośrednie lub pośrednie zagrożenia dla praw człowieka, w tym możliwe skumulowane skutki różnych systemów, zostaną szybko zidentyfikowane oraz że zostaną podjęte odpowiednie działania naprawcze. Państwa powinny inwestować w odpowiednią wiedzę fachową, aby była dostępna w organach regulacyjnych i nadzorczych dysponujących odpowiednimi zasobami. Powinny ponadto ściśle współpracować z niezależnymi władzami, organami ds. równości, krajowymi instytucjami praw człowieka, uniwersytetami, organizacjami ustanawiającymi normy, operatorami usług,

2. Zarządzanie danymi

2.1       Informacyjne samostanowienie: Państwa powinny zapewnić, aby wszystkie projekty, rozwój i bieżące wdrażanie systemów algorytmicznych umożliwiały osobom wcześniejsze poinformowanie o powiązanym przetwarzaniu danych (w tym jego celach i możliwych wynikach) oraz kontrolowanie ich danych, w tym poprzez interoperacyjność. Rozmyślne wysiłki jednostek lub grup, aby siebie, ich środowisko fizyczne lub ich działania nie były czytelne dla automatyzacji lub innych form odczytu maszynowego lub manipulacji, w tym poprzez zaciemnianie, powinny być uznane za uzasadnione ćwiczenie informacyjnego samostanowienia, z zastrzeżeniem możliwych niezbędnych ograniczeń w społeczeństwie demokratycznym i przewidzianych prawem.

2.2       Zbiory danych:Projektując, rozwijając, stale wdrażając i nabywając systemy algorytmiczne dla nich lub przez nich, państwa powinny dokładnie ocenić, na jakie prawa człowieka i zasady niedyskryminacji mogą mieć wpływ jakość danych, które są wprowadzane do danych i pobierane z nich. system algorytmiczny, ponieważ często zawierają uprzedzenia i mogą zastępować klasyfikatory, takie jak płeć, rasa, religia, poglądy polityczne lub pochodzenie społeczne. Należy również dokładnie ocenić pochodzenie i możliwe wady zbioru danych, możliwość jego niewłaściwego lub zdekontekstualizowanego wykorzystania, negatywne skutki zewnętrzne wynikające z tych niedociągnięć i niewłaściwego wykorzystania, a także środowiska, w których zbiór danych będzie lub mógłby być wykorzystywany. . Szczególną uwagę należy zwrócić na zagrożenia nieodłączne, takie jak możliwa identyfikacja osób przy użyciu danych, które były wcześniej przetwarzane w oparciu o anonimowość lub pseudonimowość, oraz generowanie nowych, wnioskowanych, potencjalnie wrażliwych danych i form kategoryzacji za pomocą zautomatyzowanych środków. W oparciu o te oceny, Państwa powinny podjąć odpowiednie działania w celu zapobiegania i skutecznego minimalizowania niekorzystnych skutków.

2.3       Infrastruktura: Rosnąca centralizacja danych i zdolności przetwarzania danych (w tym przetwarzania w chmurze) oraz możliwość braku wyboru w zakresie infrastruktury mogą negatywnie wpłynąć na zdolność państw do wypełniania ich zobowiązań w zakresie praw człowieka wynikających z Konwencji. Dlatego też Państwa powinny ułatwiać rozwój alternatywnych, bezpiecznych i zabezpieczonych infrastruktur w celu zapewnienia, że ​​wysokiej jakości możliwości przetwarzania danych i obliczeń pozostaną dostępne zarówno dla podmiotów publicznych, jak i prywatnych.

3. Analiza i modelowanie

3.1       Eksperymenty obliczeniowe: Państwa powinny zapewnić, aby eksperymenty obliczeniowe, które mogą wywołać znaczący wpływ na prawa człowieka, były przeprowadzane dopiero po dokonaniu oceny wpływu na prawa człowieka. O dobrowolną, konkretną, świadomą i jednoznaczną zgodę uczestniczących osób należy zwrócić się z wyprzedzeniem, korzystając z dostępnych środków wycofania zgody. Eksperymenty mające na celu wywołanie zwodniczych lub wyzysku efektów powinny być wyraźnie zabronione.

3.2.      Wbudowanie zabezpieczeń: Państwa powinny zapewnić, że algorytmiczne projektowanie, rozwój i bieżące procesy wdrażania uwzględniają zabezpieczenia, prywatność, ochronę danych i zabezpieczenia na etapie projektowania, w celu zapobiegania i łagodzenia ryzyka naruszeń praw człowieka i innych negatywnych skutków dla jednostek i społeczeństwa . Systemy certyfikacji oparte na normach regionalnych i międzynarodowych powinny być zaprojektowane i stosowane w celu zagwarantowania pochodzenia i jakości zbiorów danych i modeli. Takie zabezpieczenia powinny również stanowić część procesów udzielania zamówień i powinny być zgodne z ramami regulacyjnymi zakazującymi niektórych zastosowań systemów algorytmicznych.

3.3       Testowanie:Regularne testowanie, ocena, raportowanie i audyt pod kątem najnowocześniejszych standardów związanych z kompletnością, istotnością, prywatnością, ochroną danych, innymi prawami człowieka, nieuzasadnionymi dyskryminacyjnymi skutkami i naruszeniami bezpieczeństwa przed, w trakcie i po produkcji i wdrożeniu powinny stanowić integralną część część wysiłków testowych, szczególnie gdy zautomatyzowane systemy są testowane w środowiskach na żywo i generują efekty w czasie rzeczywistym. Wysiłki państwa powinny obejmować publiczne, konsultacyjne i niezależne oceny zgodności z prawem i zasadności celu, jaki system zamierza osiągnąć lub zoptymalizować, oraz jego ewentualnych skutków w zakresie praw człowieka. Taka ocena powinna również stanowić część procesów zakupowych.

3.4       Ocena zbiorów danych i efektów zewnętrznych systemu:Państwa powinny zapewnić, że funkcjonowanie wdrażanych przez nie systemów algorytmicznych jest testowane i oceniane z należytym uwzględnieniem faktu, że wyniki różnią się w zależności od konkretnego kontekstu, w którym są wdrażane, oraz wielkości i charakteru zbioru danych, który został wykorzystany do szkolenia systemu, w tym w odniesieniu do stronniczości i dyskryminujących wyników. W zależności od potencjalnego wpływu systemu algorytmicznego na prawa człowieka, testy powinny, o ile to możliwe, być przeprowadzane bez wykorzystywania prawdziwych danych osobowych osób fizycznych i być prowadzone przez zróżnicowany i reprezentatywny proces dla zainteresowanych stron, z należytym uwzględnieniem efektów zewnętrznych proponowanego systemu na populacje i ich środowiska, przed i po rozmieszczeniu. Państwa powinny również zdawać sobie sprawę z możliwości i ryzyka ponownego wykorzystania próbek lub wyników testowania w kontekstach innych niż te, dla których system został pierwotnie opracowany, w tym w przypadku wykorzystania do opracowania innych systemów algorytmicznych. Nie powinno to być dozwolone bez nowych testów i oceny stosowności takich zastosowań.

3.5       Testowanie danych osobowych:Państwa powinny zapewnić, aby ocena i testowanie systemów algorytmicznych na danych osobowych osób fizycznych odbywało się na zróżnicowanych i wystarczająco reprezentatywnych populacjach próbek. Odpowiednie grupy demograficzne nie powinny być ani nadreprezentowane, ani niedoreprezentowane. Państwa powinny również zapewnić, że personel zaangażowany w takie działania ma wystarczająco zróżnicowane doświadczenie, aby uniknąć zamierzonej lub niezamierzonej stronniczości. Ponadto powinni zapewnić, że rozwój systemów algorytmicznych zostanie przerwany, jeśli testowanie lub wdrożenie wiąże się z przenoszeniem ryzyka lub kosztów na zewnątrz na określone osoby, grupy, populacje i ich środowiska. Odpowiednie ramy prawne powinny zniechęcać do takiej eksternalizacji. Należy zachować szczególną ostrożność w odniesieniu do testowania w środowiskach na żywo.

3.6       Alternatywne i równoległe podejścia: W odniesieniu do wykorzystania systemów algorytmicznych w świadczeniu usług publicznych oraz w innych kontekstach wysokiego ryzyka, w których Państwa korzystają z takich technologii, należy zastosować metody takie jak alternatywne i równoległe modelowanie w celu oceny systemu algorytmicznego oraz aby przetestować jego wydajność i wydajność odpowiednio w porównaniu z innymi opcjami.

4. Przejrzystość, odpowiedzialność i skuteczne środki zaradcze

4.1       Poziomy przejrzystości: Państwa powinny ustanowić odpowiednie poziomy przejrzystości w odniesieniu do zamówień publicznych, użytkowania, projektowania i podstawowych kryteriów przetwarzania i metod systemów algorytmicznych wdrażanych przez i dla nich lub przez podmioty sektora prywatnego. Ramy prawne dotyczące własności intelektualnej lub tajemnic handlowych nie powinny wykluczać takiej przejrzystości, ani państwa lub strony prywatne nie powinny dążyć do ich wykorzystywania w tym celu.Poziomy przejrzystości powinny być jak najwyższe i proporcjonalne do dotkliwości negatywnych skutków dla praw człowieka, w tym etykiety etyczne lub pieczęcie dla systemów algorytmicznych, aby umożliwić użytkownikom nawigację między systemami. Stosowanie systemów algorytmicznych w procesach decyzyjnych, które niosą ze sobą wysokie ryzyko naruszenia praw człowieka, powinno podlegać szczególnie wysokim standardom w zakresie wyjaśnialności procesów i wyników.

4.2.      Rozpoznawalność algorytmicznego podejmowania decyzji: Państwa powinny zapewnić, że wszystkie procesy selekcji lub decyzje podejmowane lub wspomagane przez systemy algorytmiczne, które mogą znacząco wpłynąć na korzystanie z praw człowieka, zarówno w sferze publicznej, jak i prywatnej, są możliwe do zidentyfikowania i prześledzenia jako takie w początkowej interakcji , w sposób jasny i przystępny.

4.3       Zaprzeczalność:Poszkodowane osoby i grupy powinny mieć zapewnione skuteczne środki do kwestionowania odpowiednich ustaleń i decyzji. Jako konieczny warunek wstępny istnienie, proces, uzasadnienie, rozumowanie i możliwy wynik systemów algorytmicznych na poziomie indywidualnym i zbiorowym należy wyjaśnić i wyjaśnić w sposób terminowy, bezstronny, łatwy do odczytania i dostępny dla osób, których prawa lub uzasadnione interesy mogą być poszkodowanych, jak również do odpowiednich władz publicznych. Zakwestionowanie powinno obejmować możliwość bycia wysłuchanym, dogłębną rewizję decyzji oraz możliwość uzyskania decyzji niezautomatyzowanej. Tego prawa nie można zrzec się, ale powinno ono być przystępne cenowo i łatwe do wyegzekwowania przed, w trakcie i po rozmieszczeniu, w tym poprzez zapewnienie łatwo dostępnych punktów kontaktowych i gorących linii.

4.4       Konsultacje i odpowiedni nadzór: Państwa powinny zapewnić odpowiedni nadzór ze strony niezależnych instytucji o odpowiednich zasobach nad liczbą i rodzajem sporów wnoszonych przez osoby lub grupy, których to dotyczy, przeciwko określonym systemom algorytmicznym, które są bezpośrednio lub pośrednio wdrażane przez nich lub dla nich. Powinni zapewnić, aby wyniki nie tylko prowadziły do ​​podjęcia działań naprawczych w określonych przypadkach, ale także były wprowadzane do samych systemów, aby uniknąć powtórzenia wyników obraźliwych, wprowadzić ulepszenia i ewentualnie przerwać wprowadzanie lub ciągłe wdrażanie niektórych systemów ze względu na prawdopodobieństwo negatywnych skutków. wpływ na prawa człowieka. Informacje o tych sporach i wynikających z nich działaniach następczych powinny być regularnie dokumentowane i udostępniane publicznie.

4.5 Skuteczne środki odwoławcze: Państwa powinny zapewnić równe, dostępne, przystępne cenowo, niezależne i skuteczne procedury sądowe i pozasądowe, które gwarantują bezstronną kontrolę, zgodnie z Artykułami 6, 13 i 14 Konwencji, wszystkich roszczeń dotyczących naruszenia praw Konwencji poprzez wykorzystanie systemów algorytmicznych pochodzących od podmiotów sektora publicznego lub prywatnego. Poprzez swoje ramy prawne Państwa powinny zapewnić jednostkom i grupom dostęp do skutecznych, szybkich, przejrzystych i funkcjonalnych oraz skutecznych środków odwoławczych w odniesieniu do ich skarg. Zadośćuczynienie na drodze sądowej powinno pozostać dostępne i dostępne, gdy wewnętrzne i alternatywne mechanizmy rozstrzygania sporów okażą się niewystarczające lub gdy którakolwiek z zainteresowanych stron zdecyduje się na kontrolę sądową lub odwołanie.      

4.6       Bariery: Państwa powinny proaktywnie dążyć do zmniejszenia wszelkich prawnych, praktycznych lub innych istotnych barier, które mogą prowadzić do tego, że bezpośrednio lub pośrednio dotknięte osoby i grupy będą pozbawione skutecznego środka zaradczego na ich żale. Obejmuje to konieczność zapewnienia odpowiednio przeszkolonego personelu w celu kompetentnego rozpatrzenia sprawy i skutecznego podjęcia odpowiednich działań.

5. Środki ostrożności

5.1       Normy:Państwa powinny współpracować ze sobą oraz ze wszystkimi odpowiednimi interesariuszami, w tym ze społeczeństwem obywatelskim, w celu opracowania i wdrożenia odpowiednich wytycznych (na przykład standardów, ram, wskaźników i metod) dla najnowocześniejszych procedur dotyczących wpływu na prawa człowieka oszacowanie. Procedury te należy przeprowadzać w odniesieniu do wszystkich systemów algorytmicznych o potencjalnie znaczącym wpływie na prawa człowieka na dowolnym etapie cyklu życia, z myślą o ocenie potencjalnych zagrożeń i określeniu środków, zabezpieczeń i mechanizmów zapobiegania takim zagrożeniom lub ich łagodzenia. Rzeczywiste szkody powinny być śledzone, zwłaszcza gdy takie systemy są stosowane w celach nieukierunkowanych, eksploracyjnych. Oceny wpływu na prawa człowieka powinny być obowiązkowe dla wszystkich systemów algorytmicznych niosących wysokie ryzyko dla tych praw. 

5.2       Oceny wpływu na prawa człowieka: Państwa powinny zapewnić, aby one same, a także wszelkie podmioty prywatne zaangażowane do współpracy z nimi lub w ich imieniu, regularnie i konsultacyjnie przeprowadzały oceny wpływu na prawa człowieka przed udzieleniem zamówienia publicznego, w trakcie opracowywania, podczas regularnych etapów i przez cały czas ich rozmieszczenie w zależności od kontekstu w celu określenia zagrożeń związanych z niekorzystnymi skutkami dla praw. Względy poufności lub tajemnice handlowe nie powinny hamować wdrażania skutecznych ocen wpływu na prawa człowieka.W przypadku gdy podmioty sektora prywatnego świadczą usługi, które opierają się na systemach algorytmicznych i które są uważane za niezbędne w nowoczesnym społeczeństwie dla skutecznego korzystania z praw człowieka, państwa członkowskie powinny zachować przyszłą wykonalność alternatywnych rozwiązań i zapewnić stały dostęp do takich usług osobom i grupom, których to dotyczy. . W przypadku systemów algorytmicznych niosących wysokie ryzyko dla praw człowieka oceny skutków powinny obejmować ocenę możliwych przekształceń, jakie te systemy mogą mieć w istniejących strukturach społecznych, instytucjonalnych lub zarządczych, oraz powinny zawierać jasne zalecenia dotyczące tego, jak zapobiegać wysokim zagrożeniom dla ludzi lub je łagodzić. prawa.

5.3       Ekspertyza i nadzór: Państwa powinny zapewnić, że wszystkie oceny wpływu na prawa człowieka związane z systemami algorytmicznymi wysokiego ryzyka są przekazywane do niezależnego ekspertyzy i inspekcji. Procesy wielopoziomowe powinny być identyfikowane lub tworzone tam, gdzie jest to konieczne do niezależnego nadzoru. Oceny wpływu na prawa człowieka przeprowadzane przez lub dla państw powinny być publicznie dostępne, zawierać odpowiedni wkład ekspertów i być skutecznie monitorowane. Może to być wspierane przez przeprowadzanie dynamicznych metod testowania i prób przed wydaniem oraz zapewnienie, że potencjalnie dotknięte osoby i grupy, a także odpowiednich ekspertów terenowych są konsultowane i włączane jako podmioty posiadające rzeczywiste uprawnienia decyzyjne, w stosownych przypadkach, w projektowaniu, testowaniu oraz etapy przeglądu.

5.4.      Działania następcze: W sytuacji, gdy ocena wpływu na prawa człowieka identyfikuje znaczące zagrożenia dla praw człowieka, których nie można złagodzić, system algorytmiczny nie powinien być wdrażany ani w inny sposób wykorzystywany przez jakikolwiek organ publiczny. Jeżeli ryzyko zostanie zidentyfikowane w związku z już wdrożonym systemem algorytmicznym, wdrożenie należy przerwać przynajmniej do czasu podjęcia odpowiednich środków ograniczających ryzyko. Zidentyfikowane przypadki naruszeń praw człowieka powinny być niezwłocznie rozwiązywane i naprawiane, a także należy przyjąć środki zapobiegające dalszym naruszeniom.

5.5       Zarządzanie personelem: Państwa powinny zapewnić, że wszyscy odpowiedni członkowie personelu zaangażowani w zaopatrzenie, rozwój, wdrażanie, ocenę i przegląd systemów algorytmicznych o znaczącym wpływie na prawa człowieka są odpowiednio przeszkoleni w zakresie obowiązujących praw człowieka i zasad niedyskryminacji oraz są świadomi ich obowiązek zapewnienia nie tylko dokładnego przeglądu technicznego, ale także przestrzegania praw człowieka. Praktyki zatrudniania powinny mieć na celu zapewnienie parytetu płci i zróżnicowanej siły roboczej, aby zwiększyć zdolność do uwzględniania wielu perspektyw w procesach przeglądu. Takie podejścia należy udokumentować w celu promowania ich poza sektorem publicznym. Państwa powinny również współpracować, aby dzielić się doświadczeniami i rozwijać najlepsze praktyki.

5.6       Interakcja systemów: Państwa powinny uważnie monitorować warunki, w których wiele systemów algorytmicznych działa w tym samym środowisku, w celu identyfikacji i zapobiegania negatywnym efektom zewnętrznym, szczególnie tam, gdzie ich możliwe współzależności i interakcje wymagają ostrożnościowego podejścia. W świadczeniu usług publicznych państwa powinny wykorzystywać mechanizm zamawiania lub angażowania usług prywatnych z pełnym uwzględnieniem potrzeby zachowania nadzoru, know-how, własności i kontroli nad wykorzystaniem systemów algorytmicznych i ich wzajemną interakcją.

5.7       Debata publiczna: Państwa powinny angażować się i wspierać trwające, integracyjne, interdyscyplinarne, świadome i publiczne debaty w celu określenia, które obszary usług publicznych wpływające na korzystanie z praw człowieka nie mogą być określane, decydowane lub optymalizowane za pomocą systemów algorytmicznych. 

6. Badania, innowacje i świadomość społeczna

6.1       Technologia promująca prawa: Państwa powinny promować rozwój systemów i technologii algorytmicznych, które zwiększają równy dostęp i korzystanie z praw człowieka i podstawowych wolności poprzez stosowanie podatków, zamówień lub innych zachęt. Może to obejmować opracowanie mechanizmów oceny wpływu systemów algorytmicznych, rozwój systemów zaspokajających potrzeby populacji znajdujących się w niekorzystnej sytuacji i niedostatecznie reprezentowanych, a także kroki mające na celu zapewnienie trwałości podstawowych usług za pomocą środków analogowych, zarówno jako środek awaryjny, jak i jako skuteczną możliwość rezygnacji dla poszczególnych osób.

6.2       Awans pożytku publicznego:Państwa powinny angażować się i wspierać niezależne badania mające na celu ocenę, testowanie i rozwijanie potencjału systemów algorytmicznych w zakresie tworzenia pozytywnych skutków dla praw człowieka i rozwoju pożytku publicznego, w tym poprzez zapewnienie, że interesy zmarginalizowanych i wrażliwych jednostek i grup są odpowiednio uwzględniane oraz reprezentowane. W stosownych przypadkach może to wymagać zniechęcenia do wpływów, które mogą wyłącznie faworyzować najbardziej opłacalne z komercyjnego punktu widzenia procesy optymalizacji. Państwa powinny zapewnić odpowiednią ochronę informowania o nieprawidłowościach lub innych działań podejmowanych przez pracowników zaangażowanych w rozwój lub bieżące wdrażanie systemów algorytmicznych, którzy dostrzegają potrzebę powiadomienia organów regulacyjnych i/lub opinii publicznej o obecnych lub możliwych przyszłych niepowodzeniach w utrzymaniu standardów praw człowieka w systemy, które mają zbudować. 

6.3 Ukierunkowana na       człowieka i trwała innowacja: Państwa powinny zachęcać do innowacji technologicznych zgodnie z istniejącymi prawami człowieka, w tym prawami socjalnymi i uznanymi na arenie międzynarodowej standardami pracy i zatrudnienia. Wysiłki zmierzające do osiągnięcia uzgodnionych na szczeblu międzynarodowym celów zrównoważonego rozwoju, zwłaszcza w odniesieniu do wydobycia i eksploatacji zasobów naturalnych, oraz do sprostania istniejącym wyzwaniom środowiskowym i klimatycznym powinny napędzać konkurencyjność podmiotów sektora prywatnego.

6.4       Niezależne badania: Państwa powinny inicjować, zachęcać i publikować niezależne badania mające na celu monitorowanie społecznych i praw człowieka konsekwencji trwającego wdrażania systemów algorytmicznych. Ponadto takie niezależne badania powinny analizować rozwój skutecznych mechanizmów rozliczalności i rozwiązań istniejących luk w odpowiedzialności związanych z nieprzejrzystością, niewytłumaczalnością i związaną z tym niepodważalnością systemów algorytmicznych. Należy wprowadzić odpowiednie mechanizmy gwarantujące bezstronność, globalną reprezentację i ochronę badaczy, dziennikarzy i naukowców zaangażowanych w takie niezależne badania.   

C. Obowiązki podmiotów sektora prywatnego w odniesieniu do praw człowieka i podstawowych wolności

w kontekście systemów algorytmicznych

1. Zasady ogólnego zastosowania

1.1       Odpowiedzialność za przestrzeganie praw człowieka:Podmioty sektora prywatnego zaangażowane w projektowanie, rozwój, sprzedaż, wdrażanie, wdrażanie i serwisowanie systemów algorytmicznych, zarówno w sferze publicznej, jak i prywatnej, muszą dochować należytej staranności w odniesieniu do praw człowieka. Ponoszą odpowiedzialność za poszanowanie uznanych na arenie międzynarodowej praw człowieka i podstawowych wolności swoich klientów oraz innych stron, na które ma wpływ ich działalność. Odpowiedzialność ta istnieje niezależnie od zdolności lub woli państw do wypełniania ich zobowiązań w zakresie praw człowieka. W ramach wypełniania tego obowiązku podmioty sektora prywatnego powinny podejmować ciągłe, proaktywne i reaktywne kroki w celu zapewnienia, że ​​nie powodują ani nie przyczyniają się do naruszeń praw człowieka oraz że ich działania, w tym procesy innowacyjne, szanują prawa człowieka. Powinni również pamiętać o swojej odpowiedzialności wobec społeczeństwa i wartości społeczeństwa demokratycznego. Wysiłki zmierzające do zapewnienia przestrzegania praw człowieka powinny być dokumentowane. 

1.2       Skala środków: Odpowiedzialność podmiotów sektora prywatnego za poszanowanie praw człowieka i stosowanie odpowiednich środków ma zastosowanie niezależnie od ich wielkości, sektora, kontekstu operacyjnego, struktury własności lub charakteru. Skala i złożoność środków, za pomocą których wykonują oni swoje obowiązki, mogą się jednak różnić w zależności od posiadanych zasobów i powagi potencjalnego wpływu, jaki ich usługi i systemy mają na prawa człowieka. Tam, gdzie różne grupy podmiotów sektora prywatnego współpracują i przyczyniają się do potencjalnej ingerencji w prawa człowieka, wymagane są wysiłki ze strony wszystkich partnerów, które powinny być proporcjonalne do ich wpływu i możliwości.

1.3       Dodatkowe kluczowe standardy: Ze względu na horyzontalny skutek praw człowieka oraz biorąc pod uwagę, że projektowanie, rozwój i ciągłe wdrażanie systemów algorytmicznych bardzo mocno angażuje podmioty sektora prywatnego

współpracy z podmiotami publicznymi, niektóre z kluczowych postanowień, które zostały przedstawione w Rozdziale B jako zobowiązania Państw, przekładają się na wymogi prawne i regulacyjne na poziomie krajowym oraz na odpowiedzialność korporacyjną podmiotów sektora prywatnego. Bez względu na to, czy państwa podjęły odpowiednie działania regulacyjne i oprócz poniższych postanowień, podmioty sektora prywatnego powinny przestrzegać odpowiednich standardów zawartych w paragrafach 1.2, 1.3, 2.1, 3.1, 3.3. oraz pkt 4.2 rozdziału B powyżej dotyczyły ciągłego przeglądu, demokratycznego uczestnictwa i świadomości, informacyjnego samostanowienia, eksperymentów obliczeniowych, testowania i identyfikowalności podejmowania decyzji algorytmicznych.

1.4       Dyskryminacja: Podmioty sektora prywatnego, które projektują, opracowują lub wdrażają systemy algorytmiczne, powinny przestrzegać standardowych ram należytej staranności w zakresie praw człowieka, aby uniknąć sprzyjania lub pogłębiania dyskryminacji we wszystkich cyklach życia swoich systemów. Powinny dążyć do zapewnienia, aby projektowanie, rozwój i ciągłe wdrażanie ich systemów algorytmicznych nie powodowało bezpośredniego lub pośredniego dyskryminującego wpływu na osoby lub grupy, na które te systemy mają wpływ, w tym na osoby o specjalnych potrzebach lub niepełnosprawność lub mogące zmagać się ze strukturą. nierówności w dostępie do praw człowieka.

2. Zarządzanie danymi

2.1       Zasady zgody: Podmioty sektora prywatnego powinny zapewnić, aby osoby, na które mają wpływ ich systemy algorytmiczne, były informowane, że mają możliwość wyrażenia i cofnięcia zgody w odniesieniu do wszystkich sposobów wykorzystania ich danych, w tym w ramach algorytmicznych zbiorów danych, przy czym obie opcje są równie łatwo dostępne . Użytkownicy powinni również mieć możliwość dowiedzenia się, w jaki sposób wykorzystywane są ich dane, jaki jest rzeczywisty i potencjalny wpływ danego systemu algorytmicznego, jak sprzeciwić się przetwarzaniu ich danych oraz jak kwestionować i kwestionować określone wyniki. Zasady zgody na korzystanie z narzędzi do śledzenia, przechowywania i pomiaru wydajności systemów algorytmicznych muszą być jasne, proste i kompletne oraz nie powinny być ukryte w warunkach świadczenia usługi. 

2.2       Ustawienia prywatności:Podmioty sektora prywatnego powinny ułatwiać osobom, których dane dotyczą, prawo do skutecznej ochrony ich prywatności przy jednoczesnym zachowaniu dostępu do usług, zgodnie ze wszystkimi odpowiednimi standardami ochrony danych. Możliwość wyboru z zestawu opcji ustawień prywatności powinna być przedstawiona w łatwo widoczny, neutralny i zrozumiały sposób oraz ułatwiać korzystanie z technologii zwiększających prywatność. Opcje domyślne powinny prowadzić wyłącznie do gromadzenia danych, które są niezbędne i proporcjonalne do konkretnego uzasadnionego celu przetwarzania danych, podczas gdy ustawienia śledzenia powinny być ustawione jako domyślne w trybie rezygnacji. Każdemu zastosowaniu mechanizmów blokowania, usuwania lub kwarantanny danych użytkownika, na przykład ze względów bezpieczeństwa, powinny towarzyszyć należyte gwarancje procesowe i szybkie środki zaradcze w przypadku błędnego lub nieproporcjonalnego wykorzystania danych.

3. Analiza i modelowanie

3.1       Jakość danych i modeli: Podmioty sektora prywatnego powinny być świadome zagrożeń związanych z jakością, charakterem i pochodzeniem danych, których używają do szkolenia swoich systemów algorytmicznych, w celu zapewnienia, że ​​błędy, stronniczość i potencjalna dyskryminacja w zestawach danych i modelach są odpowiednio reagowane w określonym kontekście.

3.2.      Populacje próbne: Ocena i testowanie systemów algorytmicznych na danych osobowych osób fizycznych powinny być przeprowadzane na wystarczająco zróżnicowanych i reprezentatywnych populacjach prób, a nie na żadnej konkretnej grupie demograficznej ani nie należy jej dyskryminować. Tworzenie systemów algorytmicznych należy przerwać lub skorygować, jeżeli ich rozwój, testowanie lub wdrażanie wiąże się z przenoszeniem ryzyka lub kosztów na zewnątrz na poszczególne osoby, grupy, populacje i ich środowiska.

3.3.       Bezpieczeństwo systemów i danych: Podmioty sektora prywatnego powinny skonfigurować swoje systemy algorytmiczne w taki sposób, aby zapobiec wszelkiemu nielegalnemu dostępowi, zarówno własnemu personelowi, jak i osobom trzecim, ingerencji w system oraz niewłaściwemu wykorzystaniu urządzeń, danych i modeli przez osoby trzecie, zgodnie z obowiązującymi normami.

4. Przejrzystość, odpowiedzialność i skuteczne środki zaradcze

 

4.1       Warunki świadczenia usług:Podmioty sektora prywatnego powinny zapewnić, aby korzystanie z systemów algorytmicznych, które mogą powodować znaczące skutki dla praw człowieka w oferowanych przez nie produktach i usługach, było znane wszystkim zainteresowanym stronom, zarówno osobom fizycznym, jak i prawnym, a także ogółowi społeczeństwa, w jasny i jasny sposób. prostym językiem iw przystępnych formatach. Należy zapewnić odpowiednie informacje o charakterze i funkcjonalności systemu algorytmicznego, aby umożliwić kwestionowanie i sprzeciw. Warunki świadczenia usług powinny być w miarę zwięzłe, łatwe do zrozumienia i zawierać jasny i zwięzły opis możliwości zarządzania ustawieniami przez użytkowników. Powinny zawierać informacje o dostępnych możliwościach zmiany funkcji systemu, obowiązujących mechanizmach reklamacyjnych, poszczególnych etapach procedury, dokładnych kompetencjach punktów kontaktowych, orientacyjne ramy czasowe i oczekiwane wyniki. Wszystkie zainteresowane strony, nowi klienci lub użytkownicy produktów i usług, których zasady stosowania zostały zmienione, powinni zostać powiadomieni o odpowiednich zmianach w formacie przyjaznym dla użytkownika i poproszeni o wyrażenie zgody na zmiany w stosownych przypadkach. Brak zgody nie powinien prowadzić do niedostępności podstawowych usług.

4.2       Zakwestionowanie: Aby ułatwić kwestionowanie, podmioty sektora prywatnego powinny zapewnić, aby osoby oceniające były dostępne i aby możliwy był bezpośredni kontakt, w tym poprzez zapewnienie łatwo dostępnych punktów kontaktowych i gorących linii. Poszczególnym osobom i grupom należy zezwolić nie tylko na kwestionowanie, ale także na zgłaszanie sugestii dotyczących ulepszeń i dostarczanie innych przydatnych informacji zwrotnych, w tym w odniesieniu do obszarów, w których systematycznie wymagana jest weryfikacja przez człowieka. Cały personel zaangażowany w rozpatrywanie skarg klientów powinien być odpowiednio zaznajomiony z odpowiednimi standardami praw człowieka i korzystać z regularnych możliwości szkoleniowych.

4.3.      Przejrzystość: Podmioty sektora prywatnego powinny podawać do wiadomości publicznej informacje o liczbie i rodzaju skarg składanych przez osoby lub grupy, których dotyczą produkty i usługi, które oferują, oraz o wynikach skarg, aby zapewnić, że wyniki nie tylko prowadzą do działań naprawczych. działania w określonych przypadkach, ale są również wprowadzane do samych systemów w celu wyciągnięcia wniosków ze skarg i skorygowania błędów, zanim szkody pojawią się na masową skalę.

4.4       Skuteczne środki zaradcze:Podmioty sektora prywatnego powinny zapewnić, aby skuteczne środki zaradcze i systemy rozstrzygania sporów, w tym mechanizmy dochodzenia roszczeń zbiorowych, były dostępne zarówno w trybie online, jak i offline dla osób, grup i podmiotów prawnych, które chcą zakwestionować wprowadzenie lub dalsze korzystanie z systemu, który może potencjalnie naruszać prawa człowieka, lub zaradzić naruszeniu praw. Zakres dostępnych środków nie może być ograniczony. Jeżeli konieczne jest ustalenie priorytetów, a opóźnienia w reagowaniu mogą wpłynąć na możliwość naprawy, w pierwszej kolejności należy zająć się najpoważniejszymi skutkami dla praw człowieka. Wszystkie skargi powinny umożliwiać bezstronną i niezależną analizę, powinny być rozpatrywane bez nieuzasadnionych opóźnień i powinny być prowadzone w dobrej wierze, z poszanowaniem gwarancji należytego procesu. Odpowiednie mechanizmy nie powinny negatywnie wpływać na możliwości odwołania się przez skarżących do niezależnych krajowych, w tym sądowych i regulacyjnych mechanizmów odwoławczych. Warunki świadczenia usług nie powinny obejmować zrzeczenia się praw ani przeszkód w skutecznym dostępie do środków odwoławczych. Stowarzyszenia przedsiębiorców powinny dalej inwestować – we współpracę ze stowarzyszeniami branżowymi – w tworzenie wzorcowych mechanizmów składania skarg.  

4.5       Konsultacje: Podmioty sektora prywatnego powinny aktywnie angażować się w procesy partycypacyjne ze stowarzyszeniami konsumentów, obrońcami praw człowieka i innymi organizacjami reprezentującymi interesy osób fizycznych i zainteresowanych stron, a także z ochroną danych i innymi niezależnymi organami administracyjnymi lub regulacyjnymi w zakresie projektowania, rozwoju , bieżące wdrażanie i ewaluację systemów algorytmicznych, a także mechanizmów ich składania skarg.

5. Środki ostrożności

5.1       Ocena ciągła:Podmioty sektora prywatnego powinny opracować i udokumentować procesy wewnętrzne, aby zapewnić, że ich projektowanie, rozwój i ciągłe wdrażanie systemów algorytmicznych jest stale oceniane i testowane, nie tylko w celu wykrycia ewentualnych błędów technicznych, ale także potencjalnych skutków prawnych, społecznych i etycznych, jakie mogą generować systemy . W przypadku gdy stosowanie systemów algorytmicznych niesie ze sobą wysokie ryzyko naruszenia praw człowieka, w tym poprzez procesy mikrotargetowania, których mogą uniknąć lub które mogą same łagodzić, podmioty z sektora prywatnego powinny mieć możliwość powiadamiania i konsultowania się z organami nadzorczymi we wszystkich odpowiednich jurysdykcjach w celu zasięgnięcia porady i wskazówek w jaki sposób zarządzać tym ryzykiem, w tym poprzez przeprojektowanie danych usług.

5.2       Szkolenie personelu: Wszyscy odpowiedni pracownicy zaangażowani w ocenę wpływu na prawa człowieka i przegląd systemów algorytmicznych powinni być odpowiednio przeszkoleni i świadomi swoich obowiązków w zakresie praw człowieka, w tym między innymi obowiązujących standardów ochrony danych osobowych i prywatności .

5.3       Oceny wpływu na prawa człowieka: Oceny wpływu na prawa człowieka należy przeprowadzać jak najbardziej otwarcie iz aktywnym zaangażowaniem dotkniętych osób i grup. W przypadku wdrożenia systemów algorytmicznych wysokiego ryzyka wyniki trwających ocen skutków dla praw człowieka, zidentyfikowane techniki ograniczania ryzyka oraz odpowiednie procesy monitorowania i przeglądu powinny być udostępniane publicznie, bez uszczerbku dla tajemnicy chronionej prawem. Gdy konieczne jest egzekwowanie zasad poufności, wszelkie informacje poufne należy przedstawić w osobnym załączniku do sprawozdania z oceny. Załącznik ten powinien być dostępny dla odpowiednich organów nadzorczych.

5.4       Działania następcze: Podmioty sektora prywatnego powinny zapewnić odpowiednie działania następcze po swoich ocenach wpływu na prawa człowieka, podejmując odpowiednie działania na podstawie ustaleń zarejestrowanych przez cały cykl życia systemu algorytmicznego i monitorując skuteczność odpowiedzi, w celu unikanie lub łagodzenie negatywnych skutków i zagrożeń dla korzystania z praw człowieka. Zidentyfikowane awarie powinny być rozwiązywane tak szybko, jak to możliwe, a związane z nimi działania zawieszane w stosownych przypadkach. Wymaga to regularnych i ciągłych kontroli zapewniania jakości oraz audytów w czasie rzeczywistym na wszystkich etapach projektowania, testowania i wdrażania. Ponadto wymaga to regularnych konsultacji z osobami, których to dotyczy, w celu monitorowania systemów algorytmicznych pod kątem wpływu na prawa człowieka w kontekście i na miejscuoraz odpowiednie i terminowe korygowanie błędów i szkód. Jest to szczególnie ważne, biorąc pod uwagę ryzyko pojawienia się pętli sprzężenia zwrotnego, które mogą nasilać i utrwalać negatywne skutki dla praw człowieka.

6. Badania, innowacje i świadomość społeczna

6.1       R ADANIA NAUKOWE:Podmioty sektora prywatnego powinny angażować się, finansować i publikować badania, prowadzone zgodnie z etyką badawczą, mające na celu ocenę, testowanie i rozwijanie potencjału systemów algorytmicznych w zakresie tworzenia pozytywnych skutków dla praw człowieka i rozwoju pożytku publicznego. Powinny również wspierać niezależne badania w tym celu i szanować uczciwość naukowców i instytucji badawczych. Może to dotyczyć opracowania mechanizmów oceny wpływu systemów algorytmicznych oraz opracowania systemów algorytmicznych w celu zaspokojenia potrzeb populacji znajdujących się w niekorzystnej sytuacji i niedostatecznie reprezentowanych. Podmioty sektora prywatnego powinny znaleźć skuteczne kanały komunikacji z lokalnymi grupami społeczeństwa obywatelskiego, szczególnie na obszarach geograficznych, na których występują duże obawy dotyczące praw człowieka,

6.2       Dostęp do danych: do celów analizy wpływu systemów algorytmicznych i usług cyfrowych na korzystanie z praw, na sieci komunikacyjne i na systemy demokratyczne, podmioty sektora prywatnego powinny rozszerzyć dostęp do odpowiednich danych indywidualnych i zbiorów metadanych, w tym dostępu do danych, które zostały zaklasyfikowane do usunięcia, odpowiednim stronom, w szczególności niezależnym badaczom, mediom i organizacjom społeczeństwa obywatelskiego. To rozszerzenie dostępu powinno odbywać się z pełnym poszanowaniem prawnie chronionych interesów oraz wszystkich obowiązujących przepisów dotyczących prywatności i ochrony danych.