편집자주 :
좋든 싫든, 기계학습이 우리의 삶을 침식하고 있습니다. 최근 정부와 지자체가 발표한 입장과 정책 전략을 살펴보면 4차 산업혁명이라는 기조 아래 기술을 이용해 사회의 모든 문제를 해결하겠다는 허망한 욕망이 여과없이 드러나고 있음을 알 수 있지요. 이러한 발표와 언론 기사에 의하면 기술이 무슨 일이든 해결할 수 있을 것만 같습니다. 요리를 하다가 맛이 없으면 MSG나 라면스프를 첨가하듯, 어떤 문제가 생기면 기술을 끼얹어 해결한다고 합니다.
하지만 정작 중요한 문제는 거의 다루고 있지 않습니다. 예를 들면, 아주아주 기본적인, 정말 기본적인, 인권 같은 거 말이죠. 4차 산업혁명이 가져다줄 미래는 장밋빛 미래가 아니라 핏빛 미래일지도 모릅니다. 터미네이터처럼 기계가 반란을 일으키는 그런 건 아니겠지만, 대부분의 시민들은 알지도 못한 채 보이지도 않는 기술로 인해 차별 받고 인권을 침해당하는 그런 끔찍한 미래요. 아니 그러면, 이에 대한 책임은 대체 누가 어떻게 질까요?이번에 소개할 것은 2018년 RightCon에서 발표된 선언문이자 가이드라인입니다. 해당 선언문은 정부와 기업들로 하여금 기계학습 시스템이 평등할 권리 및 차별 받지 않을 권리와 같은 인권을 침해하지 않게, 각자가 가지고 있는 인권의 의무와 책임을 다할 것을 요구합니다. 경제 발전과 산업 논리를 내세워 끝없는 투자와 인권침해로 낙관적 전망만을 약속하는 한국 정부가 이를 참고한다면 참 좋겠지요?
번역오류는 policy 골뱅이 jinbo.net 으로 알려주세요.
제목 : 토론토 선언 : 기계학습 시스템에서 평등할 권리와 차별받지 않을 권리를 보호하기
원문제목 : The Toronto Declaration : Protecting the right to equality and non-discrimination in machine learning systems
원문링크 https://www.torontodeclaration.org/declaration-text/english/
일시 : May 2018
작성 : Access Now, Amnesty International
토론토 선언
기계학습 시스템에서 평등할 권리와 차별받지 않을 권리를 보호하기
서문
1. 기계 학습 시스템의 기능이 향상되고 그 사용량 또한 늘어남에 따라, 우리는 반드시 이 기술이 인권에 미치는 영향을 조사해야만 한다. 우리는 기계 학습 및 관련 시스템이 인권을 증진시키는 데 사용될 가능성이 있다는 점을 인정하지만, 특정 개인이나 집단에 대한 의도적 또는 비의도적인 차별을 조장하는 시스템의 능력을 점점 더 우려하고 있다. 우리는 이러한 기술들이 인간과 그들의 권리에 어떤 영향을 미칠지 한시라도 빠르게 살펴보아야만 한다. 기계 학습 시스템의 세계에서 인권 침해에 대한 책임은 누가 질 것인가?
2. 인공지능과 윤리에 대한 담론이 계속되는만큼, 본 선언은 국제인권법과 국제인권기준의 적절하고 확립된 프레임워크에 대해 이목을 집중시키는 것을 목표로 한다. 이 보편적이고 구속력이 있으며 법적 조치가 가능한 법과 기준은 개인을 차별로부터 보호하는 것과 포용, 다양성, 형평성을 증진시키고 평등을 지키는 것에 대한 실질적 의미를 담고 있다. 인권은 “보편성, 불가분성, 상호의존성과 상호관련성을 갖는다.” (1)
3. 본 선언은 이 기술이 가져올 해악을 연구한 기존의 토론, 원칙, 논문에 기반하는 것을 목표로 한다. 이 분야 많은 전문가들이 이뤄낸 중요한 작업은 기계 학습 시스템의 차별 위험성에 대한 논의를 알리고 경각심을 높이는 데 도움을 줬다.(2) 우리는 어떤 상황이든 개인과 집단을 차별로부터 보호하는 국제 인권법과 국제인권기준의 역할을 재확인하는 것으로, 기존의 작업을 보완하고자 한다. 본 선언에서 언급하는 국제인권법과 국제인권기준은 기계 학습에 대한 책임 조항과 구제 수단을 포함한 윤리적 프레임워크를 만들어내는 데 필요한 견고한 토대를 담고 있다.
4. 몇 가지 예를 들자면 치안부터 복지, 의료서비스, 온라인 토론장까지, 기계 학습 기술을 도입하는 시스템은 전례 없는 규모로 권력의 구조를 방대하고 급격하게 강화하고 바꿀 수 있으며 동시에 인권, 그중에서도 특히 평등할 권리에 중대한 피해를 가져올 수 있다. 기계 학습 시스템이 불투명하고 필수적인 안전장치 없이 수용되고 시행된다면 차별적이고 억압적인 관행에 힘을 보탤 수 있는, 불투명하고 설명 불가능한 진행과정이 될 수 있다는 걸 보여주는 실질적인 증거들은 점점 더 많아지고 있다.
5. 국가와 민간 부문의 담당자들은 사람들이 인권을 행사하고 누릴 수 있도록 기계 학습 및 관련 시스템의 개발과 사용을 장려해야 한다. 예를 들어, 의료서비스의 경우 기계 학습 시스템은 의료서비스를 더 광범위하게 접근 가능하게 함과 동시에 더 나은 진단과 처방을 이끌어낼 수 있다. 기계 학습과 인공지능 시스템과 관련해 더 크게는, 정부는 경제적, 사회적 및 문화적 권리를 인정함으로써 과학기술 발전을 누릴 수 있는 정당한 권리를 증진시켜야 한다.(3)
6. 우리는 본 선언에서 평등할 권리와 차별받지 않을 권리에 중점을 둔다. 프라이버시와 개인정보보호, 표현의 자유와 결사의 자유, 문화 향유의 권리와 법 앞의 평등 그리고 효과적인 구체 수단 접근권 등 기계 학습 시스템의 사용과 오용에 불리한 영향을 받을 수 있는 수많은 다른 인권이 존재한다. 또한 결정을 내리고 데이터를 처리하는 시스템은 경제적, 사회적, 문화적 권리를 약화시킬 수 있다. 예를 들어 이러한 시스템은 고용 기회의 제약, 의료 및 교육서비스와 같은 필수적 서비스의 제공 등에 영향을 줄 수 있다.
7. 본 선언은 기계 학습 기술에 중점을 두지만, 선언에 포함된 많은 기준과 원칙은 인공지능이나 관련 데이터 시스템의 광범위한 용어에 속하는 기술에도 동등하게 적용할 수 있다.
목차
국제인권법의 프레임워크 사용
8. 정부는 인권을 존중하고 보호하고 증진시킬 의무를 갖는다. 기업을 포함한 민간 부문의 행위자들은 항상 인권을 존중할 책임성을 갖는다. 우리는 이러한 의무와 책임성을 단언하기 위해 본 선언을 제안한다.
9. 범국가적 또는 국가적, 지역적 차원에서, 기술 기업, 학술 기관, 시민 사회 및 그 밖의 차원에서 인공지능의 윤리와 이 분야에서 인간 중심의 기술을 어떻게 만들 것인가에 중점을 둔 수많은 논의가 오가고 있다. 이러한 문제는, 기계 학습 기술에 의해 만들어지거나 가능하게 될 현재와 미래의 잠재적 인권 침해를 평가하고 어떤 침해의 위험성이라도 다루며 구체적인 조치를 취하기 위해서 반드시 인권에 대한 감수성을 갖고 분석되어야만 한다.
10. 인권법은 법치에 입각한 보편적인 가치 체계다. 이는 평등할 권리와 차별받지 않을 권리를 포함한 권리들이 보장되도록 확립된 수단을 제공한다. 보편적으로 구속력 있고 실행 가능한 기준이라는 특성은 특히나 국경 없는 기술에 적용하기 적합하다. 인권법은 공공과 민간 부문의 행위자들이 인권을 존중하고 보호하는 것에 있어, 알맞은 의무와 책임을 다하는 데 실패했을 시 책임을 지게하는 구조를 제공해줌과 동시에 기준을 세운다. 이는 또한 모든 사람이 자신의 권리가 거부되거나 침해당했을 시 효과적인 구제와 보상을 받을 수 있게끔 요구한다.
11. 기계 학습 시스템이 야기하는 위협은 이러한 시스템을 설치하고 개발하고 계확하는 민간 부문의 행위자에 의해 시급하게 조사되고 평가되어야 하며 이는 국가적 수준에서 진행되어야 한다. 잠재적인 피해가 식별되고 해결되는 것과 그 책임자에게 이를 추궁하는 것은 굉장히 중요하다. 정부의 조치는 권리를 보호하고 증진시키기에 적절하며 또 구속력이 있어야 한다. 학계, 법조계, 그리고 시민 사회 전문가는 이러한 논의에 유의미하게 참여할 수 있어야 하며, 기술의 사용을 비판하고 권고할 수 있어야 한다.
평등할 권리와 차별받지 않을 권리
12. 본 선언은 모든 인권을 뒷받침하는데 아주 중요한 원칙인 평등할 권리와 차별받지 않을 권리를 중점에 둔다.
13. 국제법 상에서 차별은 “인종, 피부색, 성별, 언어, 종교, 정치적 또는 기타 의견, 민족이나 종족의 기원, 재산, 출생 또는 기타 지위에 근거하여 인권과 기본적 자유를인식, 향유 또는 행사하는 것을 저해하거나 무효화하는 효과 또는 목적을 가지는 모든 구별, 배척, 제한 또는 우선권”(4) 으로 정의된다. 이는 유엔 인권최고대표(High Commissioner for Human Rights)가 추가적인 사유들에 대한 차별을 방지해야 할 필요성을 인정한 것처럼, 완전한 목록은 아니다. (5)
차별을 방지하기
14. 기존의 인권법과 기준을 준수하여 차별을 사전에 방지하기 위해 정부에겐 의무가, 민간 부문의 행위자는 책임이 있다. 차별을 예방하는 것이 비효과적이거나 불충분하다면 또는 차별이 발생한다면 시스템은 면밀하게 조사 받고 피해는 즉시 처리되어야 한다.
15. 새로운 기술을 이용할 때, 평등과 다양한 개인과 집단에 대한 새로운 문제가 발생하므로 국가와 민간 부문의 행위자는 인권을 보호할 새로운 방법을 찾아야 할 것이다.
16. 구조적 차별의 존재하는 패턴은 특히 이러한 기술 속에서 재생산되고 악화될지도 모른다. 예를 들면 자기충족적인 성공의 지표를 만들고 불평등의 편향적인 패턴을 강화하는 기계 학습 시스템의 목표 또는 비대표적이고 편향적인 데이터셋의 사용으로 인해 생기는 문제가 있다.
17. 공공과 민간의 모든 관계자들은 반드시 기계 학습 기술의 설계와 개발과 적용에 있어, 차별의 위험을 방지하고 완화시켜야만 한다. 이들은 또한 도입 전과 시스템이 작동하는 동안 효과적인 구제 수단에 접근할 수 있는 매커니즘을 보장해야만 한다.
모든 개인과 집단의 권리를 보호하기 : 다양성과 포용을 증진시키기
18. 본 선언은 포용과 다양성 그리고 공평함이 평등할 권리와 차별받지 않을 권리를 옹호하고 지켜나가는 중요 요소라는 것을 강조한다. 특히나 소외 계층에 대한 차별을 방지하기 위해 기계 학습의 개발과 도입에 있어 이 모든 것들이 반드시 고려되어야만 한다.
19. 데이터의 수집은 차별을 줄이는 데 도움이 되지만, 차별에 대한 데이터를 수집하는 것이 특히 어려운 몇몇 집단이 있다. 또한 민감정보에 대한 보호를 포함한 보호장치들은 이러한 집단에게 더 강화되어야만 한다.
20. 기계 학습 시스템의 구상과 개발 그리고 최종 사용은 주로 사회의 특정 부문에 의해서만 감독되기에, 설계 단계의 내제적이고 의도치 않은 편견은 또 다른 차별의 수단을 만들어낸다. 현시점에서 이 기술은 특정 국가와 지역을 기반으로한 기업들에 의해 광범위하게 개발, 적용, 검토되었기에, 기술을 만들어낸 사람들은 그들 스스로 편견을 가지고 있으며 제한된 인종, 젠더, 문화 및 사회경제적인 배경으로 구성되어 있을 공산이 크다.
21. 포용과 다양성 그리고 공평함은 특히 차별에 취약한 소외 계층의 권리와 같은 것을 존중하는 방식으로 시스템이 만들어지고 사용될 수 있도록, 기계 학습 시스템을 설계하고 적용하는 과정에서 최종 사용자를 포함한 다양한 공동체와의 유의미한 논의 및 이들의 적극적인 참여를 수반한다.
국가의 의무 : 인권을 지킬 의무
22. 국가는 인권을 옹호하고, 보호하고, 존중하고 지켜야 하는 기본적인 의무를 가진다. 국제 법 상, 국가는 반드시 공적인 상황에서 또는 공공-민간 협약을 통해 기계 학습 시스템을 설계하고 시행하는데 있어, 차별이나 그 외 권리를 침해하는 행동 또는 그 관행에 관여하거나 이를 지원해서는 안된다.
23. 국가는 반드시 차별 그리고 데이터 보호와 개인정보보호법처럼 관련한 다른 권리 침해로부터 인권을 지킬 의무를 성문화하고 시행하는 국내 법과 국제 법 및 규율을 준수해야만 한다.
24. 국가는 민간 부문의 행위자로 인한 차별을 방지하고, 법적 구속력이 있는 법의 시행을 포함해 평등과 다른 권리를 증진시켜야 하는 분명한 의무를 가진다
25. 이 섹션에서 서술된 국가의 의무는 또한 민간 부문 행위자와 협약을 맺어 기계 학습을 공적인 용도로 사용하는 것에도 적용된다.
국가의 기계 학습 시스템 사용
26. 국가는 반드시 차별과 기타 권리 침해를 방지하기 위한 기존 대책이, 기계 학습 기술로 인한 위험성을 고려하고 해결할 수 있게 갱신되고 개정되게끔 해야만 한다.
27. 기계 학습 시스템은 인권, 법치, 행정 절차, 표현의 자유, 사법 정의, 의료서비스, 사회복지 접근권, 주택정책 등을 누리게 하고 시행하는데 필수적인 영역인 공공기관에 의해 급속도로 설치되고 사용되고 있다. 이러한 기술이 특정한 상황에선 도움을 줄지도 모르겠지만, 차별과 다른 권리 침해적 결과를 이끌어낼 위험성이 아주 높을 수도 있다. 이때 국가가 효과적인 구제와 피해 보상을 위한 유의미한 기회를 보장하는 것이 굉장히 중요하다.
28. 시민적, 정치적 권리에 관한 국제규약의 26조가 “공공 기관에 의해 규제되고 보호되는 분야에서의 법률적, 실질적 차별을 금지한다”(6)라는 것이 인권위원회에 의해 공식화되었다. 이는 차별의 특정한 형태를 다루는 조약에서 더 자세히 다뤄지는데, 국가가 차별에 가담하는 것을 금하고, 당국과 공공 기관이 “이러한 의무를 준수하며 행동”하도록 만들었다. (7)
29. 국가는 민간 부문으로 하여금, 차별하거나 차별적 결과를 초래하거나 그 외 인권을 침해하는 도구를 사용하도록 요구하거나 또는 이를 사용하는 일 등을 전부 삼가야 한다.
30. 국가는 반드시 공공 부문 시스템에서 기계 학습으로 인한 차별의 피해를 줄이고 완화시키기 위해 다음과 같은 절차를 밟아야만 한다.
i. 위험 요인 식별
31. 기계 학습 기술을 도입하는 모든 국가는 기술의 개발이나 구매에 앞서, 가능하면 사용하기 전, 그리고 기술을 사용하는 동안 지속적으로 권리 침해나 차별의 위험을 철저하게 조사해야만 한다. 이는 다음과 같은 조치를 포함할 수 있다 :
a) 기계 학습 시스템의 공개 입찰에 앞서, 개발 중 하나의 단계로써, 도입하여 사용하는 동안 차별적 또는 다른 권리 침해적 결과의 잠재적인 원인을 식별하기 위해 정기적인 영향 평가를 시행하라. 예를 들어 알고리즘 모델 설계나 감독 과정 또는 데이터 처리 과정에서 이를 시행. (8)
b) 영향 평가를 통해 찾아낸 위험을 완화시킬 적절한 조치를 수행하라. 예를 들어 의도치 않은 차별과 데이터나 시스템 속 과소대표를 완화하기, 동적 테스트와 공개 전 테스트 도입, 잠재적 피해자 집단과 현업 전문가가 설계와 실험, 검토의 단계에서 결정권을 가질 수 있도록 보장하기, 적합한 시기에 독립된 전문가로부터 검토 받기
c) 시스템을 실시간으로, 정기적으로 시험하고 검사 받게 하라. 자기충족적인 피드백 루프와 편협성의 지표에 대한 조사, 실제 환경에서의 인권 침해에 대한 독립적이고 전체적인 감사 보장
d) 불확실한 시스템 속 알려진 한계에 대한 발표 – 예를 들어 신뢰도 측정법, 알려진 실패 시나리오, 적절한 사용제한 예를 표기
ii. 책무성과 투명성 보장
32. 국가는 반드시 공공 분야에서의 기계 학습 시스템 사용에 있어 가능한 최대한의 투명성과 책무성을 보장하고 요구해야만 한다. 이는 반드시, 영향 받는 개인과 집단이 받은 영향이 독립기구와 규정된 책무자, 그리고 책임자들에 의해 효과적으로 조사될 수 있게 기술의 사용에 대한 설명가능성과 이해가능성을 포함해야만 한다. 국가는 반드시 :
a) 공공 분야에서 기계 학습 시스템이 사용되는 곳을 공개적으로 공개하라. 자동화된 기계 학습 시스템의 결정이 어떤 식으로 이루어진 것인지 이해하기 쉽고 명확하게 설명하는 정보를 제공하라. 차별 및 다른 권리 침해적 영향을 식별하고 기록하고 완화시키기 위해 취한 조치를 문서화하라.
b) 감사 가능한 시스템을 사용하여 독립적인 분석과 감독이 가능하게 하라.
c) 유의미한 책무성과 투명성의 기준을 적용할 수 없는 ‘블랙 박스 시스템’ 사용을 피하고, 위험성이 큰 상황에서는 이러한 시스템을 결코 사용하지 말라.(9)
iii. 감독 강화
33. 국가는 반드시 공무원이 기계 학습 시스템 속 차별 및 기타 권리 침해의 위험을 민감하게 인식하고 경계할 수 있도록 조치를 취해야만 한다. 국가는 반드시 :
a) 선행적으로 다양성을 갖춰 고용하는 관행을 갖추고 다양한 관점을 보장할 수 있는 공론장에 참여하여 기계 학습 시스템설계와 실행, 검토에 관련된 사람들이 다양한 배경과 정체성으로 구성되게 해야 한다.
b) 공공기관으로 하여금 기계 학습 도구의 조달, 개발, 사용 및 검토에 관여하는 공무원을 위한 인권과 데이터 분석에 관한 교육을 이행하게 해야 한다.
c) 필요한 경우, 사법기관을 포함한 독립적 감독을 위한 메커니즘을 만들어야 한다.
d) 기계 학습이 개입된 결정이 적법한 절차에 대한 국제적 기준을 충족하는지 확인해야 한다.
34. 기계 학습 시스템의 연구와 개발을 민간 부문이 주도하기에, 실제로 국가는 공적인 상황을 위한 기술의 설계와 구현에 있어 민간 계약자에게 자주 의존한다다. 이러한 경우, 국가는 반드시 서비스 제공에 있어 차별을 방지하고 책무를 다하고 인권 침해를 시정하는 등 국가가 지닌 의무를 져서는 안된다.
35. 민간 부문을 통해 기계 학습 시스템을 조달 받는 모든 국가 기관은 시스템의 사용에 대한 감독과 통제권을 유지해야 하며, 차별과 다른 인권 침해에 대한 식별과 방지 및 완화를 위해 제3자가 실사를 수행할 수 있도록 요구해야 하며, 이와 관련한 활동을 공개적으로 밝혀야 한다.
평등을 증진시키기
36. 국가는 차별을 없애기 위한 사전적 조치를 취해야 할 의무가 있다. (10)
37. 기계 학습과 광범위한 기술 개발의 맥락에 있어, 국가가 우선시해야 할 가장 중요한 일 중 하나는 과학, 기술, 엔지니어링과 수학 분야(일반적으로 STEM 분야라고 일컬어지는)에서의 다양성과 포용 및 평등을 증진시키는 것이다. 이러한 활동은 그 자체로 목적을 달성하진 못하지만, 차별적인 결과를 줄이는 데 도움이 될 수 있다. 국가는 또한 기계 학습 시스템에서 인권 침해를 줄여내는 방법에 대한 연구에 투자해야 한다.
민간 부문의 행위자에게 책임을 부과하기
38. 국제 법은 인권 보호를 위한 국가의 의무를 명시하고 있다. 이는 민간 부문 행위자들에 의해 차별받지 않을 권리를 포함한다.
39. 유엔 경제적, 사회적, 문화적 권리 위원회에 따르면, “국가 당국은 반드시 민간 영역의 개인과 단체가 금지된 사유를 근거로 차별하지 않도록, 입법을 포함한 조치를 취해야만 한다”. (11)
40. 차별 또는 다른 권리 침해적 결과의 위험이 있으며 규제와 상호보완적일 수 있는 기술적 기준을 인식한 상황에서, 국가는 민간 분야의 기계 학습 사용에 대한 감독을 위해 인권 법을 준수하는 규제를 마련해야 한다. 추가적으로 차별금지, 데이터 보호, 프라이버시권과 기타 영역에 대한 국가적이고 지역적인 차원의 법은 기계 학습에 적용되는 국제 인권 의무를 더 세부화하고 강화할 것이다.
41. 국가는 반드시 이러한 기술 사용으로 인해 권리를 침해당하고 오용당하는 모든 개인들을 위한 효과적인 구제 수단에 대한 접근을 보장해야만 한다.
민간 부문 행위자의 책임 : 인권실사
42. 민간 부문 행위자들은 인권을 존중할 책임을 가진다. 이 책임은 국가의 의무와는 독립적으로 존재한다.(12) 이 책임을 다하기 위해, 민간 부문 행위자들은 인권 침해에 가담하거나 유발하지 않도록 지속적이고 사전적인 조치를 취해야 할 필요가 있다. 이 과정을 ‘인권실사’ 라고 부른다. (13)
43. 기계 학습 시스템을 개발하고 배포하는 민간 부문 행위자는 그들의 시스템의 사용이 차별을 조성하거나 퍼뜨리는 것을 막기 위해 그리고 인권을 더 폭넓게 존중하기 위해 인권실사 프레임워크를 따라야 한다.
44. 인권실사의 과정에는 세 가지 핵심적인 단계가 있다 :
i.잠재적인 차별적 결과 식별하기
ii. 차별을 줄이고 방지하고 그 대응에 대한 반응을 추적하기 위한 효과적인 행동 취하기
iii. 기계 학습 시스템 속 차별을 식별하고 방지하고 줄이기 위한 활동에 대해 투명성을 유지하라
i. 잠재적인 차별적 결과 식별하기
45. 새로운 기계 학습 기술이 개발되고 도입되는 동안, 비국가와 민간 부문의 행위자들은 차별을 야기할 시스템의 위험성을 평가해야 한다. 차별의 위험성과 해악은 모든 사용분야에서 같지는 않을 것이며, 차별을 다루기 위해 필요한 활동 또한 맥락에 따라 다를 것이다. 행위자들은 반드시 직접적 차별 뿐만 아니라, 겉으로는 중립적으로 보이지만 차별로 이어지는 차별적 처리의 간접적 형태를 식별하기 위해 신중해야만 한다.
46. 위험 요소를 판별할 때, 민간 부분 행위자는 흔히 기계 학습 시스템과 관련된 위험을 고려해야 한다 – 예를 들어, 역사적, 시스템적 편견을 가지고 있는 불완전하고 비대표적인 데이터 또는 데이터셋을 통한 학습 시스템과 같은 위험. 민간 행위자들은 영향을 받는 집단 그리고 인권, 평등, 차별에 관해 활동하는 단체 혹은 독립적인 인권 또는 기계 학습 전문가들을 포함한 관련 이해관계자들과 포괄적인 방식으로 협의해야 한다
ii. 차별을 줄이고 방지하고 그 대응에 대한 반응을 추적하기 위한 효과적인 행동 취하기
47. 인권에 대한 위험성을 식별한 후 해야 할 일은 이러한 위험성을 방지하는 것이다. 기계 학습 시스템의 개발자들에게 다음과 같은 것들이 요구된다 :
a) 모델의 설계와 학습에 사용될 데이터가 시스템에 미치는 영향으로부터 차별을 시정하라.
b) 기계 학습 개발 팀에 다양성과 공평함 또는 다른 포용의 수단을 추구하고, 설계 단계에서부터 편견을 식별하고 의도치 않은 차별을 방지하는 것을 목표로 하라.
c) 인권 침해를 가져올 수 있는 중대한 위험성이 있는 시스템을 독립적 제3자 감사를 위해 제출하라
48. 차별 및 다른 권리 침해의 위험성을 줄이는 것이 불가능하거나 그 위험성이 너무 큰 경우, 민간 부문 행위자는 기계 학습 시스템을 배포해선 안된다.
49. 본 단계의 또 다른 필수적 요소는, 민간 부문 행위자가 대응의 유효성에 대한 평가를 포함해, 기계 학습 시스템의 시행 기간 및 시간이 지남에 따라 발생하는 문제에 대한 그들의 대응을 추적하는 것이다. 이를 위해 설계와 시험 및 배포 단계에서, 특정 상황과 현장에서의 차별적 영향에 대해 시스템을 감시하고 오류와 침해를 적절하게 수정하기 위한 정기적이고 지속적인 품질 보증 검사와 실시간 감사가 필요하다. 이는 차별적인 결과를 고착시키고 강화시킬 수 있는 피드백 루프의 위험성을 감안할 때 특히 더 중요하다.
iii. 기계 학습 시스템 속 차별을 식별하고 방지하고 줄이기 위한 활동에 대해 투명성을 유지하라.
50. 투명성은 인권실사의 핵심적 요소이며 “의사소통, 영향 받을 수 있는 개인이나 집단 또는 이해관계자에게 투명성과 책무성을 측정할 수 있는 척도의 제공” 하는 일을 포함한다. (14)
51. 기계 학습 시스템을 개발하고 배포하는 민간 부문 행위자는 위험을 식별하는 과정, 식별된 위험, 식별된 인권 침해를 방지하고 줄이기 위한 구체적 활동을 공개해야 한다. 이는 다음과 같은 일을 포함한다 :
a) 기업이 식별한 위험과 차별의 구체적 사례에 대한 정보를 공개하기 ; 예를 들어 특정 기계 학습 시스템이 설계된 방식 또는 특정 상황에서 기계 학습 시스템을 사용하는 것과 관련된 위험
b) 차별의 위험이 있는 경우, 학습에 사용된 데이터와 그 소스의 세부적 사항을 포함해 기계 학습의 세부 사항 및 기능을 기술 사양에 명시하기
c) 기계 학습 시스템의 사용으로 차별이 발생한 경우, 영향을 받은 개인을 포함한 관련 당사자에게 그 영향에 대해 알리고 그 결과나 결정에 대해 이의를 제기하는 방법을 알려주는 메커니즘 구축
효과적으로 구제 받을 권리
52. 정의권(right to justice)은 국제 인권 법의 필수적 요소다. 국제 법 하에 인권 침해와 위반의 피해자는 반드시 즉각적이고 효과적인 구제 방법에 접근할 수 있어야 하며, 책임자는 반드시 책임을 져야만 한다. (15)
53. 기계 학습 시스템을 설계하고 배포하는 기업과 민간 부문의 행위자는 개인과 집단이 실효성 있고 효과적인 구제와 보상을 받을 수 있도록 조치를 취해야 한다. 이는 불리한 개인이나 사회적 파장을 고려한 명확하고 독립적이고 가시적인 보상 절차를 마련하는 것과 접근하기 쉽고 효과적인 소송 및 법적 판단에 따른 문제의 적절한 구제책을 책임지는 실질적 직책의 지명을 포함할 수 있다.
54. 사람들의 권리가 위험에 처한 곳에서 기계 학습 시스템을 사용하는 것은 구제에 대한 권리를 보장하기 어려울 수 있다. 일부 시스템의 불투명함은 개인이 자신의 권리에 영향을 미치는 결정이 어떻게 만들어지고 그 과정에서 차별이 있었는지의 여부조차 알지 못할 수 있다는 걸 의미한다. 어떠한 경우에는, 관련 공공 기관이나 민간 부문 행위자마저 결정이 만들어진 과정에 대해 설명하지 못할 수도 있다.
55. 효과적인 구제책에 접근할 수 있는 권리를 포함해 기타 권리를 보장해줄 책임이 있는 기관인 사법 기관 시스템 내에서 결정을 권장하고 만들고 시행하는 기계 학습 시스템이 사용될 때 문제는 특히 더 심각하다.
56. 차별을 식별하고, 기록하고, 그에 대응하는 것을 이미 개괄해둔 조치와 이러한 활동에 투명해지고 책임감을 가지는 것은 국가가 개인이 효과적인 구제책에 접근할 수 있도록 보장하는 데 도움이 될 것이다. 이에 더해, 국가는 :
a) 만약 기계 학습 시스템을 공공 부문에 도입하는 경우, 적법한 절차의 표준에 맞춰 사용되게 하라.
b) 공정한 재판과 당사자들의 권리에 대한 위험을 감안해 법적 부문에서의 기계 학습 시스템 사용은 신중하게 고려하라. (16)
c) 기계 학습 시스템의 개발과 실행에 대한 책무의 범위를 명확하게 설명하고, 그러한 시스템의 사용으로 만들어진 결정에 법적 책임이 있는 개인이나 기구, 단체를 명시하라.
d) 공공 또는 민간에 의해 사용된 기계 학습 시스템과 연관된 차별적 손해의 피해자에게, 경우에 따라 금전적 배상, 책임자들에 대한 제재, 재발 방지 보장을 포함한 효과적인 구제책을 제공하라. 이를 위해 기존의 법과 규제를 사용할 수도 있고, 새로운 법과 규제를 만들어야 할 수도 있다.
결론
57. 이 선언의 연명단체는 공공 및 민간 부문의 행위자들이 가능한 경우 기계 학습 시스템의 사용에 있어 차별을 방지하기 위해 인권 법과 기준에 따른 의무와 책임을 지킬 것을 촉구한다. 차별이 일어난 경우, 효과적인 구제 수단을 제공할 조치가 준비되어 있어야 한다.
58. 우리는 국가와 민간 부문 행위자가, 차별로부터 개인과 집단을 보호하기 위해 협업하고 적극적이며 헌신적인 역할을 수행할 것을 촉구한다. 기계 학습 시스템을 만들고 도입할 때, 이들은 국제 인권 법과 기준 하에 그들의 의무와 책임이 있는 바와 같이, 평등에 대한 권리와 차별받지 않을 권리를 포함하되 이에 국한되지 않는 인권과 책임을 증진시키기 위한 유의미한 조치를 반드시 취해야만 한다.
59. 결코 기술의 발전이 우리의 인권을 약화시켜서는 안된다. 우리는 권력을 가진 이들이 지금 당장의 인권을 지켜내기 위해 행동하고 현재 우리가 갖고 있는, 그리고 미래 세대가 가지게 될 권리를 보호하는 걸 도와야 하는 중대한 기로에 서있다.
This Declaration was published on 16 May 2018 by Amnesty International and Access Now, and launched at RightsCon 2018 in Toronto, Canada.
각주
- UN Human Rights Committee, Vienna Declaration and programme of Action, 1993 Action, http://www.ohchr.org/EN/ProfessionalInterest/Pages/Vienna.aspx
- For example, see the FAT/ML Principles for Accountable Algorithms and a Social Impact Statement for Algorithms; IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems, Ethically Aligned Design; The Montreal Declaration for a Responsible Development of Artificial Intelligence; The Asilomar AI Principles, developed by the Future of Life Institute.
- The International Covenant on Economic, Social and Cultural Rights (ICESCR), Article 15 https://www.ohchr.org/EN/ProfessionalInterest/Pages/CESCR.aspx
- United Nations Human Rights Committee, General comment No. 18, UN Doc. RI/GEN/1/Rev.9 Vol. I (1989), para. 7
- UN OHCHR, Tackling Discrimination against Lesbian, Gay, Bi, Trans, & Intersex People Standards of Conduct for Business, https://www.unfe.org/standards/
- United Nations Human Rights Committee, General comment No. 18 (1989), para. 12
- For example, Convention on the Elimination of All Forms of Racial Discrimination, Article 2 (a), and Convention on the Elimination of All Forms of Discrimination against Women, Article 2(d).
- The AI Now Institute has outlined a practical framework for algorithmic impact assessments by public agencies, https://ainowinstitute.org/aiareport2018.pdf. Article 35 of the EU’s General Data Protection Regulation (GDPR) sets out a requirement to carry out a Data Protection Impact Assessment (DPIA); in addition, Article 25 of the GDPR requires data protection principles to be applied by design and by default from the conception phase of a product, service or service and through its lifecycle.
- The AI Now Institute at New York University, AI Now 2017 Report, 2017, https://ainowinstitute.org/AI_Now_2017_Report.pdf
- The UN Committee on Economic, Social and Cultural Rights affirms that in addition to refraining from discriminatory actions, “State parties should take concrete, deliberate and targeted measures to ensure that discrimination in the exercise of Covenant rights is eliminated.” – UN Committee on Economic, Social and Cultural Rights, General Comment 20, UN Doc. E/C.12/GC/20 (2009) para. 36
- UN Committee on Economic, Social and Cultural Rights, General Comment 20, UN Doc. E/C.12/GC/20 (2009) para. 11
- See UN Guiding Principles on Business and Human Rights and additional supporting documents
- See Council of Europe’s Recommendation CM/Rec(2018)2 of the Committee of Ministers to member States on the roles and responsibilities of internet intermediaries, https://search.coe.int/cm/Pages/result_details.aspx?ObjectID=0900001680790e14
- UN Guiding Principles on Business and Human Rights, Principle 21
- For example, see: Universal Declaration of Human Rights, Article 8; International Covenant on Civil and Political Rights, Article 2 (3); International Covenant on Economic, Social and Cultural Rights, Article 2; Committee on Economic, Social and Cultural Rights, General Comment No. 3: The Nature of States Parties’ Obligations, UN Doc. E/1991/23 (1990) Article 2 Para. 1 of the Covenant; International Convention on the Elimination of All Forms of Racial Discrimination, Article 6; Convention on the Elimination of All Forms of Discrimination against Women and UN Committee on Economic, Social and Cultural Rights (CESCR), Article 2, General Comment No. 9: The domestic application of the Covenant, E/C.12/1998/24 (1998) http://www.refworld.org/docid/47a7079d6.html
