번역오류는 policy 골뱅이 jinbo.net 으로 알려주세요.
제목 : AI 블랙박스 해체 : 인권 보호를 위한 10단계
원문제목 : Unboxing artificial intelligence: 10 steps to protect human rights
원문링크 : https://www.coe.int/en/web/commissioner/-/unboxing-artificial-intelligence-10-steps-to-protect-human-rights
일시 : 2019년 5월
작성 : 유럽평의회 인권위원장 Council of Europe, Commissioner for Human Rights
AI 블랙박스 해체 : 인권 보호를 위한 10단계
Unboxing Artificial Intelligence: 10 steps to protect Human Rights
서론
인공지능(AI)이 인권에 미치는 영향은 우리가 사는 동안 규정 되어야 할 가장 중요한 요인 중 하나이다. 인공지능 기반 기술은 스마트 가전부터 소셜 미디어 애플리케이션에 이르기까지 모든 개인의 삶에 더 많은 측면에 진입하고 있으며, 점점 더 많은 공공 기관에서 사람들의 성격이나 능력을 평가하고, 자원을 할당하고, 그 밖의 인권에 실질적이고 심각한 결과를 초래할 수 있는 결정을 내리는데 활용되고 있다. 인권위원장이 인권 논평에서 강조했듯이, 기술 개발과 인권 보호 사이의 올바른 균형을 찾는 것이 시급한 문제다.
인권이사회의 권한에 따라 유럽 회원국 평의회의 인권에 대한 인식, 효과적인 준수, 완전한 향유를 증진시키는 것 만큼 인권 보호(장관 회의 결의안 (99) 50의 제3항과 제8항)에 대한 조언과 정보를 제공하는 것에 대해 이사회는 AI와 인권에 관한 10개항의 권고안을 발표한다.
현재 “인공지능”에 대한 합의된 정의는 없다. 하지만, 이 권고안의 목적상 AI는 일반적으로 지능이 필요한 일을 하는 기계의 능력을 향상시키는 데 전념하는 일련의 과학, 이론 및 기법을 가리키는 총칭으로 사용된다. AI 시스템은 주어진 목표 집합에 대해 권고, 예측 또는 결정을 내리는 기계 기반 시스템이다. 그것은 (i) 실제 혹은 가상 환경을 인식하기 위해 기계 및/또는 인간 기반 입력을 이용하여 (ii) 그러한 인식을 수동으로 또는 자동으로 모델로 추상화하고 (iii) 권장사항, 예측 또는 결정의 형태로 이러한 모델을 통해 결과를 도출한다.
본 권고안에서 사용된 추가적인 관련 용어 목록은 부록 문서의 용어집에서 확인할 수 있다.
AI는 기회 만큼의 위험도 수반하며 인권은 AI에 의해 강화되어야지 훼손 되어서는 안된다. 이번 ‘AI 및 인권 권고안’은 10대 핵심 행동영역을 중심으로 AI 시스템이 인권에 미치는 부정적 영향을 예방하거나 완화할 수 있는 방법에 대한 지침을 제공한다.
권고안은 유럽평의회(Council of European Council), 특히 사법 시스템에서의 인공지능 이용에 관한 유럽 윤리 헌장, 인공지능 및 데이터 보호에 관한 가이드라인, 알고리즘 처리의 조작적 역량에 관한 각료회의 선언, 자동화된 데이터 처리 기술의 인권적 측면 및 가능한 규제적 함의에 관한 연구를 기반으로 작성되었으며 의사 표현의 자유 UN 특별 보고관의 정보화 환경에서 인공지능이 인권에 미칠 영향에 대한 설명 보고서도 참고하였다. 이 권고안은 유럽평의회의 인권기구를 포함한 국제인권체제가 제공하는 기존의 보편적이고 구속력 있는 실행 가능한 틀에 그 뿌리를 두고 있다.
이 권고안은 회원국을 중심으로 다루어지지만, 원칙은 AI 시스템의 개발, 구현, 효과에 직접적 혹은 간접적으로 상당한 영향을 미치는 모든 사람을 대상으로 한다. 민간에서 개발된 AI는 공공단체, 공공 서비스 등과 협력할 의사가 있는 경우 공공 부문에서 개발된 것과 동일한 기준을 유지해야 한다.
첨부된 체크리스트는 권고사항 운영에 대한 일반적인 지침을 제공하며 각 핵심 영역에 대한 실행 가능한 지점을 식별하고 있다.
권고
1 – 인권영향평가(Human rights impact assessment)
회원국들은 공공기관이 취득, 개발 및/또는 구축한 AI 시스템에 대해 인권영향평가(HRIA)를 수행하는 절차를 수립하는 법적 틀을 마련해야 한다. HRIA는 규제 영향 평가 및 개인정보보호 영향 평가와 같이 공공 기관이 수행하는 다른 형태의 영향 평가와 유사한 맥락에서 구현 및 운영되어야 한다.
회원국들은 법에 따라 HRIA의 대상이 되는 AI 시스템의 종류를 기술할 수도 있지만, 그러한 기술은 AI 생애주기 어떤 단계에서는 인권을 침해할 가능성이 있는 모든 AI 시스템을 포괄할 수 있을 정도로 포괄적이어야 한다.
HRIA 법적 틀의 일부로서, 공공 기관들은 기존에 있던 AI 시스템과 제안된 AI 시스템에 대해 자체 평가를 실시하도록 요구해야 한다. 이런 자체 평가는 시스템의 특성, 맥락, 범위 및 목적을 고려하여 AI 시스템이 인권에 미칠 수 있는 영향을 평가해야 한다. 공공기관이 제안된 AI 시스템을 아직 조달하거나 개발하지 않은 경우, 해당 시스템의 취득 및/또는 개발에 앞서 이 평가를 수행해야 한다
또한 인권 영향과 시간의 흐름에 따른 위협을 발견하고 판단하며 도식화하는데 도움이 될 수 있도록, HRIA는 독립된 감독기구나 관련 전문지식을 갖춘 외부 연구자/감시자에 의한 AI 시스템에 대한 의미 있는 외부 검토를 포함해야 한다. 공공기관은 이러한 의미 있는 외부검토를 수행할 때 국가인권구조(NHRS, National Human Rights Structure)의 참여를 고려해야 한다.
자체 평가와 외부 검토는 AI 시스템 뒤의 모델이나 알고리즘 평가에만 국한되지 말고 의사 결정자가 어떻게 그러한 시스템의 입력값을 모으고 영향을 미치는지와 시스템의 출력값을 해석하는지에 대한 평가를 포함해야 한다. 또한 AI 시스템의 생애주기 전반에 걸쳐 AI 시스템이 유의미한 인간의 통제 하에서 유지되고 있는지에 대한 평가도 포함되어야 한다.
자체평가나 외부검토 결과 AI 시스템이 인권을 침해할 실질적인 위험성이 있음이 드러난 상황에서 HRIA는 그러한 위험을 예방하거나 완화하기 위해 계획한 조치, 안전조치 및 방법을 수립해야 한다. 공공기관이 이미 구축한 AI 시스템과 관련해 그러한 위험이 확인된 상황에서는 위에서 언급한 조치, 안전장치 및 방법이 채택될 때까지 사용을 즉시 중단해야 한다. 확인된 위험을 충분히 완화할 수 없는 경우, AI 시스템을 배치하거나 공공기관에 의해 다른 방법으로 사용해서는 안된다. 자체평가나 외부검토에서 인권침해 사실이 드러난 경우 공공 기관은 즉시 조치를 취해 인권침해를 해소, 구제하고 재발방지 또는 완화 조치를 취해야 한다.
연구 결과나 외부 검토 과정의 결론을 포함하여 HRIA는 대중이 쉽게 접근할 수 있고 기계로 판독할 수 있는 형식으로 제공되어야 한다.
공공 기관들은 제3자가 정보(예: 기밀 사항 혹은 영업 비밀)에 대한 제한을 포기하기를 원치 않는 상황에서 제3자로 부터 AI 시스템을 기득해서는 안되며 그러한 제한은 (i) HRIA(외부 연구/감사의 진행을 포함하여)의 실행과 (ii) HRIA를 대중에게 공개하는 것을 지연시키거나 좌절시킬 수 있다.
공공 기관들은 AI 시스템을 취득·개발하는 시점뿐만 아니라 정기적으로 HRIA를 실시해야 한다. HRIA는 최소한 AI 시스템의 생애주기의 새로운 각 단계와 유사하게 중요한 이정표에서 수행되어야 한다.
2 – 공적 협의(Public consultation)
AI 시스템의 국가 사용은 모든 관련 이해관계자들을 초청하여 투입을 제공하는 투명한 실행 과정을 적용해야 하고 공개된 조달 기준에 의해 관리되어야 한다. 회원국들은 정보에 대한 접근, 열린 정부, 공개된 조달 법에 대한 업데이트를 고려해야 하고 AI 관련 요구 사항을 반영하기 위한 정책을 고려해야 한다.
회원국들은 AI 시스템에 관련된 다양한 단계는 물론 최소한 조달 및 HRIA 단계에서는 공적 협의를 허용해야 한다. 유의미한 공적 협의 과정은 AI 시스템의 작동, 기능 및 잠재적 영향 또는 측정된 영향에 대한 적절한 이해를 촉진하는 AI 시스템에 대한 모든 관련 정보의 시기적절한 사전 공시를 수반한다. 협의는 정부 관계자, 민간 영역 대표자들, 학계, 비영리 부문, 언론 및 소외되고 영향을 받는 단체나 지역사회의 대표자를 포함한 모든 이해관계자가 의견을 제시할 수 있는 기회를 제공해야 한다. NHRS는 시민사회와 주 당국 사이의 가교 역할을 하며 의미 있는 협의를 이루는데 도움을 줄 수 있다.
3 – 민간부문의 인권기준 이행을 촉진하기 위한 회원국의 의무
회원국들은 UN의 사업 및 인권에 대한 지침과 각료 회의의 인권과 사업에 대한 회원국에 대한 권고 CM/Rec(2016)3을 효과적으로 이행해야 한다. 회원국은 젠더가 관련된 위험에 대하여 반차별적인 방법으로 시행하기 위해 특히 고려해야 한다. 또한 관할 구역 내에 거주하거나 운영 되는 모든 AI 행위자(예: AI 개발자, 소유자, 제조업체, 관리자, 서비스 제공자 및 기타 AI 기업)도 마찬가지로 운영 전반에 걸쳐 이러한 원칙을 구현해야 한다는 요구를 명확히 제시해야 한다.
유럽인권협약에 따른 긍정적이고 절차적인 의무를 준수하기 위해 회원국들은 AI 시스템의 전체 생애주기에 걸쳐 AI 행위자의 인권침해로부터 개인의 인권을 보호하기 위해 필요할 수 있는 조치를 적용해야 한다. 회원국들은 특히나 그들의 입법이 AI 행위자들에 의해 인권을 존중할 수 있도록 전도하는 조건을 확실히 해야하며 AI 관련 인권 침해를 위한 효과적인 책임성과 구제 수단에 장벽을 만들지 않도록 해야한다.
회원국들은 적절한 경우 인권실사를 실시하는 것을 포함하여 AI 행위자들이 인권을 존중할 것을 요구하는 추가 조치를 시행해야 한다. 회원국들은 AI 행위자들이 그들의 AI 시스템에 의해 야기되는 피해를 예방하거나 완화하기 위한 효과적인 조치를 취하도록 요구해야 하며 그들의 AI 시스템에 의해 야기되는 위험을 식별, 예방, 최소화하기 위한 노력을 투명하게 하도록 해야 한다. 회원국들은 인권에 부정적 영향을 야기할 수 있는 식별된 위험이 적절하게 최소화 되거나 해결되지 않을 경우를 충분히 대비해야만 한다.
4 – 정보와 투명성(Information and transparency)
어느 의사 결정 단계에서든 개인의 인권에 유의미한 영향을 미칠 수 있는 의사결정에서 AI 시스템을 사용하는 것은 식별할 수 있어야 한다. AI 시스템의 활용은 반드시 명확하고 접근 가능한 용어로 공개 되어야 할 뿐만 아니라 개인들 또한 반드시 어떻게 결정이 이뤄지고 어떻게 그런 결정들이 검증되었는지 이해할 수 있어야 한다.
공공 서비스 특히 사법, 복지, 건강 관리 등의 맥락에서 개인과의 상호작용을 위해 AI 시스템을 이용하는 경우 이용자에게 통지하고 요청 시 지체없이 전문가에게 의지할 수 있음을 전달해야 한다. 공공기관에서 AI 시스템 만으로 혹은 중요한 영향을 받는 결정이 이뤄진 사람들의 경우 앞서 언급한 정보를 즉시 제공하고 통지해야 한다.
AI 시스템 전반에 걸친 감독 역시 투명성 요건에 의해 활성화되어야 한다. 이는 시스템의 문제점, 과정, 직간접적인 인권 영향, 시스템의 부정적인 인권영향의 식별과 최소화를 위한 수단에 대한 정보를 공개하는 형식이거나 독립적, 통합적, 효과적인 감사의 형식으로 이뤄 질 수 있다. 어떤 경우든 이용 가능한 정보는 AI 시스템에 대한 유의미한 평가가 이루어 질 수 있도록 한다. 어떤 AI 시스템도 인간에 대한 검토와 정밀 감시를 허용하지 않을 정도로 복잡한 수준이어서는 안 된다. 투명성과 책임성의 적절한 기준을 따를 수 없는 시스템은 사용하지 말아야 한다.
5 – 독립적인 감독(Independent oversight)
회원국들은 공공기관과 민간 주체에 의해 AI 시스템의 개발, 배치 및 이용에 대해 인권 준수 전반에 걸쳐 독립적이고 효과적인 감독을 위한 입법 체계를 수립해야 한다. 이 입법 체계는 서로 효과적으로 협력하는 행정, 사법, 준사법 및/또는 의회 감독기구의 조합으로 구성된 구조를 포함할 수 있다. 회원국들은 AI 시스템의 인권 준수에 대해 독립적이고 효과적인 감독을 제공하는 역할을 수행할 수 있도록 적절한 경우 기존 NHRS에 권한을 부여할 것을 고려해야 한다.
감독 기구는 AI 시스템의 개발, 배치 및 그 외 사용과 관련된 공공 기관과 민간 기업들로 부터 독립적이어야 하며 감독기능을 수행할 수 있는 적절하고 충분한 분야간 전문지식, 역량 및 자원을 구비해야 한다.
독립적인 감독 기구들은 AI 시스템의 인권 준수를 능동적으로 조사, 모니터링 하고 피해를 입은 개인의 민원을 접수, 처리하며 AI 시스템 능력과 기술개발에 대한 주기적인 검토를 보다 일반적으로 실시해야 한다. 감독기구는 인권침해 발생의 위험을 식별하는 상황에 개입할 수 있는 권한을 가져야 한다. 감독기구는 또한 정기적으로 의회에 보고하고 그들의 활동에 대한 보고서를 발표해야 한다.
공공기관과 민간 당사자는 AI 시스템의 효과적인 감독에 필요한 모든 정보를 요청 시 제공하고 감독 기관에 정기적으로 보고해야 한다. AI 시스템의 인권 영향과 관련해 감독기구의 권고를 이행 해야 한다. 감독 과정은 또한 투명해야 하며 적절한 대중의 정밀 조사를 받아야 하며 감독기구의 결정은 항소 또는 독립적인 검토의 대상이 되어야 한다.
6 – 반차별과 평등(Non-discrimination and equality)
모든 상황에서 AI에 의해 불균형적으로 영향을 받을 수 있는 권리의 위험이 높아진 집단에 대해서는 특별한 주의를 기울여 차별위험을 반드시 예방하고 완화해야 한다. 여기에는 여성, 아동, 노인, 경제적 약자, LGBTI 커뮤니티 회원, 장애인, 인종 단체, 민족 또는 종교 단체 등이 포함된다. 회원국은 차별적이거나 차별적 결과를 초래할 수 있는 AI 시스템의 사용을 자제해야 하며, 관할 구역 내에서 제3자에 의한 AI 시스템의 사용 결과로부터 개인들을 보호해야 한다.
AI 생애주기의 모든 단계에서 이러한 집단(소수자 그룹)의 효과적인 대표성을 포함하는 다양한 커뮤니티와의 적극적인 참여와 유의미한 협의는 불리한 인권 영향의 예방과 완화의 중요한 요소다. 아울러 AI 시스템 개발에 사용되는 훈련 자료에 대한 정보의 투명성과 접근성에 각별한 주의가 필요하다. HRIA와 다른 형태의 인권 실사는 정기적으로 반복되어야 하며 적절하고 접근 가능한 책임 및 보상에 대한 방법이 마련되어야 한다.
회원국들은 법 집행의 맥락에서 AI 시스템을 사용할 때, 특히 예측 또는 예방적 치안유지 등의 방법에 관여할 경우 가장 높은 수준의 정밀검사를 적용해야 한다. 이런 시스템은 특정 그룹에 대해 사실상 프로파일링이 될 수 있는 차별적 효과에 대해 도입 전에 독립적인 감사를 받아야 한다. 그러한 영향이 감지되면 시스템을 사용 할 수 없다.
7 – 개인정보보호와 프라이버시(Data protection and privacy)
개인정보 처리에 의존하는 AI 시스템의 개발, 훈련, 시험, 사용은 그 데이터와 관련한 ‘개인정보 자기결정권’(right to a form of informational self-determination)을 포함해 유럽인권협약 제8조에 따른 개인의 사생활 및 가족생활에 대한 존중권을 충분히 확보해야 한다.
AI 시스템 맥락에서 개인정보 처리는 그러한 처리를 통해 추구하는 정당한 목적에 비례해야 하며, 모든 단계에서 AI 시스템의 개발, 전개를 통해 추구하는 이익과 위태로운 권리, 자유 사이의 공정한 균형을 반영해야 한다.
회원국들은 개인정보의 자동화된 처리(Automatic Processing of Personal Data, Convention 108+)에 관한 유럽 보호 협약을 현대화해야 하며 회원국에 구속력이 있는 개인정보보호 및 프라이버시에 관한 기타 국제 기구의 (협약도) 효과적으로 이행해야 한다. AI 시스템의 어느 단계에서든 개인정보의 처리는 반드시 협정 108+에서 정한 원칙에 근거해야 하며, 특히 (i) AI 시스템 생애주기 관련 단계에서 개인정보의 처리는 법률에 의해 정해진 합법적 근거가 있어야 한다. (ii) 개인 데이터는 합법적이고 공정하며 투명하게 처리되어야 하고 (iii) 개인 정보는 명시적, 구체적, 합법적인 목적을 위해 수집되어야 하며 그러한 목적과 양립가능하지 않은 목적으로 처리되어서는 안되며 (iv) 개인 정보는 처리되는 목적에 충분하고 적절해야 하며 과도해서는 안된다. (v) 개인 정보는 정확해야 하고 필요한 경우 최신 정보를 유지해야 한다 (vi) 개인 정보는 해당 데이터가 처리되는 목적에 필요한 것 이상으로 정보 주체의 식별을 허용하는 형태로 보존 되어서는 안 된다.
회원국들은 AI 시스템이 유전자 정보, 범죄, 형사소송 및 유죄판결, 관련 보안 조치 등에 관한 개인 정보, 생체 인식 정보, “인종” 또는 민족 유래에 관한 개인 정보, 정치적 의견, 노조 가입 여부, 종교 혹은 다른 믿음, 건강 또는 성생활과 관련된 개인정보를 처리하는 경우 적절한 안전책을 제공할 수 있는 법적 틀을 도입해야 한다. 이런 안전 조치는 차별적이거나 편파적인 방법으로 처리되는 개인정보에 대한 보호를 제공해야 한다.
8 – 표현의 자유, 집회 및 결사의 자유, 노동권(Freedom of expression, freedom of assembly and association, and the right to work)
모든 개인의 인권과 기본권적 자유를 존중하고 보호하며 실현시켜야 하는 책임의 맥락에서, 회원국들은 AI 사용에 의해 관련될 수 있는 국제 인권 표준의 전체 범위를 고려해야 한다.
표현의 자유: 회원국은 다양하고 다원적인 정보 환경을 조성해야 할 의무와 AI가 주도하는 내용 규제 및 배치가 표현의 자유, 정보에 대한 접근, 의견의 자유에 대한 권리를 행사 하는 데 미칠 수 있는 부정적 영향을 유념해야 한다. 회원국은 AI 전문지식과 권력의 집중이 정보의 자유로운 흐름에 미치는 악영향을 막기 위해 기술독점을 규제하기 위한 적절한 조치도 검토할 것을 권고한다.
집회 및 결사의 자유: 집회 및 결사의 자유를 오프라인에서 행사하기 어려운 상황에서 AI 시스템을 내용에 맞게 적절히 활용하는 것이 집회와 결사의 자유에 미칠 수 있는 영향에 각별히 유의해야 한다. 안면인식 기술의 사용은 그 사용에 대한 명확한 한계를 제시하는 입법과 집회의 자유의 효과적인 행사를 보호하기 위한 공공의 투명성을 포함하여 회원국들에 의해 엄격하게 규제되어야 한다.
노동권: 자동화를 가속화하여 직업 가용성에 부정적인 영향을 미칠 수 있는 AI의 잠재력을 주의 깊게 모니터링 해야 한다. AI 발전으로 창출되고 손실되는 일자리의 수와 종류를 추적하기 위한 정기적인 평가가 이루어져야 한다. 인적 노동 수요의 감소로 명백히 영향을 받는 노동자들을 재교육하고 일자리를 재배치하기 위한 적절한 계획이 개발되어야 한다. 회원국들은 AI 시스템과 관련된 역량이 필요한 일자리에 접근할 수 있도록 교육 과정도 조정해야 한다.
9 – 구제 방법(Remedies)
머신 러닝이나 이와 유사한 기법으로 AI 시스템이 특정한 인간의 개입에 관하여 독립적으로 의사 결정을 할 수 있는 환경에서라도 AI 시스템은 반드시 항상 인간에 의한 통제 하에 있어야 한다. 회원국은 AI 시스템의 생애주기의 다양한 단계에서 발생할 수 있는 인권 침해에 대한 명확한 책임의 선을 수립해야 한다. AI 시스템의 개발, 배치 또는 이용에서 발생하는 인권 침해에 대한 책임과 책무는 비록 인권 침해 조치가 책임 있는 인간 지휘관이나 운영자에 의해 직접 지시되지 않는 경우라도, 항상 자연인 또는 법인의 책임과 책무에 있다.
공공 혹은 민간 기구의 AI 시스템 개발, 도입, 혹은 사용으로부터 인권 침해 피해를 주장하는 누구라도 국가 당국 이전에 효과적인 구제책을 제공 받을 수 있어야 한다. 또한 불투명한 방식으로 그에 대한 지식이 없이 AI 시스템의 출력에 의해 단독으로 혹은 중요한 영향을 받은 방식의 대상이 됐다고 의심하는 사람들에게 효과적인 구제책에 대한 접근을 제공해야 한다.
효과적인 구제책에는 AI 시스템의 개발, 배치 또는 사용으로 인해 입은 피해에 대한 신속하고 적절한 배상 및 보상이 포함되어 있어야 하며, 민법, 행정법 또는 적절한 경우 형법에 따른 조치를 포함할 수 있다. NHRS는 각자의 의무에 따라 자신의 결정을 제시함으로써 이러한 보상의 근거가 될 수 있다.
회원국은 충분한 인간의 개입 없이 이루어진 자동화된 의사결정에 기반하여 중대한 영향을 미칠 수 있는 결정의 대상이 되지 않을 권리를 가진다는 것을 개인에게 알려줘야 한다. 적어도 개인은 자동화된 의사결정에서 인간의 개입을 획득할 수 있어야 하며, 그러한 결정이 실행되기 전에 개인의 견해를 고려해야 한다.
회원국은 개인이 AI 시스템에 의해 야기된 인권 침해의 피해자라는 자신의 주장을 입증하는데 관련된 피고 또는 제3자 소유의 정보에 접근할 수 있도록 보장해야 하며 여기에는 적절한 곳에서 훈련 및 테스트 기록, 정보를 AI 시스템이 어떻게 사용되었는지에 대한 정보도 포함되며 AI가 해당 권고, 결정 혹은 예측에 어떻게 이르렀는지에 대한 의미있고 이해할만한 정보도 포함되며 어떻게 AI 시스템의 결과물이 해석되고 실행되었는지에 대한 자세한 정보도 포함된다.
국가 당국이 AI 시스템의 개발, 배치, 혹은 사용으로 인해 야기된 인권 침해 과제를 고려할 때 AI 시스템이 제시하는 ‘객관성의 매력(allure of objectivity)’에 적절한 회의감을 보여야 하며, 인권 유린에 도전하는 개인이 난관에 봉착한 수단의 책임에 비해 높은 수준의 증거에 구속되지 않도록 해야 한다.
10 – “AI 문해력”의 증진(Promotion of “AI literacy)
AI에 대한 지식과 이해는 정부기관, 독립감독기구, 국가 인권 구조, 사법부와 법 집행기관, 일반 국민이 함께 추진해야 한다. 회원국은 정부 내에 AI와 관련된 모든 사안에 대해 자문할 협의체를 설립하는 방안을 검토해야 한다.
AI 시스템의 개발이나 적용에 직간접적으로 관여하는 사람들은 AI가 어떻게 기능하는지에 대한 필요한 지식과 이해를 갖추고 그것이 인권에 미치는 영향에 대한 정보를 획득할 필요가 있다. 그들의 시스템이 인권에 미칠 영향에 대해서 이러한 행위자들이 알기 위해서는 그들은 그들의 일에 관여할 수 있는 인권 기준의 스펙트럼을 인식해야 한다.
회원국은 (특히) 학교 내에서의 강력한 인식 제고와 훈련, 교육 노력을 통해 일반 대중과 함께 AI에 대한 문해력 수준을 위한 투자를 해야한다. 이는 AI의 작용에 대한 교육에만 국한되어서는 안 되며, AI의 잠재적인 영향(긍정적이든 부정적이든)이 인권에 미치는 영향도 고려해야 한다. 일반적으로 IT 활용능력과 관련하여 소외된 그룹 및 불이익을 받는 그룹에게 다가가기 위해 특별한 노력을 기울여야 한다.
Check List
인권영향평가
| 해야 할 일 |
| 공공기관이 취득 했거나 취득하려 하거나 개발 및/또는 배치 하려는 AI 시스템과 관련하여 HRIA의 이행을 요구하는 법과 규제를 도입하기 위한 조치를 취해야 한다.
HRIA에 대한 관련 법적 틀이 채택된 시점이 어떤 공공기관에 의해서든 이미 도입된/사용 중인 모든 AI 시스템과 관련해 HRIA를 신속하게 수행해야 한다. 그 외에는 공공기관에 의해 AI 시스템을 취득 및/또는 개발하기 전에 먼저 HRIA가 먼저 실시되어야 한다. AI 생애주기 내내 인권에 미칠 AI의 영향을 지속적으로 감시해야 하며 시스템의 맥락, 범위, 특성 및 목적의 변화가 발생하는 각각의 생애주기의 새로운 단계마다 HRIA를 주기적으로 실시해야 한다. |
| 하지 말아야 할 일 |
| HRIA의 법적틀을 도입할 때, 시민 사회 단체 및 AI 관련 전문가들을 포함하여 관련 이해 관계 당사자들의 조언과 유의미한 협의를 획득하는데 실패해서는 안된다.
HRIA를 불투명한 방식으로 수행해선 안되며 HRIA의 수행이나 공개를 방해하기 위해 기밀성, 개인정보 보호, 영업비밀, 국가 기밀 또는 지적 재산에 대한 법률을 사용하거나 사용을 촉진하지 말아야 한다. 인권에 간섭할 잠재력이 있는 AI 시스템을 다음과 같은 상황에서 요구, 개발, 도입, 사용해서는 안 된다. (i) HRIA의 적용을 받지 않았거나 (ii) HRIA가 AI 시스템이 인권을 침해할 실질적인 위험이 있음을 밝혀내고 식별된 위험을 방어하거나 최소화할 수 있는 수단, 안전조치, 혹은 구조가 없는 경우 |
공적 협의
| 해야 할 일 |
| 투명한 조달 기준과 AI 시스템의 사용에 투명한 과정을 적용해야 한다.
영향을 받는 그룹이나 공동체를 포함하여 모든 이해관계 당사자들이 최소한 조달 및 HRIA 단계 동안 공적 협의에 포함되어야 한다. |
| 하지 말아야 할 일 |
| AI 시스템과 관련된 모든 관련 정보를 적시에 사전 공개하고 모든 이해 관계자들의 참여를 적극적으로 모색하는 등 유의미한 조치를 취하지 않고 공적 협의를 진행해서는 안된다. |
민간 영역에서 인권 기준 이행을 가능하게 해야 할 회원국의 의무
| 해야 할 일 |
| 다른 동등한 법적 책임 제도와 마찬가지로 형법과 시민법에 대한 감사를 실행하여 AI 행위자들이 AI와 관련된 인권침해의 소지를 파악하는데 마주치는 간극과 장애물을 확인할 수 있도록 해야한다.
AI 행위자에 의한 위반으로부터 개인의 인권을 보호하기 위해 국가 의무를 준수하도록 필요한 경우 기존 법을 시행해야 한다. AI 행위자가 인권을 존중해야 하는 그들의 책임을 준수하는 것을 “알고 증명”할 수 있도록 그들의 AI 시스템이 관련된 인권 위험을 파악하는 것과 관련된 투명한 인권 실사 과정을 포함한 조치를 취해야 하며, 이러한 시스템으로 인한 피해를 예방 및/혹은 완화하기 위한 효과적인 조치를 취해야 한다. |
| 하지 말아야 할 일 |
| AI 영역에 적용되는 법, 정책, 규제들을 회원국의 인권 의무로부터 고립되어 있거나 소원한 것으로 생각해서는 안된다.
차별적인 방법으로 AI 영역에서 인권 기준의 이행 및 집행을 가능하게 해서는 안된다. |
정보와 투명성
| 해야 할 일 |
| 특히 공적 서비스의 맥락에서 AI 시스템이 언제 어떻게 사용되는지, 개인이 이해할 수 있도록 모든 필요한 정보를 제공해야 한다. |
| 하지 말아야 할 일 |
| 사람의 검토 및 투명성과 책임성의 적절한 기준에 의한 정밀 조사를할 수 없을 정도로 복잡한 AI 시스템을 활용하지 말아야 한다. |
독립적인 감독
| 해야 할 일 |
| AI 시스템의 전반적인 인권 준수의 독립적이고 효과적인 감독을 위한 틀을 설립하는 법률을 제정하여 가능하다면 NHRS를 포함한 기존 감독기구를 활용하도록 한다.
모든 관련 감독기구가 충분한 전문지식에 접근하고 AI 시스템과 인권에 대한 그들의 영향에 대한 적절한 교육을 받으며 그 기능을 효과적으로 수행하기 위한 적절한 자금과 기타 자원을 제공받을 수 있도록 조치를 취해야 한다. AI 시스템(개발, 시험 혹은 사용을 포함하여) 인권 침해에 책임이 있는 공공이든 민간이든 모든 행위자들을 조사하고 감시하는 목적에 관련된 감독기구의 기능이 적합하도록 보장해야 한다. |
| 하지 말아야 할 일 |
| 감독기구가 인권침해의 발생 혹은 발생 위험을 식별한 상황에 의미 있게 개입할 수 없을 정도로 감독기구의 기능과 권한을 제한하지 말아야 한다.
AI 시스템의 인권 준수를 조사하고 감시하는 감독기구의 제도적, 운영적, 재정적, 개별적 독립성을 훼손해선 안 된다. (훈련 및 테스트) 데이터셋, AI 입력/출력, 모델/알고리즘, 운영 지침 및 인권 실사 등의 접근을 박탈하는 등 감독기관이 효과적으로 기능을 수행하는데 필요한 정보를 박탈함으로써 감독기구의 권한을 박탈하거나 다른 사람이 박탈하도록 해서는 안 된다. |
반차별과 평등
| 해야 할 일 |
| AI 시스템으로 인해 그들의 권리에 불균형적인 영향을 받을 위험이 높은 그룹에 대해 AI 시스템의 활용의 차별 위험을 예방하고 완화해야 한다.
특히 특정 그룹에 속한 개인들의 프로파일링을 피하기 위해서 법 집행의 맥락에서 AI 시스템을 이용할 때는 가장 높은 수준의 정밀 조사를 적용 받아야 한다. |
| 하지 말아야 할 일 |
| 차별 혹은 차별적 결과로 이끌 수 있는 AI 시스템은 사용해서는 안되고 제3자가 사용하도록 해서도 안 된다. |
개인정보 보호와 프라이버시
| 해야 할 일 |
| 기존 개인정보보호법이 AI 시스템의 맥락에서 사생활 및 개인정보보호에 대한 권리를 충분히 보호 할 수 있는지 검토하고 평가해야 하며 그렇지 않은 경우 법률 개혁을 실시하여야 한다.
AI 시스템의 개발, 도입 및 사용에 관련된 민간 및 공공 기관이 정보 주체의 권리를 존중하고 해당 개인정보보호법에 따라 의무를 이행할 수 있도록 사전에 조치를 취해야 한다. |
| 하지 말아야 할 일 |
| AI 시스템을 개발, 도입 또는 사용하는 사람에게 광범위하고 불균형적인 개인정보 처리 면제 또는 면책특권을 부여해서는 안 된다.
사생활을 존중받을 권리와 개인정보보호에 대한 권리를 침해하여 수집되거나 다른 방법으로 처리 된 데이터셋을 훈련 또는 테스트하는데 의존하는 AI 시스템의 개발이나 사용을 허가하지 말아야 한다. 입력 또는 출력이든 사생활의 권리와 개인정보보호 권리를 침해하여 개인 정보를 처리하는 AI 시스템은 개발하거나 사용하도록 허가해서는 안 된다. |
표현의 자유, 집회 및 결사의 자유, 노동권
| 해야 할 일 |
| AI의 사용으로 잠재적으로 관여할 수 있는 국제 인권 표준의 전체 범위를 고려해야 한다.
AI가 주도하는 내용규제 및 전시가 표현의 자유, 정보에 접근, 의사의 자유에 영향을 미칠 수 있음을 염두에 두어야 한다. 집회의 자유에 대한 권리를 효과적으로 행사할 수 있도록 안면인식 기술의 사용을 엄격하게 규제해야 한다. 노동권에 AI가 미칠 잠재적인 부정적인 영향을 감시하고 학교 교육을 포함하여 이를 완화할 수 있는 계획을 수립해야 한다. |
| 하지 말아야 할 일 |
| 국제 인권 규범이 보호하는 어떠한 인권이든 침해하는 AI 시스템의 개발, 도입, 혹은 사용은 허가되지 말아야 한다. |
구제 방법
| 해야 할 일 |
| 민법, 형법, 행정법 등 기존 법률에 대한 평가를 실시하여 AI 시스템의 개발, 도입, 또는 사용으로 인해 발생하는 인권침해의 피해자라고 주장하는 자에게 효과적인 구제책을 제공하지 않는 경우 개혁을 실시해야 한다.
책임 규제는 AI 시스템의 생애주기의 각 단계에서 발생할 수 있는 전체 범위의 인권 침해에 대해 법적 책임이 있는 사람을 명확히 규정해야 한다. 사법부와 다른 관련 국가기관들은 AI 시스템의 추정된/감지된 정확도 혹은 객관성에 부적절한 비중을 두어선 안되며 AI 시스템으로 인해 야기된 인권 침해 사건에서 피해자와 피고 사이의 평등한 무기를 제공해야 한다. |
| 하지 말아야 할 일 |
| 사람의 통제에서 완전히 벗어나서 작동하는 AI 시스템의 개발, 도입 혹은 사용을 허가 해서는 안된다.
개인에게 의미 있는 인적 개입을 얻을 기회가 제공되지 않은 상태 및 의사결정이 시행되기 전에 그들의 의견이 고려되지 않은 상황에서 개인들에게 중대한 영향을 미칠 수 있는 자동화된 의사 결정의 대상이 되지 않도록 해야 한다. |
AI 문해력의 증진
| 해야 할 일 |
| AI 관련 문제들에 조언을 할 수 있는 정부 자문 기구를 설립해야 한다.
AI 시스템의 개발 관련자들부터 일반 대중에 이르기까지 모두를 위해 지식과 AI와 인권에 대한 이해를 증진시켜야 한다. |
| 하지 말아야 할 일 |
| 인권에 미칠 수 있는 AI의 잠재적 영향을 포함하지 않은 채 기술적 측면으로만 AI 사용 능력 노력을 제한해선 안된다. |
