편집자주 : UN 특별보고관은 인공지능과 인공지능의 활용이 우리의 인권에 어떤 영향을 미칠 수 있는가에 대한 보고서를 작성했습니다. 새로운 기술이 등장하고, 인공지능이 우리를 대신해 많은 결정을 내리게 되면, 언뜻 더 편해질 것 같지만 실상 이런 기술들이 앞으로 우리 생활에 어떤 영향을 미칠지, 인권에 어떤 영향을 미칠지에 대한 전망은 불투명한 상태입니다. 인공지능이 사람을 평가하게 되면 어떻게 될까요? 내가 보는 것, 읽는 것, 소비 할 것 등을 파악해서 그런 것들만 지속적으로 보여준다면요? 인공지능은 차별과 혐오와 관련된 모든 정보를 걸러내지 못합니다. 그래서 차별과 혐오가 포함된 정보를 지속적으로 상위에 노출시킬 수 있죠. 그렇게 되면, 우리 사회는 더 많은 차별과 혐오에 노출되고 이에 근거한 차별적인 결정들로 가득찰 겁니다. 이번에 소개 할 UN 특별보고관의 보고서에는 기술 자체가 가지는 위험성 뿐 아니라, 안전장치 없이 기술을 활용할 때 우리의 인권, 특히 표현과 의견에 자유에 관한 권리에 미칠 수 있는 부정적인 영향 및 이를 막기 위해 최소한 어떤 조치를 준비해야 할지에 대한 내용을 담고 있습니다.
UN특별 보고관의 보고서를 요약한 EDRi의 글과 함께 보고서의 ‘결론 및 제언’을 함께 실었습니다(하단 별첨).
번역오류는 policy 골뱅이 jinbo.net 으로 알려주세요.
제목 : 인공지능이 인권에 미칠 영향에 대한 UN특별보고관의 분석
원문 : UN Special Rapporteur analyses AI’s impact on human rights
작성 : Chloé Berthélémy, 2018년 11월 7일
인공지능이 인권에 미칠 영향에 대한 UN특별보고관의 분석
2018년 10월, 의사 표현의 자유 증진 및 보호를 위한 UN 특별보고관 데이비드 케이(David Kaye)는 인공지능(AI, Artificial Intelligence) 기술이 인권에 미치는 영향에 대한 자신의 보고서를 발행했다. 해당 보고서는 2018년 8월 29일에 UN 총회에 제출되었으나 최근 들어서야 출판되었다. 해당 문서는 특히 의사 표현의 자유, 프라이버시와 비차별에 집중하고 있다. 해당 보고서에서 특별보고관 데이비드 케이는 우선 그가 인공지능을 어떻게 이해는지와 현재 디지털 환경에서 인공지능을 사용하는 것은 무엇인지를, (인공지능과 관련된) 몇가지 미신에 반박하며 정리한다. 그런 다음 그는 새로운 기술에 대한 인권 기반 접근을 위한 프레임워크를 설정하기 이전에, 관련 기술의 발전이 인권에 미칠 잠재적 영향에 대한 개관을 제공한다.
1. 인공지능은 중립적인 기술이 아니다.
데이비드 케이는 인공지능을 “데이터를 결론, 정보, 혹은 출력으로 변환하는 명령을 수행하는 (…) 컴퓨터 코드”를 통해 “사람에 의해 처리 됐을 특정한 작업을 컴퓨터가 보완 혹으 대체하도록 하는 기술 및 과정의 집합”이라고 정의하고 있다. 알고리즘이 제대로 작동하도록 하기 위해 사람이 시스템을 설계하고, (시스템의) 목적을 정의하고 데이터셋을 조직하는 등 인공지능은 여전히 사람의 개입에 의지하고 있다고 그는 주장한다. 따라서 이 보고서에서는 인공지능이 중립적인 기술이 아니고 그 결과물을 활용하는 것은 여전히 인간의 손에 달렸음을 강조한다.
현재 양식의 인공지능 시스템은 무결한 것과는 거리가 한참 멀다. 인공지능은 여전히 사람의 정밀 조사를 요하고, 이따금씩은 교정해줄 필요도 있다. 이 보고서는 인공지능 시스템의 적응성 뿐만 아니라, 자동화된 특성, 데이터 분석의 질이 편향의 원천이라고 간주하고 있다. 자동화된 결정은 그 결정이 특정한 기준에만 배타적으로 의존하고 항상 그 기준들의 균형을 맞추는 것은 아니기 때문에 차별적인 영향을 미칠 수 있고, 결과물에 대한 철저한 조사나 투명성을 약화 시킬 수 있다. 또한 인공지능 시스템은 출처와 정확도가 의심스러운 대량의 데이터에 의존하고 있다. 게다가 인공지능은 상관관계를 식별할 수 있는데, 이는 인과관계로 오해 될 수 있다. 데이비드 케이는 사람의 감독이 없어졌을 때 적응성의 주요문제를 투명성과 책임성의 보장을 어렵게 하는 것이라고 강조했다.
2. 현재 인공지능의 활용이 인권을 위협한다
데이비드 케이는 인권에 중대한 위협을 제기하는 인공지능 기술의 주요 세 가지 활용을 설명하고 있다.
의사 표현의 자유에 미칠 인공지능의 영향이 첫 번째 문제다. 한 편에서는 “인공지능은 정보의 세계를 이용자들에게 불투명한 방향으로 만들 것”이며 이용자가 무엇을 보고 소비할지 결정하는데 있어서 자신의 역할을 감출 것이라고 한다. 다른 한 편에서는 개인화된 정보의 게시가 편향성을 강화하는 것으로 보이며 “이용자의 온라인 관계를 지속시키기 위해 선동적인 내용의 콘텐츠나 허위정보를 촉진하거나 추천하는 것을 장려하고 있다”고 한다. 이런 관행은 사실과 다양한 정보에 기반하여 개인의 의견을 형성하고 발전시키기 위한 개인의 자기 결정권과 자율성에 영향을 미치고, 결국 의사 표현의 자유를 위협한다.
둘째, 프라이버시권과의 관계에서도, 특히 광고 목적의 인공지능 활용 마이크로 타게팅과 관련하여, 유사한 우려가 제기될 수 있다. 데이비드 케이가 주장했듯이, 이용자 프로파일링과 타겟팅은 개인정보의 대량 수집을 조장하고 “사람들이 제공하거나 확인하지 않은 개인의 민감한 정보”를 추정하는 것으로 이어진다. 인공지능 시스템에 의해 수집되고 생성된 개인 정보를 거의 통제할 수 없다는 것은 프라이버시가 존중될 수 있는지에 대한 의문을 제기한다.
셋째, 특별보고관은 온라인 콘텐츠를 필터링하거나 관리하는데 있어서 인공지능의 역할이 갈수록 더욱 커지기 때문에, 표현의 자유에 대한 권리 및 차별받지 않을 권리에 중대한 위협이 될 것이라고 강조했다. 몇몇 기업들은 인공지능이 인간의 능력을 초월하는데 도움이 될 것이라고 주장하지만, 이 보고서는 자동화된 관리에 의지하는 것이 인권 실현을 유예하는 것으로 간주하고 있다. 사실상 인공지능은 차별적인 가정에 반대하거나 비꼬는 표현을 이해한다거나 발행되는 모든 콘텐츠의 문화적 맥락을 이해 할 수 없다. 그 결과, 인공지능과 사적 행위자에게 복잡한 검열의 시행을 위임함으로써, 표현의 자유와 차별받지 않을 우리의 권리가 심각하게 훼손될 수 있다.
3. 기업과 정부 모두를 위한 제언
“윤리”는 기업과 공공기관이 법적구속력이 있고 강제력이 있는 인권기반의 규제를 우회하기 위한 포장이 아니라는 점을 상기시키면서, 유엔 특별보고관은 “인공지능 분야에서 국가 정책이나 규제를 개발하기 위한 어떤 노력이든 반드시 인권을 염두에 둘 것”을 제안했다.
데이비드 케이는 기업의 관행, 인공지능의 설계 및 보급은 인권을 준수해야 한다고 제안 했으며, 투명성의 증진, 공개 의무, 그리고 효과적인 구제수단을 포함한, 강력한 개인정보보호법을 요구하였다. 온라인 서비스 제공자들은 어떤 결정이 사람에 의해 이루어지는지 혹은 인공지능에 의해서만 이루어지는지를 분명하게 해야 한다. 해당 정보는 알고리즘을 활용한 의사결정 로직에 관한 설명도 함께 포함하고 있어야 한다. 더 나아가서, 인공지능 시스템의 “존재, 목적, 구조 및 영향”은 해당 주제에 대한 개인 이용자의 교육 수준 향상을 위한 노력의 일환으로써 공개되어야만 한다. 보고서는 또한 “인공지능 시스템이 불만 및 구제조치의 대상이 되는 빈도와 가능한 구제 수단의 유형 및 효과”에 대한 정보를 제공하고 공개할 것을 권고했다.
국가는 다원적 정보 환경에 적합한 입법 체계를 만들고 기술 독점을 막고 망 중립성과 장치 중립성을 지원할 책임이 있는 핵심 주체로 인식된다.
마지막으로, 특별 보고관은 인공지능 개발을 감독하는데 유용한 도구를 제공한다.
- 인공지능 시스템의 활용 전후 및 활용 과정 중에 인권 영향 평가를 하는 것
- 인권 단체들과 함께 외부에서 감사하고 협의하는 것
- 개인이 선택할 수 있도록 고지와 동의 절차를 갖추는 것
- 인권침해를 종식시키기 위한 효과적인 구제 절차를 마련하는 것
별첨자료. UN보고서 결론 및 제언
V. 결론 및 제언
- 이 보고서에서 의사 표현의 자유에 대해 인공지능이 가지는 현존하는 혹은 잠재적인 영향을 탐구하고자 하였다. 인공지능이 정보 환경에서 대단히 주요한 부분이라는 전제아래 각자의 권리를 누리는데 따르는 (인공지능의) 혜택 및 위험에 대해 설명하고자 했다. 기술적 역량이 확대되는 상황에서 이러한 권리를 옹호하기 위한 국가의 의무와 기업의 책임을 고려하는 개념적인 틀을 제안했다. 그리고 인공지능 기술의 권한, 범위, 영역이 확대됨에 따라 인권이 존중되는 것을 보장하기 위해 정부와 기업 모두가 실행할 수 있는 구체적인 방안을 제시했다.
정부를 위한 제언
- 인공지능 시스템이나 응용 프로그램을 구하거나 사용할 때, 국가는 공공 부문 기관들이 지속적으로 인권의 원칙을 보장하도록 해야 한다. 그 중에서도 인공지능 시스템의 조달 및 사용 이전에 공공의 협의를 수행하고 인권영향평가 또는 공공기관 알고리즘 영향평가의 착수를 포함한다. 특히 인종 및 종교적 소수자, 정치적 반대 그룹이나 활동가에게 이런 기술이 미칠 수 있는 불평등한 영향에 더 신경을 써야 한다. 인공지능 시스템을 정부에서 사용하는 경우 외부의 독립적인 전문가로부터 정기적인 감사를 받아야만 한다.
- 국가는 인공지능 시스템의 민간부문에서의 설계, 보급 및 실행에 있어서 인권이 중심에 올 수 있도록 해야만 한다. 이는 인공지능 영역에 대해 현 규제, 특히 개인정보보호 규제를 갱신하고 적용하는 것을 포함하며, 기업에 영향평가와 인공지능 기술에 대한 감사를 실시할 것을 요구하고 효과적인 외부 책임 메커니즘을 보장하도록 설계된 규제 혹은 공동 규제 체제의 추진을 포함한다. 가능하다면, 특정 인공지능 응용프로그램에 대한 영역별 규제가 인권을 보호하기 위해 필요하고 효과적일 수도 있다. 그런 제한이 표현의 자유에 대한 간섭을 도입하거나 용이하게 하는 한도에서, 국가는 그러한 제한이 규약 제19조(3)에 따라 정당한 목적을 달성하기 위해 반드시 필요하고 비례적일 것을 보장해야 한다. 또한 인공지능 관련 규제는 시민 사회와 인권단체들, 소외되거나 잘 드러나지 않는 최종 이용자의 대표자들을 포함해서 매우 넓은 범위의 공공의 협의를 통해 발전되어야 한다.
- 국가는 다양하고 다원적인 정보 환경을 유도하는 정책과 입법 환경을 만들어야 한다. 이는 인공지능 분야에서 경쟁을 확보할 수 있는 조치를 취하는 것도 포함한다. 이런 조치로는 인공지능 전문가과 권력이 몇몇 지배적인 기업의 손에 집중되지 않도록 방지하는 기술 독점에 대한 규제, 서비스와 기술의 상호운용성을 높이도록 설계된 규제, 그리고 망 중립성과 기기 중립성을 지원하는 정책의 채택을 포함할 수 있다.
기업을 위한 제언
- 인공지능 기술의 윤리적 영향에 대한 가이드라인이나 규약을 만드는 모든 노력은 반드시 인권의 원칙에 기반을 두어야 한다. 인공지능의 모든 사적, 공적 개발 및 보급은 시민사회가 참여 할 수 있는 기회를 제공해야만 한다. 기업들은 모든 기업 운영이 인권 책임에 따라 이루어지고, 인공지능의 설계, 보급 및 실행의 특정 상황에서 인권원칙의 적용을 촉진함으로써 윤리적 원칙이 도움을 줄 수 있음을 기술자, 개발자, 데이터 기술자, 데이터 정제사(data scrubber), 프로그래머 및 인공지능의 생애 주기에 관련된 기타 사람들을 위한 기업 정책 및 기술 지침을 통해 반복적으로 알려야 한다. 특히, 플랫폼 서비스 약관은 보편적 인권 원칙에 근거해야 한다.
- 기업은 그들이 소유한 플랫폼, 서비스 및 응용프로그램에서 인공지능 기술과 자동화 기술이 어디에서 어떻게 활용되는지를 분명히 해야한다. 인공지능이 주도하는 의사결정 과정의 대상이 된다거나, 인공지능이 콘텐츠를 전시하거나 관리하는 역할을 할 때, 혹은 사람들의 개인정보가 인공지능 시스템으로 입력되는 데이터셋으로 통합될 때 개인에게 알려주는 혁신적인 수단의 활용은 사람들에게 인공지능 시스템이 인권 실현에 미치는 영향을 이해하고 해결하는데 필요한 고지를 하는데 있어서 필수적이다. 기업들은 상업적, 정치적 프로파일링에 대한 사례 연구 및 교육과 함께, 콘텐츠 게시의 경향성 뿐만 아니라, 삭제에 대해 얼마나 자주 이의가 제기되는지, 그리고 삭제에 대한 문제제기가 받아들여지는 지를 포함한 콘텐츠 삭제에 대한 데이터 또한 공개해야 한다.
- 기업들은 반드시 인공지능 시스템의 입출력 상에서의 모든 차별을 막고 처리해야만 한다. 이는 인공지능 시스템 설계 및 보급팀이 다양하고 반차별적인 태도를 반영할 것을 보장하고, 샘플링 오류의 해결, 차별적인 데이터 제거를 위한 데이터셋의 관리 및 그러한 데이터를 보정하는 조치를 취하는 것을 포함하여 데이터셋의 선정 및 시스템 설계에 있어 편향이나 차별을 배제하는 것에 우선순위를 두는 것을 포함한다. 인공지능 시스템의 차별적 결과의 적극적인 모니터링 역시 필수적이다.
- 새로운 세계시장에 현재 시스템을 도입하는 것을 포함하여 새로운 인공지능 시스템의 설계 및 도입이 이루어 지는 동안, 인권영향평가 및 공공의 협의가 이루어져야 한다. 공공의 협의 및 참여는, 그것이 의미가 있으려면 제품이나 서비스가 최종 확정되거나 출시되기 전에 이루어져야 하며, 시민사회, 인권 활동가들 및 소수자나 잘 드러나지 않는 최종 이용자들의 대표자의 참여를 포함해야 한다. 인권영향평가 및 공공의 협의는 공개되어야 한다.
- 기업들은 모든 인공지능 코드가 완전히 감사(audit) 가능하도록 만들어야 하고, 규제기관의 요구조건 외에 인공지능 시스템 외부의 독립적인 감사를 가능하게 하는 혁신적인 수단을 강구해야 한다. 인공지능 감사의 결과물은 그대로 일반에 공개되어야 한다.
- 개인 사용자들은 인공지능 시스템의 반인권적 영향의 구제 수단에 접근 할 수 있어야만 한다. 기업들은 인공지능에 따라 처리되는 시스템에 부과되어 나타나는 모든 사용자들의 불만 및 항의에 적시에 대응하기 위해 사람에 의한 평가 및 구제 시스템을 두어야 한다. 인공지능 시스템에 불만이 제기되고 구제가 요청된 횟수에 대한 데이터 뿐만 아니라, 이용 가능한 구제책의 종류와 효과성에 대해서도 주기적으로 공개 되어야 한다.
