인공지능과 정보인권(6){/}[APC] 인공지능 관련 해외 논쟁 사례(3) : 감시

2016년 한국 사회는 구글 딥마인드가 개발한 알파고와 프로 이세돌 기사의 세기적 대결을 목격하면서 최근 인공지능의 발달 상황에 대해 크게 놀랐습니다. 2022년 다양한 생성형 인공지능과 대규모 언어모델 챗GPT의 등장은 한층 더 충격적이었습니다. 생성형 인공지능과 언어모델은 일반 사람들이 직접 체험을 해볼 수 있었기 때문에 그 충격이 더욱 직접적이었습니다.
이미 인공지능은 우리 사회의 여러 분야에 도입이 되어 왔습니다. 인공지능 스피커, 번역 서비스, 배달 플랫폼, 채용 AI, 부정수급 탐지 시스템 등 공공과 민간의 여러 분야에서 인공지능이 활용되고 있습니다.

인공지능은 인간의 삶을 더욱 윤택하게 할 것으로 기대를 모으고 있습니다. 그러나 국가인권위원회가 지적하였듯이, 인공지능을 무분별하게 개발·활용할 경우 시민들의 안전과 인권을 위협하고 사회 곳곳에 부정적인 영향을 미칠 수 있습니다. 인공지능이 사람을 대상으로 예측하고 결정을 내릴 때 그 부정적 영향은 치명적일 수 있습니다. 한국의 시민사회단체는 인공지능 기술 발달에 상응하여 그 위험성을 통제하는 규제 체제가 필요하다고 주장해 왔습니다.

진보네트워크센터는 진보통신연합 APC의 지원을 받아, 국내외에서 논란이 되고 대안이 모색 중인 인공지능과 정보인권 문제를 알기쉽게 정리하여 소개합니다.

언제 어디서든 우리의 일상을 촬영하거나 위치를 기록에 남길 수 있는 스마트폰과, 우리의 일상과 자신의 생각을 다른 사람과 공유할 수 있는 소셜네트워크 플랫폼의 등장, 그리고 얼굴인식을 비롯한 생체인식 기술의 발전으로 개인의 행적은 언제 어디서나 쉽게 추적 가능하게 되었습니다. 권력이 불평등한 사회에서 이는 쉽게 감시로 전환될 수 있습니다. 상업적 감시와 국가 권력의 감시가 결합된 영화 <마이너리티 리포트>가 그리는 미래는 그리 멀지 않았습니다.

• 인공지능 시스템의 사용자와 그 영향을 받는 사람들의 권력 관계가 불균형할 때, 특히 인공지능 알고리즘이 불투명성하고 그 영향을 받는 사람들이 자신에게 내려진 결정에 대해 이의를 제기할 수 없는 경우, 인공지능 시스템은 시민, 소비자, 노동자에 대한 첨단 감시의 도구가 될 수 있음.
  • 공개된 장소에서 얼굴인식의 사용이 허용될 경우 전국적으로 설치된 CCTV와 결합하여 언제 어디서나 개인의 행적을 쉽게 추적할 수 있게 될 것임. 이는 비단 개인의 프라이버시권을 침해할 뿐만 아니라, 표현의 자유, 집회 및 결사의 자유 등을 위축시킴.
  • 이는 온라인에서도 마찬가지인데, 자신 뿐만 아니라 친구와 가족들, 혹은 전혀 모르는 제3자까지도 소셜 미디어를 통해 사진을 공유하고, 소셜 미디어가 얼굴인식 기능을 제공하면서 자신이 언제, 어디에 누구와 함께 있었는지에 대한 정보가 자신도 모르는 사이에 노출될 위험성이 커지고 있음.
  • 얼굴인식은 개인을 식별할 뿐만 아니라, 얼굴 골격이나 홍채 색깔로 인종을 추정하는 등 개인의 특징을 분석하여 사람들을 분류하는 데 사용될 수 있음. 이 경우, 난민 심사에서 특정한 인종의 사람들에게 엄격한 심사를 적용하는 등 난민을 차별하는데 활용될 수 있음.
  • 생체인식기술 뿐만 아니라 대량의 민감한 개인정보를 수집하고 이를 프로파일링하여 개인의 인권과 생명에 영향을 미치는 결정을 자동화된 시스템(인공지능)을 통해 수행하는 사례도 증가하고 있음. 이러한 자동화된 결정은 특히 난민, 빈민, 장애인 등 이미 취약한 지위에 있는 사람들을 차별하거나 이들의 삶에 치명적인 영향을 미칠 수 있음.
  • 직장 내에서 얼굴인식을 통해 노동자의 기분을 평가하게 된다면 노동자들은 행복한 표정을 지어야한다는 압박을 받을 수밖에 없을 것임.
• 이 글에서는 인공지능 및 알고리즘이 사람들을 감시, 통제하는데 활용된 사례들을 검토해보고자 함.

• 인공지능 기술은 얼굴이나 걸음걸이 등 생체정보 인식기술의 발전을 가져왔음. 이러한 생체인식기술은 자기 스마트폰의 잠금해제에서부터 CCTV를 통한 실시간 용의자 추적과 같이 다양한 분야에서 활용될 수 있음.
• 생체인식정보는 해당 개인에게 고유하고 대부분 평생 변하지 않는 특성을 가지고 있어 민감한 개인정보로 간주되고 있음. 특히 얼굴인식이나 유전자분석 등 비대면 원격 환경에서 이루어지는 생체인식의 경우 당사자가 모르는 사이에 생체인식정보가 수집, 분석될 수 있다는 점에서 감시의 위험성이 매우 큼.
• 얼굴인식을 비롯한 생체인식 기술이 당사자의 인지나 동의없이 사용될 경우 개인의 프라이버시권을 침해할 뿐만 아니라, 표현의 자유, 집회 및 결사의 자유 등도 제약할 수 있음.
  • 유럽연합 인공지능 법안에 대한 유럽의회의 수정안 서문은 “공개적으로 접근 가능한 공간에서 자연인의 ‘실시간’ 원격 생체인식 식별을 위해 인공지능 시스템을 사용하는 것은 관련 당사자의 권리와 자유를 특히 침해하고, 궁극적으로 인구 대다수의 사생활에 영향을 미치고, 지속적인 감시의 느낌을 불러일으키며, 공공장소에서 생체인식 식별 기술을 배치하는 일방에 통제할 수 없는 권력을 부여하고, 법치의 핵심인 집회의 자유 및 기타 기본권 행사를 간접적으로 억제할 수 있습니다.”라고 우려하고 있음. (유럽의회 수정안 서문 18)

영국 경찰의 공공장소 얼굴인식 기술 사용

• 영국에서 경찰의 공공장소 얼굴인식 기술 사용이 급격하게 증가하여 논란이 되고 있음. 2023년 초에 열린 비욘세 공연, 찰스 왕의 대관식, 영국 포뮬러 원 그랑프리 등의 행사에서 영국 잉글랜드와 웨일즈 경찰은 수천 명의 사람들을 대상으로 얼굴인식을 수행했음.
  • 두가지 주요 얼굴인식 기술이 있음. 하나는 실시간 얼굴인식 시스템(Live Face Recognition, LFR), 다른 하나는 사후 얼굴인식 시스템(Retrospective Face Recognition, RFR)임. LFR는 통상 경찰차에 장착된 카메라가 지나가는 사람들의 얼굴을 인식하여 수배자 목록과 대조하는 시스템임. LFR 기술은 몇몇 큰 행사를 위해 배치되고 경찰에 의해 미리 발표됨. RFR는 CCTV, 스마트폰, 초인종 카메라에서 촬영된 이미지를 수백만 장의 얼굴 데이터베이스와 비교하여 특정인을 식별하는 시스템임.

출처 : 가디언

• • 런던 메트로폴리탄 경찰과 사우스웨일즈 경찰은 수년 동안 LFR 기술을 사용해왔는데, 이들은 2023년 11월 현재 22차례에 걸쳐 LFR을 사용했다고 함. 2023년, 찰스왕 대관식과 아스날과 토튼햄의 축구 경기를 포함하여 13차례의 활용에서, 247,764명이 메트로폴리탄 경찰의 실시간 감시 카메라를 통과하였는데, 감시 목록에 있는 사람과 누군가를 18번 매칭했고 그 중 12명이 체포되었다고 함. 사우스웨일즈 경찰은 2023년 9차례 활용을 통해 약 705,290명의 얼굴을 스캔했는데, 2명을 체포하였음.
  • 경찰의 발표에 따르면 지금까지 공공장소 얼굴인식에서 거짓 경과나 잘못된 식별이 없었다고 함. 그런데 이는 편향성과 부정확성을 줄이기 위해 정확도 임계값을 덜 민감한 방향으로 설정했기 때문인데, 이렇게 하면 매칭의 수와 오류의 빈도가 줄어들지만 시스템의 효용성도 떨어진다고 함. 이는 LFR을 위한 비용과 시간 대비 실시간 얼굴인식의 필요성과 비례성에 대한 의문을 낳음. 경찰은 얼굴이 스캔되는 사람들의 생체인식정보를 저장하지 않는다고 설명함.
  • 2023년 7월 영국 그랑프리에서 노샘프턴셔 경찰은 3일 동안 약 38만 명의 사람들의 얼굴을 스캔하였는데 체포로 이어지지는 않았다고 함. 빅브라더 왓치가 정보공개청구를 해서 받은 자료에 따르면, 실시간 얼굴인식을 통한 감시 목록은 790명이었는데 그 중 체포 대상자는 234명에 불과했다고 함. 빅브라더 왓치는 감시 대상이 된 개인들이 범죄적인 이유로 대상이 된 것이 아니라 항의 시위를 했기 때문인 것으로 의심하고 있음. 전년도 그랑프리가 항의자들에 의해 중단되었던 바 있었음.
  • 영국 경찰의 사후 얼굴인식 기술 활용도 증가하고 있음. 영국 전역의 모든 경찰은 1,600만 장 이상의 얼굴 이미지를 보유하고 있고, 수년 전에 삭제되었어야 할 수백만 개의 이미지를 포함하는 경찰 국가 데이터베이스를 통해 얼굴 검색을 실행할 수 있음. 2022년에 85,158건의 얼굴 검색이 있었는데, 이는 전년 대비 330% 증가한 것이라고 함.

• 영국의 인권단체 및 전문가, 일부 국회의원들은 얼굴인식 기술이 사생활과 인권을 침해하고 범죄 용의자를 찾는 ‘비례적인’ 방법이 아니라고 비판하면서 특히 공공장소에서의 사용을 금지할 것을 요구하고 있음.
  • 빅브라더 왓치는 실시간 얼굴인식의 즉각적인 중단을 요구하고 있는데 65명의 영국 의원들이 이를 지지함.

출처 : Big Brother Watch

• 2020년 8월, 영국 항소법원은 사우스웨일즈 경찰의 LFR 사용이 불법이라고 판결함. 이후 경찰은 법원의 결정에 따라 절차를 변경하였으며, “필요하고 비례적이며 공정한” 경우에만 이 기술을 사용하는 것으로 규정했다고 밝혔지만, 이러한 경찰의 주장에 대하여 여전히 논란이 제기되고 있음. 즉, 여전히 LFR 사용에 대한 법적 근거가 명확하지 않고, 그것이 어떻게 사용되고 승인되고, 누가 감시자 명단에 있는지에 대한 외부 감독이 부재하다는 비판이 제기되고 있음.

얼굴인식 기술 사용에 대한 유럽인권재판소의 판결

• 2023.7.4. 글루킨 v 러시아(Glukhin v Russia) 판결에서 유럽인권재판소는 대량감시의 맥락에서 얼굴인식 기술이 협약 제8조(사생활 및 가족생활을 존중받을 권리) 및 제10조(표현의 자유)에 미치는 영향을 고려하면서, 이러한 국제기준에 근거하여 러시아가 협약 상의 권리를 침해했다고 결론내렸음.
  • 글루킨은 러시아 여행 중 1인 시위를 했는데 소셜 미디어에 올려진 시위 사진이 경찰 데이터베이스에 등록되었고 그를 체포하기 위해 실시간 얼굴인식 기술을 사용해 그의 행적을 추적하였음.
  • 유럽인권재판소는 그의 행동이 공개된 장소에서 일어났을지라도 프라이버시를 합리적으로 기대할 수 있는 영역이 있으므로 제8조와 관련이 되며, 따라서 러시아 정부의 제8조에 대한 간섭이 정당화될 수 있는지가 중심 쟁점이 되는데 이것이 정당화될 수 없다고 판단하였음. 재판소는 형사사법 시스템에서 현대 과학 기술이 사용될 때 그 사용으로 인한 잠재적 이익이 사생활의 이익과의 신중한 균형을 맞추지 않고 허용된다면, 협약 제8조의 보호가 용납할 수 없을 정도로 약화될 것이라고 우려함. 또한, 평화적인 시위 행동의 참가자를 식별하고 체포하기 위해 고도로 침입적인 얼굴인식 기술을 사용하는 것은 표현과 집회의 자유에 대한 권리와 관련하여 소름 끼치는 영향을 미칠 수 있다고 판단하였음.
• 유럽인권재판소는 “(기술의) 남용과 자의적인 사용의 위험성을 통제할 수 있는 안전장치와 함께 이러한 조치의 범위와 적용을 규율하는 세부적인 규율”이 필요하다고 지적하였음.

클리어뷰(Clearview) AI 

• 클리어뷰 AI는 미국의 얼굴인식 업체로서 법집행 기관 및 공공기관에 얼굴인식 소프트웨어를 제공하고 있음. 이 업체는 소셜미디어(페이스북, 인스타그램, 링크트인 등)를 포함하여, 인터넷에 공개된 200억 개 이상의 얼굴 이미지를 수집하여 데이터베이스로 구축하고, 얼굴인식 알고리즘을 통해 타겟이 되는 얼굴과 데이터베이스 얼굴을 매칭시키는 서비스를 제공함.
• 버즈피드뉴스의 조사에 따르면, 미국 전역의 법 집행 기관 직원들이 수십만 건의 클리어뷰 AI 얼굴인식 검색을 실행한 것으로 나타났음. 전국적으로 거의 2,000개에 달하는 공공 기관의 7,000명 이상의 사람들이 클리어뷰 AI를 사용하여 수백만 명의 미국인의 얼굴을 검색했으며, 여기에는  ‘블랙 라이브즈 매터(Black Lives Matter)’ 시위대, 국회의사당 폭도, 경범죄자, 그리고 그들의 친구와 가족이 포함됨.
  • 클리어뷰 AI를 사용한 것으로 파악된 공공기관에는 지역 및 주 경찰, 미국 이민세관 집행국, 공군, 주 의료 기관, 주 법무장관 사무실, 공립 학교 등이 포함됨.
  • 2020년 3월 이전에는 경찰관과 공무원들의 클리어뷰 AI 앱의 사용이 대중들은 물론이고 때로는 상관들 모르게 이루어지기도 했음.
  • 클리어뷰는 일정기간 동안 무료 평가판을 제공하여 가입을 원하는 법집행 기관이 이 도구를 사용하도록 유도하였음.
• 인터넷에 공개된 이미지의 무단 수집에 대해 클리어뷰는 “우리가 하는 일은 수정헌법 제1조에 의해 완전히 보호되며 모든 해당 법률을 준수한다”고 주장함.
  • 그러나 인권단체인 ACLU는 프라이버시 보호는 자신의 신원 등을 드러내는 개인정보에 대한 통제권을 유지하도록 하는 것인데, 클리어뷰의 사업 모델은 사람들의 동의없이 통제권을 빼앗고 있다고 비판함. 특히, 얼굴정보가 유출되어도 정보주체는 자신의 얼굴을 변경할 수 없다는 점에서 침해 정도가 심각함. 2020년 5월, ACLU는 민간기업의 생체정보 수집을 규율하는 일리노이주 법을 위반한 혐의로 클리어뷰를 고발했음.
  • 2022년 5월 11일, 법원은 이 사건을 종결하는 동의 명령을 승인했음. 합의의 핵심 내용은 클리어뷰가 일리노이주뿐만 아니라 미국 전역 대부분의 기업 및 기타 민간 기관에 얼굴지문(faceprint) 데이터베이스를 제공하는 것을 영구적으로 금지함으로써 클리어뷰의 관행을 제한함. 또한 클리어뷰는 5년 동안 주 및 지역 경찰을 포함한 일리노이주 모든 기관에 데이터베이스에 대한 접근 권한을 판매할 수 없음.
  • 2023년 말에 타결된 유럽연합의 인공지능 법안은 ‘얼굴 인식 데이터베이스를 생성하기 위해 인터넷이나 CCTV 영상에서 얼굴 이미지를 무차별 수집하는 행위’를 금지하고 있음.

미국에서 클리어뷰 사용 사례 (출처 : Ban Facial Recognition )

블랙 라이브즈 매터(Black Lives matter) 활동가에 대한 얼굴인식 감시 

• 뉴욕 경찰도 수사 목적으로 얼굴인식 기술을 사용하고 있는데, 블랙 라이브즈 매터(Black Lives matter) 활동가를 추적하는데 이 기술을 사용하여 논란이 되었음.
  • 2020년 8월 7일, 뉴욕 경찰청은 진압 장비를 착용한 경찰관 수십 명을 28세 활동가 데릭 잉그램의 집으로 보냈고 대치 상황이 이어졌음. 프리덤뉴스TV가 촬영한 대치 상황 영상에는 경찰관들이 잉그램의 집 밖에서 인스타그램에서 찍은 잉그램의 사진으로 보이는 ‘얼굴 식별과 정보 단서 보고서’라는 제목의 문서를 검토하는 장면이 담겨 이었음.
  • 뉴욕 경찰은 수사 과정에서 얼굴인식 기술을 사용했다고 인정했으며, “얼굴 인식을 제한된 수사 도구로 사용하여 감시 비디오의 정지 이미지를 합법적으로 소지한 체포 사진 목록들과 비교한다”고 밝힘. 그러나 소셜 미디어의 사진이 이러한 검색에 활용되었는지는 명확하지 않음.
  • 뉴욕 경찰은 2011년부터 얼굴인식 소프트웨어를 사용하여 용의자를 식별해 왔으며, 공식 통계에 따르면 2019년에 이 소프트웨어를 사용하여 9,850건의 요청을 처리하여 2,510건의 “잠정적 일치(possible matches)”를 확인했다고 함. 그런데 2020년 2월 버즈피드뉴스의 보도에 따르면 뉴욕경찰은 논란이 되고 있는 클리어뷰 AI의 기술을 사용해 11,000건 이상의 얼굴인식 검색을 실행했지만, 이 회사와 공식 계약을 맺은 사실은 부인함.
• 2020년 9월, 국제앰네스티 미국지부는 뉴욕의 정보공개법(FOIL)에 따라 ‘블랙 라이브즈 매터’ 시위에 대한 뉴욕 경찰의 감시 기록을 입수하기 위해 정보공개를 청구했지만, 뉴욕경찰이 이를 거부함. 2021년 7월 국제앰네스티와 프라이버시 및 시민권 단체인 S.T.O.P는 기록 공개를 거부한 뉴욕경찰을 상대로 소송을 제기함. 그 결과 2022년 8월, 뉴욕 대법원은 뉴욕경찰청에 수천 건의 관련 기록을 공개하라고 명령함.
  • 2022년 2월, 국제앰네스티가 파트너들과 실시한 연구에 따르면 경찰의 불심검문 위험이 높은 지역에 거주하는 뉴욕 시민들이 얼굴인식 기술에 더 많이 노출되어 있는 것으로 나타났음. 브롱크스, 브루클린, 퀸즈에는 비백인 주민의 비율이 높을수록 얼굴인식이 가능한 CCTV 카메라가 더 많이 설치되어 있다는 사실도 밝혀짐.

중국 톈왕 프로젝트 

• 톈왕은 2015년 중국 공안부(경찰청)가 주요 도시에 국민 안전 및 범죄자 추적 명목으로 CCTV를 설치하는 국가 프로젝트로, 범죄 용의자 데이터베이스와 연결돼 있으며 정교한 얼굴인식 기술을 기반으로 운영되고 있음.
  • 중국 전체 인구를 1초 만에 스캔할 수 있고 움직이는 사람도 식별해낼 수 있다고 함.
  • 얼굴표정과 움직임, 빛의 명암 차이 등을 반영해 최대 99.8%의 정확도를 나타냄.
  • 2019년 12월 휴대전화 개통시 얼굴정보 등록을 의무화함. 이를 통해 사실상 전 국민의 얼굴정보 수집이 가능해짐.
• 중국에서는 일상 생활에 얼굴인식 기술이 광범위하게 도입되어 있음.
  • 코로나19의 영향으로 유치원부터 초·중·고·대학교에 이르기까지 얼굴인식 시스템으로 학생의 이름, 체온, 마스크 착용 여부, 등하교 시간 등을 데이터화해 서버에 전송한다고 함.
  • 음식점, 마트, 주유소, 지하철, 호텔, 공중화장실, 은행, 관공서, 아파트 출입 등 신원확인에 광범위하게 얼굴인식 기술을 사용하고 있음.
  • 얼굴이 신분증의 역할을 하여 얼굴인식만으로 관광서에서 업무를 보는 것이 가능함.
  • 중국 모바일 결제 시스템인 ‘알리페이’와 ‘위챗페이’, 대표 카드사 ‘은련’은 얼굴인식 결제 서비스를 제공 중임.

• 이미 작업장에 시설 안전, 보안 등의 명분으로 많은 CCTV가 도입되어 있음. 여기에 얼굴인식 기술이 결합되면 노동자에 대한 더욱 고도화된 감시가 가능해질 수 있다는 우려가 있음.
• 2023년 말 타결된 유럽연합 인공지능 법은 직장 및 교육 기관에서 감정인식 시스템의 도입을 금지함. 이는 감정인식 시스템의 과학적 근거가 부족하기 때문이기도 하지만, 특히 직장 및 교육 기관에 도입될 경우 감시나 차별을 야기할 수 있기 때문임. 예를 들어, 직장 내에서 감정인식 시스템이 사용될 경우 노동자들은 항상 긍정적인 표정을 지어야 한다는 압박을 받을 수 있음.

캐논 중국 사무소의 인공지능 카메라 

• 캐논의 중국 자회사 ‘캐논 정보 기술’은 인공지능 기반 ‘미소 인식’ 기술이 탑재된 카메라를 사무실에 설치했음. 이 카메라는 웃는 직원만 회의실에 들어가거나 회의를 예약할 수 있도록 허용한다고 함.

아마존의 배송기사 얼굴인식 카메라 

• 2021년 3월, 아마존은 미국 전역의 배송 기사들에게 ‘생체인식 동의서’에 서명하도록 요구함. 이 동의서는 아마존이 인공지능 기반 카메라를 사용하여 운전자의 위치, 이동 및 생체인식 데이터에 액세스할 수 있는 권한을 부여함. 미국 내 약 75,000명에 달하는 아마존 배송 기사들이 서명을 거부하면 일자리를 잃게됨.
  • 동의서는 “이 기술은 주행 거리, 속도, 가속, 제동, 회전, 추종 거리 등 차량의 위치와 움직임을 추적한다”고 밝힘.
  • 노동자들은 이 기술의 사생활 침해를 우려함. 이 카메라는 운전자가 하품을 하거나 산만해 보이거나 안전벨트를 착용하지 않은 경우 이를 감지하고 운전자의 신체 및 얼굴 움직임을 모니터링할 수 있음.

• 난민 문제가 심각한 사회 이슈가 되고 있는 유럽 국가들에서는 국경 통제를 위해 점점 더 많은 고위험 인공지능을 실험적으로 도입하고 있음. EDRi의 보고서에 따르면, 많은 국가에서 국경 단속, 의사 결정, 데이터 마이닝을 목적으로 새로운 기술 실험(지중해를 순찰하는 드론부터 사람들의 움직임을 예측하는 빅데이터 프로젝트 및 이민 신청서 작성 시 자동화된 의사 결정에 이르기까지)을 모색하고 있음. 이러한 신기술들은 국경 단속을 강화하는데 필요한 것으로 정당화됨. 그러나 인권단체들은 이러한 고위험 기술 실험이 조직적인 인종주의와 차별을 악화시키고 심각한 피해를 초래할 수 있다고 비판하고 있음.

자동화된 기술을 이용한 국경 감시 

• 국경에서는 난민과 불법적인 이주를 막는다는 명분으로 자동화된 방식의 감시 기술들이 다양하게 활용되고 있음.
  • 여러 국제기구에서 인구이동을 예측하기 위해 빅데이터를 사용하고 있으나 취약한 인구집단에 대하여 데이터를 수집하는 것은 비정치적이지 않음. 점점 더 반이민적인 경향을 보이는 세계 환경 속에서, 원조금과 자원의 분배를 위축시키고 강경한 반이민 정책을 지지하기 위한 정치적 목적 하에서 이주 데이터가 잘못 해석되기도 함. 이러한 데이터의 수집, 사용, 저장에 있어 민간 부문의 역할이 커지고 있다는 점도 우려스러운 점임. 2019년, 미국 이민세관단속국(ICE)에 구금 및 추방 프로그램을 지원하는 기술을 제공하여 널리 비판받아온 팔란티어 테크놀로지스(Palantir Technologies)가 유엔 세계식량계획과 4,500만 달러(USD) 규모의 계약을 체결한 사실이 공개됨. 그러나 팔란티어와 공유되는 9,200만 명의 구호 수혜자 데이터가 어떻게 처리되는지, 책임 메커니즘은 어떠한지, 영향을 받는 사람들의 권리는 어떻게 보장되는지 불분명함.
  • 오스트리아, 독일, 덴마크, 노르웨이, 영국, 벨기에는 망명 또는 이민 신청자의 휴대전화를 압수하여 데이터를 추출한 후 망명 절차의 일부로 사용하는 것을 법률로 허용하고 있음. 이러한 관행은 필요성과 비례성이 충족되지 않는 심각한 프라이버시권 침해에 해당할 뿐만 아니라 디지털 기기에서 얻은 데이터가 신뢰할 수 있는 증거라는 가정에도 결함이 있음.
  • 이민 단속을 위해 많은 정부들이 페이스북이나 트위터와 같은 소셜 미디어 네트워킹 사이트를 모니터링할 수 있는 기술 및 기법인 소셜 미디어 인텔리전스를 사용하고 있음.
• 국경 공간을 감시하기 위해서도 자동화된 기술이 더 많이 활용되고 있음.
  • 예를 들어, 프론텍스는 망명을 위해 유럽 해안으로 향하는 이주민 선박을 감시하고 차단하려는 목적으로 지중해와 에게해에서 다양한 군용 드론을 시험 비행하고 있음.
  • 유럽 집행위원회의 Horizon 2020 기금 계획인 “안전한 사회 – 유럽과 시민의 자유와 안보 보호”는 ‘공중, 수면, 수중 및 지상 차량을 포함한 무인 이동 로봇으로 완전한 기능을 갖춘 자율 국경 감시 시스템’을 구축하는 것을 목표로 하는 ROBORDER 프로젝트를 비롯하여 38개 프로젝트를 소개하고 있음.

출처 : ROBORDER 프로젝트

국경심사를 위한 자동화된 시스템

• 국경에 도착한 사람들에 대한 심사 과정에도 얼굴 또는 감정인식 기술이 활용되고 있음.
  • 얼굴에 거짓말을 하는 징후가 있는지 모니터링하는 파일럿 프로젝트가 등장했으며, 점점 더 복잡해지는 일련의 질문을 통해 시스템이 ‘회의적’이라고 판단하는 경우 인간 담당자의 추가 심사를 받게됨. 그러나 이러한 시스템이 문화적인 차이를 설명하지 못하거나 트라우마로 인해 세부 사항을 기억하지 못하는 사람들을 어떻게 처리하는지는 불분명함.
  • 헝가리, 라트비아, 그리스의 공항에는 iBorderCtrl이라는 컨소시엄의 파일럿 프로젝트로 국경 검문소에 AI 기반 거짓말 탐지기와 위험도 점수를 도입했음. 이 프로젝트는 승객의 얼굴에서 거짓말의 징후가 있는지 모니터링하고, 점점 더 복잡해지는 일련의 질문을 통해 시스템이 ‘회의적’으로 판단하는 경우 해당 승객이 인간 요원의 추가 심사를 받도록 처리한다고 주장함.
  • 캐나다와 루마니아에서도 유사한 국경 심사 ‘감정인식’ 프로젝트인 아바타(AVATAR)를 실험하고 있음.
• 난민 신청과 이민 신청은 미묘한 뉘앙스와 복잡성으로 가득 차 있으며, 이러한 특성 때문에 자동화 기술에서 놓칠 수 있는 편견, 차별, 사생활 침해, 적법 절차 및 절차적 공정성 문제 등 국제적으로나 국내적으로 보호받는 인권에 대한 심각한 침해로 이어질 수 있음.
• 다양한 국가에서 이민 및 난민 신청, 비자, 심지어 이민 구금에 대한 결정을 자동화하는 실험을 하고 있음.
  • 캐나다는 적어도 2014년부터 이민 및 난민 시스템에서 어떤 형태로든 자동화된 의사결정을 사용해 왔음. 영국에서도 유사한 비자 알고리즘을 사용할 계획이었으나, 차별 가능성이 있다는 이유로 영국 인권단체들이 이에 대한 소송을 제기하였음.

• 2021년 9월 15일, 미첼 바첼레트 유엔 인권 최고대표는 적절한 안전장치가 도입될 때까지 인권에 심각한 위협을 초래하는 인공지능(AI) 시스템의 판매·사용에 대해 모라토리엄(사용유예)을 도입할 것을 각국 정부에 촉구했음.
  • 인공지능은 선을 위한 힘이 될 수 있지만 인공지능 기술이 인권에 어떤 영향을 미치는지 충분히 고려하지 않고 사용된다면, 부정적인, 심지어 재앙적인 결과를 초래할 수 있다는 것임.
  • 이와 함께 유엔 인권 최고대표 사무소는 기술과 인권에 대한 사업의 일환으로 인공지능이 어떻게 사람들의 권리(프라이버시권 뿐만 아니라, 건강권, 교육권, 이동의 자유, 집회 및 결사의 자유, 표현의 자유 등)에 영향을 미치는지에 대한 보고서를 발표하였음.
  • 한국의 국가인권위원회 역시 2023년 1월 12일 “얼굴인식 기술은 사생활의 비밀과 자유, 집회·결사의 자유 등을 침해할 위험성이 있다”며 “기본권이 침해되지 않도록 입법을 추진할 필요성이 있다”는 의견을 국회의장과 국무총리에게 표명했으며, 관련 법이 마련되기 전까지 국가가 공공장소에서 ‘실시간 원격 얼굴인식 기술’을 도입·활용하지 않도록 하는 조처(모라토리엄)를 수립·시행해야 한다고 권고했음.
• 인공지능을 포괄적으로 규율하는 법을 추진 중인 유럽연합에서 정보인권단체들은 공개된 장소의 얼굴인식 및 원격 생체인식 기술에 대하여 금지할 것을 요구해 왔음.
  • 2021년 6월에는 전 세계 200여 시민사회단체들이 생체인식 감시의 금지를 요구하는 공개 서한을 발표함.
  • 유럽 인권단체들의 네트워크인 유럽시민이니셔티브(European Citizens’ Initiative)는 인공지능 법에 공공장소에서 얼굴인식 등 생체인식 대량감시 금지를 명백하게 보장할 것을 촉구하는 Reclaim Your Face(얼굴 되찾기) 캠페인을 벌였음.
• 유럽의 인공지능 법안은 안전, 인권, 민주주의에 허용할 수 없는 위험을 초래하는 인공지능의 활용을 금지하고 있음. 2023년 12월 8일 타결된 법안에 따르면, 다음과 같은 인공지능을 금지한다고 함.
  • 민감한 특성(예: 정치적, 종교적, 철학적 신념, 성적 지향, 인종)을 사용하는 생체인식 분류 시스템
  • 얼굴인식 데이터베이스를 생성하기 위해 인터넷이나 CCTV 영상에서 얼굴 이미지를 무차별 수집하는 행위 (이는 클리어뷰(ClearView) AI와 같은 관행을 금지하는 것임).
  • 직장 및 교육 기관에서의 감정 인식 시스템
  • 사회적 행동이나 개인적 특성을 기반으로 사회적 점수를 부여하는 AI 시스템
  • 인간의 자유 의지를 우회하기 위해 인간의 행동을 조작하는 AI 시스템 및 나이, 장애, 사회적 또는 경제적 상황으로 인해 사람들의 취약점을 악용하는 데 사용되는 AI 시스템
  • 개인에 대한 예측 치안(predictive policing) 시스템의 일부 사례
  • 공공장소에서 법 집행 목적으로 생체 인식 시스템의 사용. 다만, 사전에 법원의 허가를 받고 엄격하게 제한된 범죄에 대해서만 시행하는 것을 조건으로 제한적으로 허용함.
• 인공지능이 안전, 인권, 민주주의에 야기하는 위험성은 비단 기술의 문제가 아님. 인공지능에 의한 차별과 감시는 인공지능을 둘러싼 불평등한 권력 관계로 인하여 발생함. 권력관계의 불균형을 근본적으로 해결하는 것은 지난한 과제이겠지만, 이러한 권력 불균형과 남용을 통제하기 위한 제도적 장치로서 알고리즘 투명성, 사전 영향평가, 피해에 대한 구제, 인공지능에 대한 감독 메커니즘 등을 마련할 수 있을 것임.