인공지능과 정보인권 (2){/}[APC] 인공지능 관련 해외 논쟁사례(1) : 불투명성

2016년 한국 사회는 구글 딥마인드가 개발한 알파고와 프로 이세돌 기사의 세기적 대결을 목격하면서 최근 인공지능의 발달 상황에 대해 크게 놀랐습니다. 2022년 다양한 생성형 인공지능과 대규모 언어모델 챗GPT의 등장은 한층 더 충격적이었습니다. 생성형 인공지능과 언어모델은 일반 사람들이 직접 체험을 해볼 수 있었기 때문에 그 충격이 더욱 직접적이었습니다.
이미 인공지능은 우리 사회의 여러 분야에 도입이 되어 왔습니다. 인공지능 스피커, 번역 서비스, 배달 플랫폼, 채용 AI, 부정수급 탐지 시스템 등 공공과 민간의 여러 분야에서 인공지능이 활용되고 있습니다.

인공지능은 인간의 삶을 더욱 윤택하게 할 것으로 기대를 모으고 있습니다. 그러나 국가인권위원회가 지적하였듯이, 인공지능을 무분별하게 개발·활용할 경우 시민들의 안전과 인권을 위협하고 사회 곳곳에 부정적인 영향을 미칠 수 있습니다. 인공지능이 사람을 대상으로 예측하고 결정을 내릴 때 그 부정적 영향은 치명적일 수 있습니다. 한국의 시민사회단체는 인공지능 기술 발달에 상응하여 그 위험성을 통제하는 규제 체제가 필요하다고 주장해 왔습니다.

진보네트워크센터는 진보통신연합 APC의 지원을 받아, 국내외에서 논란이 되고 대안이 모색 중인 인공지능과 정보인권 문제를 알기쉽게 정리하여 소개합니다.

인공지능과 자동화된 처리를 위한 알고리즘의 도입이 사회적으로 확산되면서 차별적이고 불투명하며 일방적인 결정으로 인한 인권 침해, 공정경쟁의 훼손, 민주적 여론형성 침해 등 다양한 문제들이 발생하고 있습니다. 해외에서도 공공기관이 업무 효율성 증대 및 비용 절감 등을 명분으로 도입한 자동화된 시스템에 대해 기본권 침해와 적법절차 위반이라는 논란이 제기되었습니다. 또한 빅테크 플랫폼이 자사의 이익을 위해 알고리즘을 조작하여 공정한 경쟁과 민주주의에 부정적 영향을 미침에 따라 빅테크 알고리즘에 대해 투명성과 책임성 의무를 부과해야 한다는 목소리가 높아지고 있습니다.

• 인공지능(그리고 좀 더 폭넓게는 자동화된 처리를 위한 알고리즘)은 업무의 효율성을 높이고 다양한 혁신적인 서비스를 통해 개인의 삶과 사회에 혜택을 줄 수 있음.
  • 인공지능 스피커와 챗봇에서부터, 알고리즘을 통한 투자나 신용평가, 소셜 네트워크의 타임라인, 플랫폼을 통한 배달 업무 할당에 이르기까지 이미 민간의 다양한 분야에서 광범하게 활용되고 있음. 그 뿐 아니라 공공분야에서도 복지업무의 자동화, 국경통제, 예측 치안, 무인 드론까지 다양한 영역에서 도입되고 있음.
• 전 세계적으로 사회 여러 분야에서 인공지능(및 알고리즘)의 도입이 증가하면서  인간과 사회에 미치는 부정적 영향에 대한 사례도 누적되고 있음.
  • 인공지능 개발 과정에서 인공지능 학습을 위해 방대한 개인정보가 수집되거나 정보주체의 인지나 동의없이 최초 수집 목적 외로 처리될 가능성이 있음.
  • 인공지능 학습에 사용되는 데이터가 그것이 활용되는 맥락에 적합한 다양성과 대표성을 갖지 못한 경우, 혹은 알고리즘이 적절하게 설계되지 못할 경우 차별적인 결과를 야기할 수 있음. 물론 사람에 의한 의사결정의 경우에도 차별의 가능성을 배제할 수 없으나, 그것이 인공지능과 같은 자동화된 시스템에 내제될 경우 차별을 영속화할 우려가 있음.
  • 기계 학습 기반의 인공지능 알고리즘은 특정한 결과물이 산출된 이유를 정확하게 파악하기 힘들어 ‘블랙박스’라고 불리기도 함. 인공지능 바둑과 같이 이러한 불투명성이 기본권에 문제가 되지 않는 경우도 있으나, 사회보장 자격의 심사나 유죄가능성의 판단과 같이 당사자의 기본권에 영향을 미치는 분야에서 불투명한 인공지능이 활용될 경우 심각한 문제가 될 수 있음.
  • 또한, 인공지능 기술은 고도로 발전된 생체인식 및 프로파일링 기술과 결합하여, 시민과 소비자에 대한 감시를 극대화하기 위한 목적으로 활용될 가능성도 높아지고 있음. 원격 얼굴인식을 통해 개인을 식별하고 추적한다든가, 노동자별로 회사가 평가할 수 있는 프로파일링을 구축하여 플랫폼 노동자에게 업무를 배분하고 때로는 해지 등 불이익한 결정을 내리면서 노동을 통제할 수 있음.
• 인공지능의 불투명성은 결과물에 대한 신뢰를 훼손하고 알고리즘을 통제하는 자들의 이익을 위해 자의적으로 활용될 위험이 있음.
  • 특히 높은 수준의 투명성과 책무성이 요구되는 공공부문에서 인공지능이 활용될 경우 인공지능 결정에 의해 영향을 받는 사람들에게 합당한 이유를 설명할 수 없다는 점에서 심각한 문제가 될 수 있음.
  • 민간 분야에서도 플랫폼을 지배하는 빅테크들은 자사에 유리한 방향으로 알고리즘을 조정하여 공정한 경쟁을 훼손하거나, 사람들이 어떠한 정보를 접하고 어떻게 소통할 것인지 통제함으로써 민주적 여론형성과 정치적 의사결정에 중대한 영향을 미칠 수 있음.
• 이 글에서는 공공기관 및 플랫폼에서 활용되는 인공지능(및 알고리즘)의 불투명성이 특정 집단이나 사회에 부정적 영향을 야기하여 문제가 된 사례를 검토해보고자 함.

• 기술의 발전에 따라 공공기관 역시 업무 효율성 증대 및 비용 절감 등을 명분으로 인공지능을 비롯한 자동화된 시스템을 도입하기 시작함. 그러나 이 과정에서 공공기관이 보유한 개인정보를 목적 외로 처리하거나, 적절한 법적 근거 없이 시스템을 도입하거나, 자동화된 처분의 영향을 받는 당사자들에게 처분의 이유에 대해 충분한 설명을 제공하지 않아 문제가 되고 있음.
• 아래와 같은 사례를 검토함으로써 공공기관에서 인공지능 등 자동화된 시스템을 도입할 때 어떤 요구사항을 갖추고, 부정적인 영향을 최소화하기 위한 감독체계를 어떻게 구축할 것인지 우리 사회 규범을 마련해 나갈 필요가 있음.

미국 휴스턴, 교사 평가 알고리즘

• 2011년 미국 휴스턴 교육구는 교사의 수업 성취도 평가를 위해 EVAAS(Educational Value-Added Assessment System)라는 민간업체의 독점 알고리즘에 기반한 프로그램을 도입하였음.
  • 이 프로그램은 학생의 이전 표준화 시험 성적을 사용하여 당해 연도의 학업 성장을 예측하는 통계적 방법을 사용하였으며, 교사 평가, 보너스 및 해고에 관한 결정을 내리는 데 활용되었음. 교육구는 프로그램의 평가 점수에 따라 ‘비효율적’이라는 평가를 받은 교사의 일정 비율을 퇴출한다는 목표를 수립하였음.
  • 교사들은 이 프로그램이 산출한 점수로 평가받고 고용상 결정을 받게 되지만 프로그램의 결정에 대해서는 이의 제기를 할 수 없었고 설명도 들을 수 없었음. 교사들은 이 프로그램이 “설명할 수 없는 알고리즘에 기반한 비밀 컴퓨터 프로그램”이라고 비판함. 교육구와 위탁업체는 교사들이 점수의 정당성을 테스트하거나 데이터 및 알고리즘에 접근하는 것을 허용하지 않았음.
  • 2014년 5월, 휴스턴 교사 7명과 휴스턴 교사 연맹은 이 정책이 교육을 시험 점수로 환원하고, 교수나 학습 개선에 도움이 되지 않으며, 부당하게 해고될 경우 교사의 경력을 훼손당하게 된다며 연방 소송을 제기하였음.
• 2017년 휴스턴 소재 연방지방법원은 교사들이 자신들의 EVAAS 점수를 정확하게 확인할 수 있는 의미있는 방법이 없으며, 이는 헌법상 보호되는 교사의 재산상 이익을 부당하게 박탈하는 것이라고 결정했음.
  • 또한 기업의 영업비밀로 보호되는 EVAAS 알고리즘 및 데이터에 대한 접근이 거부되어 교사들이 자신이 받은 점수의 정확성을 독립적으로 검증할 수 없는데, 이는 적법절차 위반이라고 판단함.
  • 법원은 기업의 영업 비밀과 국민의 헌법상 권리인 적법절차를 모두 충족하기 위해서는 공공기관의 중요한 의사결정에 비밀 알고리즘을 사용해서는 안 된다고 지적함.
  • 교육구는 교사가 독립적으로 테스트하거나 점수에 이의를 제기할 수 없는 한 교사를 해고하는 데 EVAAS 점수를 사용하지 않기로 합의하였음.
• 휴스턴 교사 평가 알고리즘은 최근과 같은 방식의 인공지능은 아닐 수 있지만, 공공분야의 알고리즘 사용에서 책무성을 보장해야 한다는 미국 사법부의 판단이라는 점에서 큰 의미가 있었음. 고용처럼 사람에게 중요한 결정을 내리면서 그 투명성을 보장할 수 없고 영향을 받는 당사자가 이의를 제기할 수 없는 비밀 알고리즘은 사용할 수 없다는 취지로, 설명할 수 없는 다른 유사한 공공기관 인공지능의 위헌성에 대해서도 마찬가지의 질문을 제기할 수 있음.

폴란드, 실직자 점수 시스템

• 2014년 폴란드 정부는 실직자의 필요에 따른 맞춤형 복지를 지원하기 위하여, 일자리 센터를 운영하는 공공 고용 서비스 센터인 PSZ에 실직자를 프로파일링하는 알고리즘 기반 자동 의사 결정 시스템을 도입하였음.
  • 해당 시스템은 24개의 특성을 기반으로 실직자를 세 가지 범주로 분류하는데, 실직자가 직업 센터에 등록할 때 연령, 성별, 장애, 실업 기간 등 8가지 정보를 수집하며, 컴퓨터 기반 인터뷰를 통해 추가 정보를 수집함.
  • 실직자는 최종 점수에 따라 세 가지 범주 중 하나로 분류되며, 이에 따라 당사자에게 지원되는 서비스의 종류나 범위가 달라짐. 예를 들어, 첫번째 범주는 신속하게 일자리를 찾을 수있는 충분한 전문 자격을 갖춘 사람들, 두번째 범주는 노동시장 재진입에 어려움이 있어 기술이나 교육 지원이 필요한 사람들로 가장 많은 자원이 투입되는 범주임.  세번째 범주는 만성 질환, 장애 또는 중독과 같은 심각한 어려움을 갖고 있는 사람들로 이들에게는 지원이 거의 이루어지지 않음.
  • 본래 이 프로파일링 시스템은 어떤 범주에 누구를 할당할 것인지에 대한 최종 결정 권한을 센터 직원에게 부여하도록 설계되었지만, 실제 집행 과정에서는 직원들이 시스템의 결정을 그대로 따르는 경우가 많았음. 초기 통계에 따르면 직원이 시스템의 결정을 기각하는 경우는 100건 중 1건 미만에 불과했음. 이는 대부분의 직원에게 있어 시스템의 결정을 자세히 검토할 시간이 부족했을 뿐만 아니라 나중에 결정에 대한 문제가 제기될 경우 상사로부터 불이익을 받을 것을 우려했기 때문이었음.
  • 프로파일링의 대상이 된 실직자들은 시스템이 자신을 어떤 범주로 결정하였는지, 그 결정의 근거나 사용된 데이터는 무엇인지 등의 정보에 접근할 권리가 없었으며, 시스템이 내린 결정에 이의를 제기하거나 인간의 개입을 요구할 권리도 가지고 있지 않았음.
• 이 시스템의 불투명성과 차별에 대해 여러 문제제기가 이루어졌음.
  • 폴란드의 디지털 권리 단체인 파놉티콘 재단(Fundacja Panoptykon)은 정보의 자유 조항(공공정보 공개)을 통하여 입수한 프로파일링 메커니즘의 필수 세부 정보인 컴퓨터 기반 면접지와 채점 규칙을 공개하였음.
  • 국가 예산, 공공 지출 및 공공 재산 관리를 감독하는 최고 감사실(Najwyższa Izba Kontroli)은 PSZ에 대해 전반적인 검토를 수행한 결과, 이 시스템은 비효율적이며 차별을 초래할 수 있다는 사실을 밝혔음. 채점 규칙에서 여성은 남성과 다른 방식으로 평가되었고, 비혼모, 장애인, 비도시 거주자 등 사회에서 가장 취약한 계층에 속하는 사람들이 세번째 범주에 배정되고, 이로 인해 지원 기회를 박탈당할 확률이 더 높았음.
• 실직자 점수 시스템이 불투명성 및 차별에 대한 문제제기로 많은 사회적 논란을 빚자 폴란드 인권위원회는 이 사건을 헌법재판소에 회부하였고, 2018년 폴란드 헌법재판소는 국회에서 입법한 법률적 근거를 갖추지 않고 정부가 이 시스템을 사용한 것이 위헌이라고 결정함.
  • 헌법재판소 결정 이후 정부는 실직자 프로파일링 시스템을 중단하기로 결정하고, 2019년 12월까지 폐기하기로 함.
• 폴란드의 실직자 점수 시스템은 시스템 운영을 위한 법적 근거가 없었고 시스템의 작동 방식도 불투명했으며, 당사자들이 이의를 제기할 수 있는 수단도 제공하지 않았음.
  • 이 시스템은 본래 사람의 결정을 지원하도록 설계되었지만, 사실상 실직자에 대한 자동화된 의사결정 시스템으로 작동하였음. 즉, 사람들이 기술과 상호작용할 것을 의도하고 설계한 방식과 그것이 실제 작동하는 방식이 다를 수 있다는 점에 주의할 필요가 있음.

네덜란드, 사회복지급여 부정수급 탐지 시스템(SyRI)

• SyRI(Risk Indication System)는 네덜란드 사회업무 및 고용부가 사회복지 급여나 조세 사기, 노동법 위반의 가능성을 예측하기 위해 개발한 빅데이터 분석 시스템임.
  • 고용, 개인 부채, 급여 기록, 교육 이력 및 주택 이력 등 다양한 국가 기관에 저장되어 있는 시민들의 데이터를 결합하여 분석함. 예를 들어, 조세 데이터는 누가 국가 지원을 받는지에 대한 정보와 비교할 수 있고, 출입국 기관의 데이터는 거주지에 대한 정보와 비교할 수 있음.
  • 이 시스템은 특정 위험 지표에 기초하여 사회복지 급여 신청자의 ‘부정행위 위험 증가’ 여부를 탐지함. 예를 들어, 누군가가 주거 혜택을 받았지만 해당 주소지에 등록되지 않은 경우 경보를 울리며, 사회부 직원이 데이터를 자세히 살펴본 후 무언가 잘못되었을 수 있다고 생각하면 ‘위험 보고서’가 작성되어 관계 당국에 전달됨. 의혹이 만일 사실로 확인되면 국가 지원금을 회수하게 됨.
  • 여러 기관이 보유하고 있는 데이터는 ‘지방정부를 위한 서비스국(Inlichtingenbureau)’으로 전달되어 병합되며, 개인정보는 가명처리되고 나중에 암호 해독을 위해 키가 있는 별도의 데이터 세트가 생성됨. 시스템이 경보를 울린 데이터만 암호 해독되어 사회부로 전달되고 여기서 위험 보고서를 작성하는 방식임.

출처: https://algorithmwatch.org/en/high-risk-citizens/

• • SyRI의 근거 법률은 ‘네덜란드 노동 및 소득 이행 구조법’(SUWI Act)으로 17개 범주의 개인정보를 시스템에서 처리할 수 있도록 규정하고 있음. 이는 고용 데이터, 벌금 및 조세 데이터, 주 지원 복지 서비스 데이터, 거주지 데이터, 출입국 기관의 데이터, 오랜 질병 후 직장에 복귀하는 데에 대한 데이터 및 건강 보험 데이터까지 다양함.

• 그러나 SyRI와 같은 ‘디지털 복지국가’ 시스템이 종종 당사자 의견수렴없이 개발되고 충분한 감독없이 불투명하게 운영되는 것에 대해, 개인의 프라이버시와 기본권을 침해하고 가장 취약한 사람들에게 부당하게 불이익을 준다는 비판이 제기되고 있음. 
  • 자신의 개인정보가 SyRl의 등록부에 수집되어 특정 위험에 대해 점수를 부여받고, 등록부 데이터에 기초하여 자신에게 영향을 미치는 결정이 내려져도, 정보주체는 자신의 개인정보가 등록부에 포함되어 있다는 사실과 그것이 자신에게 어떠한 결과를 가져올 수 있는지 알 수 없음. 이는 개인정보 보호원칙을 위반한 것임.
  • 또한 노동조합 및 인권단체들은 이 시스템이 가난한 지역과 그 주민들에 대하여 구체적인 부정수급 혐의를 입증하지 않고 디지털 방식으로 광범위하게 감시하고 있다고 비판하였음. 이들은 SyRI가 불균형적으로 가난한 시민들을 표적으로 삼고 있으며 인권 규범을 위반하고 있다고 비판함.
  • 국제법제위원회(NJCM)의 네덜란드 지부와 2명의 개인을 포함한 여러 시민사회단체들이 네덜란드 국가를 상대로 소송을 제기했으며, 네덜란드 노동조합 연맹(FNV)도 소송 절차에 당사자로 참여함. 이들은 네덜란드 정부가 불법적으로 인권을 침해한다고 비판하며 SyRI의 사용 중단을 요구함.
• 2020년 2월 5일, 헤이그 지방법원은 SyRI의 근거 법률이 사생활 및 통신비밀의권리를 보호하는 유럽인권협약(ECHR) 제8조를 준수하지 않았다고 판결하였음.
  • 법원은 SyRI의 근거 법률이 사생활 침해에 대한 충분한 보호장치를 포함하고 있지 않다고 판결하고, 위험 평가 모델이나 지표를 공개하지 않아 그것이 어떻게 작동하는지에 대해 “투명성이 심각하게 결여되어 있다”고 비판함. 또한 이 시스템이 가난한 지역을 대상으로 함으로써, 사회경제적 또는 이주자 지위에 기반한 차별에 해당할 수 있다고 판단함.
  • 또한, 이 제도는 경제적 복지를 위해 부정행위를 방지하고 근절해야 하는 공익과 시스템 활용으로 인한 사생활 침해 사이에서 유럽인권협약의 “공평한 균형성(fair balance)” 심사를 통과하지 못했기 때문에 무효라고 판결함.
• 필립 올스턴(Philip Alston) 유엔 극빈과 인권 특별보고관은 이번 판결을 지지하며 “디지털 복지 시스템이 인권에 미치는 심각한 위협에 대해 정당한 우려를 가지고 있는 모든 사람들의 명백한 승리”라고 평가함. 그는 2019년 10월 유엔 총회에 “디지털 복지 국가”의 등장에 관한 보고서를 제출하면서, 디지털 복지 디스토피아로 가는 것을 방지하기 위해 중대하고 빠르게 행동해야 한다고 경고하였음.

네덜란드 세무 당국의 육아지원금 부당 환수 스캔들

• 한편, 2021년 1월 15일, 육아지원금 부당 환수에 대한 책임을 지고 네덜란드 마르크 뤼터 내각이 총사퇴를 했음. 이 부당 환수 사건은 SyRI와 직접적인 관계가 있는 사안은 아니었음. 그렇지만 네덜란드 세무 당국이 활용한 자가 학습 알고리즘과 연관된 문제로서 적절한 안전장치와 감독이 없는 공공기관의 알고리즘 사용이 사회에 얼마나 치명적인 결과를 초래하는지 보여준 사례임.
  • 네덜란드 세무 당국이 2012년부터 약 1만가구에 지급된 유아지원금을 부당하게 환수해왔다는 사실이 드러남. 이 때문에 잘못이 없는 많은 사람들이 범죄인 취급을 받고 가정 파탄에 이른 경우도 발생하였음. 더 결정적인 문제는 부정수급자로 분류된 사람들 중 상당수가 이민자 출신이었다는 데 있음.
  • 네덜란드 개인정보보호당국의 보고서에 따르면 세무 당국이 의사결정을 내리는데 ‘자가 학습’ 알고리즘을 사용했다는 사실이 밝혀짐. 이 알고리즘의 역할은 어떤 지원금 청구가 허위일 위험이 가장 높은지 학습하는 것이었음. 위험도를 분류하는 이 알고리즘은 1차 필터 역할을 했으며, 위험도가 가장 높은 것으로 분류되는 지원금 청구에 대해서는 직원들이 면밀히 조사하였음. 그 결과, 지원금을 청구하는 부모가 이중 국적인 경우, 알고리즘이 체계적으로 이 청구를 고위험으로 판단하였고, 직원들은 해당 청구를 신속하게 부당 청구로 표시하였음.
  • 또한, 이 시스템은 특정 개인을 부정수급 혐의자로 분류한 이유를 공개하지 않아 공공부문의 투명성, 책무성, 감독이 결여되었다는 비판을 받았음. 
• 2022년 4월 12일 개인정보보호당국은 세무 당국에 370만 유로의 새로운 벌금을 부과하였다고 밝혔는데, 세무당국이 해당 정보주체의 개인정보를 처리할 법적 근거가 없고 개인정보를 너무 오래 보관하는 등 유럽 개인정보보호법을 위반해왔다고 밝혔음.
  • 내각 총사퇴 이후 새롭게 꾸려진 네덜란드 정부는 네덜란드의 개인정보보호당국 산하에 새로운 알고리즘 규제 기관을 만들겠다고 약속했으며, 이 규제당국이 공공 및 민간 부문 모두에서 알고리즘을 면밀히 조사할 것이라고 밝혔음.
• 2022년 4월 5일, 네덜란드 하원은 정부에 인권영향평가를 의무화할 것을 요구하는 결의안을 채택했음. 이 결의안은 네덜란드 정부가 개발한 인권영향평가를 의무화하면 알고리즘 남용을 예방할 수 있다고 지적하면서, 공공기관이 알고리즘을 사용하여 사람에 대한 평가 또는 결정을 내릴 때 사전 인권영향평가를 의무화하고 그 평가 결과 또한 가능한 한 공개할 것을 요구하였음.
  • 관련하여 네덜란드 내무부는 Utrecht 대학에 위탁하여 알고리즘 인권영향평가도구인 기본권 알고리즘영향평가(Fundamental Rights and Algorithms Impact Assessment)를 개발하였음. 이 기본권 영향평가의 목표는 인권 영향이 예측되지 않거나 인권에 부정적인 영향을 미치는 알고리즘의 도입을 방지하는 데 있음.

• SNS, 메신저, 동영상, 전자상거래 등 전 세계 대다수 이용자들이 빅테크의 서비스를 일상적으로 이용하기 때문에, 빅테크 플랫폼은 공공영역 못지않게 시민들의 삶에 막대한 영향을 미치고 있음.
  • 그러나 빅테크 플랫폼은 가짜뉴스나 혐오발언의 범람에도 불구하고 이용자들을 자사 플랫폼에 오랫동안 머물도록 하기 위하여 자극적인 콘텐츠가 더 잘 유통되도록 알고리즘을 설계한다는 비판을 받아왔음.
  • 또한 빅테크 플랫폼은 경쟁 업체에 비해 자사 상품이나 서비스를 우대하는 방향으로 알고리즘을 조작하여 공정경쟁을 훼손하고 인접시장으로 그 영향력을 확대하고 있음.
  • 나아가 이용자들이 어떠한 정보를 접할 것인지 빅테크 알고리즘이 통제하게 되면서 여론 형성이나 민주주의에 미치는 영향도 커지고 있음.
• 지금까지 빅테크 플랫폼은 민간영역이라는 이유로 공공영역에 비해 투명성과 책무성에 대한 규제를 덜 받아왔음. 그러나 빅테크의 사회적 영향력이 커지는 만큼, 빅테크 플랫폼에 투명성과 책무성 의무를 부과해야 한다는 목소리가 힘을 얻고 있음.

페이스북, 이용자 감정 조작 실험

• 페이스북과 대학의 연구자들은 2012년 1월 11일부터 18일까지 일주일동안 “감정 노출이 사람들의 게시 행동에 변화를 가져오는지” 테스트하기 위해 “뉴스피드에서 감정 표현에 노출된 사람들의 노출 정도를 조작”했음.
  • 실험 대상이 된 이용자들은 약 70만명에 달함.
  • 실험대상자의 뉴스피드를 조작한 후, 페이스북은 “실험 기간 동안 특정 인물이 생산한 모든 단어 중 긍정적이거나 부정적인 단어의 비율”을 분석하였음. 이 연구결과는 ‘소셜 네트워크를 통한 대규모 정서적 전염에 대한 실험적 증거‘라는 제목으로 미국 국립과학원회보(PNAS) 2014년 6월 17일자에 게제됨. 연구원들은 “감정이 네트워크를 통해 퍼질 수 있다는 논란의 여지가 있는 주장을 뒷받침하는 최초의 실험적 증거들 중 일부를 발견했다”고 결론지었음.
• 그러나 이 연구는 연구윤리 측면에서 많은 논란을 야기했음.
  • 페이스북은 게시물의 긍정 또는 부정 여부를 판단하기 위해 언어학적 조회 및 단어 수 계산 소프트웨어를 사용했다고 함. 인간 연구원이 아닌 컴퓨터가 페이스북 이용자의 게시물 내용을 확인했기 때문에 연구진은 이 연구가 “페이스북의 데이터 사용 정책과 일치한다”고 판단했다고 함. 또한, 페이스북은 모든 사용자가 “페이스북에 계정을 만들기 전에” 페이스북의 데이터 이용 정책에 동의하기 때문에 “이 연구에 대한 사전 동의를 얻었다”고 주장함. 그러나 이 연구가 진행되었을 당시의 데이터 이용 정책에는 ‘연구, 테스트 또는 분석을 위한 사용자 데이터 사용’에 대한 언급이 없었으며, 연구가 수행된 지 4개월 후인 2012년 5월에 변경된 정책에 포함됨.
  • PNAS 편집장 버먼(Inder M. Verman) 교수는 6월 17일자 저널의 부록에 포함된 ‘편집자 우려 표명’ 발표문에서, 페이스북이 미국 보건복지부의 인간연구 대상자 보호정책인 공통규칙(Common Rule)을 준수할 의무가 있는 것은 아니지만, ” 페이스북의 데이터 수집이 사전동의를 얻고 참가자들이 탈퇴할 수 있도록 허용하는 원칙에 완전히 부합하지 않는 관행을 포함했을 수 있다는 것”에 대해 우려를 표명함.
  • 2014년 7월 3일, 미국의 프라이버시 옹호 인권단체인 EPIC는 페이스북이 이용자 개인정보를 기만적으로 이용한 것에 대해 미연방거래위원회(FTC)에 진정함.
  • 연구윤리에 대한 논란이 커지자 실험을 주도한 페이스북 데이터 과학자 아담 D.I. 크레이머(Adam D.I. Kramer)는 결국 페이스북에 사과문을 올렸음.

캠브리지 애널리티카 스캔들

• 케임브리지 애널리티카(이하 CA)는 영국의 정치 컨설팅 회사로, 동의없이 수집된 방대한 양의 페이스북 사용자 개인정보를 활용하여 2015년과 2016년 미국 대통령 선거 시기 테드 크루즈 및 도널드 트럼프의 선거운동, 영국 브렉시트 국민투표 등에 개입한 것이 밝혀지며 논란이 되었음. 2018년 3월, 스캔들이 폭로되자 페이스북은 CA에 페이스북 사용자 5천만 명의 데이터가 불법적으로 전달되었다는 사실을 인정하였음. 이후 그 숫자는 8,700만 명으로 증가해 페이스북 역사상 가장 큰 개인정보 유출 스캔들이 됨.
  • 2013년, 데이터 과학자 알렌산드르 코건 등은 “This Is Your Digital Life” 라는 페이스북 내 성격퀴즈 앱을 개발함. 해당 앱은 사용자에게 일련의 심리 테스트를 제공하는 앱으로 보였지만, 동시에 사용자 및 사용자와 연결된 친구의 개인정보까지 모두 수집하였고 이는 이후 CA와 공유되었음. 해당 앱의 사용자는 27만 명에 불과했지만, 최종적으로는 사용자의 페이스북 친구를 포함 약 8,700만 명의 페이스북 사용자가 유출의 피해자로 확인됨.
  • 2015년, 가디언(The Guardian)은 CA가 테드 크루즈의 선거 캠프에 함께 하고 있음을 보도함. 대통령 후보 경선 과정에서 수천만 명의 페이스북 사용자 데이터를 기반으로 한 연구 및 심리학적인 데이터가 사용되고 있음이 밝혀짐. 보도 이후 페이스북은 데이터 유출을 확인하고 알렉산드르 코건과 CA 양측에 부적절하게 수집한 데이터를 모두 삭제하도록 법적 압력을 가했으며 결국 데이터가 삭제되었다고 발표
  • 2018년 3월, 가디언과 뉴욕타임즈는 내부고발자 크리스토퍼 와일리(Christopher Wylie)와 함께 2016년 미 대선 당시 트럼프 캠프에 수천만 명의 페이스북 사용자 데이터와 분석 데이터가 전달되었고 지속적으로 사용되었다는 사실을 보도함.
  • 이후 이 사건에 대하여 세계 각국의 개인정보보호 당국과 의회 등이 조사를 진행하고 청문회를 개최하는 한편 벌금을 부과하는 등 적극적인 대응에 나섰음. 대표적으로는 2018년 10월 영국 개인정보보호 당국(ICO)는 법정 최고 벌금인 50만 파운드(약 7억 5천만원)를, 2019년 7월 미국 연방거래위원회는 50억 달러(약 5조 8900억원)의 벌금과 시정조치를 부과하고 합의함. 연방거래위원회는 페이스북이 이 사건으로 지난 2012년 동의명령을 위반하였다며 해당 벌금을 부과하였고, 위원회가 기술 기업을 대상으로 부과한 벌금 중에서 가장 높은 액수였음.
  • 2020년 11월, 한국의 개인정보보호위원회 역시 페이스북이 제3자 앱을 통해 개인정보를 무단 제공한 데 대해 과징금 67억원을 부과함.
• CA 스캔들은 페이스북의 불법적인 개인정보 제3자 제공의 문제도 있지만, 플랫폼을 통해 수집된 개인정보가 정치 캠페인에 활용되어 한 사회의 중요한 정치적 의사결정에까지 영향을 미칠 수 있다는 사실을 보여줌.
  • 내부 고발자인 브리태니 카이저가 쓴 <타겟티드(Targeted)>에 따르면, CA는 확보된 데이터를 기반으로 개개인의 성격과 성향을 최대 32개 유형으로 세분화해, 유형별로 세분화된 메시지를 유권자에게 내보냈다고 함. 예를 들어, 테드 크루즈 상원의원의 선거운동 과정에서는 유권자들을 극기주의자형, 보호자형, 전통주의자형, 충동적 유형 등으로 세분화하고, 극기주의자에게는 전통, 가치, 과거 행동, 결과 등의 단어를 이용한 메시지를, 보호자 유형에는 가족을 강조하고 지역사회, 정직, 사회 등의 단어를 써서 따뜻한 메시지를 보내는 식.
  • 트럼프 캠프는 2016년 대선에서 CA를 통해서만 디지털 광고에 1억 달러를 썼으며, 페이스북, 구글, 트위터는 고객인 트럼프 캠프에 직원을 파견했다고 함.

타겟티드 : 당신이 누른 ‘좋아요’는 어떻게 당신을 조종하는가, 브리태니 카이저 저/고영태 역, 한빛비즈, 2020년 04월 06일

• • 또한 가디언 보도에 따르면, CA는 선거가 시작되기 몇 달 전부터 서로 다른 시청자를 타겟으로 10,000개의 서로 다른 광고를 내보내기 위해 집중적인 설문 조사 연구, 데이터 모델링 및 성능 최적화 알고리즘을 사용했음. 이 광고들은 수십억번 시청되었음.
  • 트럼프는 유튜브를 통해 정치 캠페인을 전개했는데, 트럼프 지지자일 가능성이 높은 지역의 유권자들에게는 의기양양한 모습으로 후보의 모습을 보여주고 가장 가까운 투표소를 찾는 데 도움을 준 반면, 부동층 지역의 유권자들에게는 트럼프를 지지하는 유명인들의 모습을 내보냄.
  • 카이저에 따르면,  가장 효과적인 광고 중 하나는 정치 뉴스 웹사이트 폴리티코의 네이티브 광고였는데,  “클린턴 재단에 관한 불편한 10가지 진실”이라는 제목의 인터랙티브 그래픽이 주요 부동층 지역의 방문자들에게 마치 기사처럼 표출되었다고 함. 이 콘텐츠는 본래 후원 콘텐츠를 만드는 사내 폴리티코 팀이 제작함.
  • 구글의 유료 광고를 사용하여 “설득 검색 광고”도 구현하였음. 유권자들이 “트럼프 이라크 전쟁”을 검색하면, “힐러리가 이라크 전쟁에 투표했다 – 도널드 트럼프가 반대했다”고 적혀 있는 (트럼프에게 유리한) 검색 결과를 내보냄.

• 유권자의 특성에 기반한 정치 캠페인은 예전부터 존재해온 것이기는 하지만, 소셜 네트워크를 통한 정치 캠페인은 개인정보에 기반한 미세한 표적 타겟팅이 가능하고, 정치 캠페인이 아닌 것처럼 이용자를 기만하기 용이하며, 정치 캠페인 과정이 불투명하여 공정한 선거를 훼손할 수 있음. 이는 비단 정치 캠페인에만 국한된 것이 아니며 이용자들이 어떠한 정보를 접할 수 있을지 플랫폼 알고리즘이 통제할 수 있다는 점에서, 사회적 여론 형성 및 민주주의에 미치는 알고리즘의 영향력에 대한 관심이 필요함.

페이스북 페이퍼

• 2021년 9월, 월스트리트 저널은 ‘페이스북 파일’이라는 제목으로 시리즈 기사를 내보냄. 페이스북이 내부 연구를 통해서 자사 플랫폼이 미치는 해로운 영향에 대해 인지하고 있었음에도 불구하고 수익을 위해서 이를 방치했다는 것임.
  • 이 기사는 내부 고발자인 프랜시스 하우겐(Frances Haugen)이 유출한 문서를 바탕으로 쓰여짐. 하우겐은 2019년에 페이스북에 채용되어 시민 진실성팀(civic integrity)에서 일해왔으며, 2021년에 퇴사함. 그녀는 수만 페이지에 달하는 페이스북 내부 연구 자료를 몰래 복사하여 유출하였음.
  • 2021년 10월, 여러 언론사가 컨소시엄을 구성하여 유출된 문건에 담긴 내용에 대하여 ‘페이스북 페이퍼(Facebook Papers)’라는 제목으로 보도함.
  • 2021년 10월 3일, 하우겐은 CBS의 60분(60 Minutes)라는 프로그램에서 자신의 신원을 밝혔으며, 미국 상원 상무위원회에서 유출된 문건의 내용에 대해 증언을 함.
  • 그는 “페이스북 안에서 사람들에게 좋은 것과 페이스북에 좋은 것 사이에 이해관계가 상충하는 경우를 여러번 보았다”고 말함. 페이스북은 혐오, 폭력, 허위 정보가 더 쉽게 확산되도록 알고리즘을 조정했으며 내부 연구를 통해 자사의 해로운 영향에 대해 인지했지만 이익을 위해 이를 시정하지 않았으며, 그럼에도 혐오, 폭력, 허위 정보 대응에 상당한 진전을 이루었다고 대중에게 거짓말했다고 비판함.

프랜시스 하우겐, 페이스북 내부 고발자 (출처 : flickr, uk house of lords)

• 페이스북 페이퍼는 페이스북과 같은 거대 플랫폼이 혐오발언과 폭력, 허위정보 등을 확산시키고 이를 통해 정치적 양극화와 사회 갈등을 촉발시키고 있으며, 이러한 점을 페이스북 스스로 인지하고 있었음을 보여줌.
  • 페이스북은 2018년에 이용자간의 상호작용(댓글, 좋아요, 공유 등)을 촉진하는 방향으로 알고리즘을 개편함. 개편 후에 주류 미디어의 트래픽은 대폭 감소한 반면, 페이스북 내에서 자극적이고 극단적인 콘텐츠가 증가하는 경향을 보임. 2019년 페이스북은 여성 인도 사용자로 테스트 계정을 설정하고 실험을 했는데, “테스트 사용자의 뉴스피드는 양극화 민족주의 콘텐츠, 허위 정보, 폭력과 유혈의 거의 끊임없는 공세”에 직면했다고 함. 그러나 내부 직원들이 알고리즘의 문제를 해결하기 위한 변경 사항을 제안했음에도, CEO인 마크 주커버그는 페이스북 참여가 줄어들 것을 우려하며 그러한 변경을 거부했다고 함.
  • 이와 같은 페이스북 알고리즘은 정치적 양극화, 사회 분열과 갈등을 촉발하기도 했음. 정당의 긍정/부정적 게시물이 50:50였다가 부정적 게시물이 80%로 증가했으며, 사회정치적 토론과 관련한 페이스북 페이지에서 모욕과 위협의 비율이 증가했다고 함. 유럽의 정당들은 근본적으로 페이스북 알고리즘이 국가를 이끄는 방식을 바꾸고 있다고 말하고 있음. 2018년 미얀마에서 발생한 대량 학살과 관련해서 페이스북의 책임론이 제기되기도 함.
  • 페이스북을 통한 혐오, 폭력, 갈등은 특히 개발도상국에서 심각하게 나타났음. 개발도상국 이용자는 미국보다 수억명이 더 많으며, 월간 사용자의 90% 이상이 미국과 캐나다 이외의 지역에 있음. 그러나 이들 국가에서 페이스북 플랫폼이 인신매매, 성노동 강요, 소수 민족에 대한 폭력 등의 목적으로 활용되고 있지만 페이스북이 이에 적절한 대응을 하고 있지 않음. 이는 기본적으로 페이스북이 개발도상국에서 소수 언어를 지원하는데 충분한 인적, 물적인 투자를 하지 않기 때문임. 한편, 베트남 지역에서는 베트남 정부와 협력하여 반체제 정치 콘텐츠를 억압하기도 하였음.
  • 메타는 내부 연구를 통해 인스타그램이 특히 10대 소녀들에게 해롭다는 사실을 발견했음. 내부 자료에 따르면 인스타그램이 ’10대 소녀 3명 중 1명의 신체 이미지 문제를 악화’시키며, 십대들의 불안과 우울의 비율이 증가한 데 책임이 있다고 함. 최고의 순간만 공유하는 경향, 완벽해 보이려는 압박감, 중독성 제품으로 인해 십대들은 섭식 장애, 자신의 신체에 대한 부정적 인식, 그리고 우울증에 빠질 수 있다고 함. 그러나 마크 주커버그는 2021년 3월 의회 청문회에서 어린이와 정신 건강에 대한 질문에 대하여 “소셜 앱을 사용하여 다른 사람들과 연결하는 것이 긍정적인 정신 건강상의 이점을 가져올 수 있음을 확인했다” 고 호도함.
• 페이스북과 같은 거대 플랫폼은 사람들이 정보를 접하고 서로 소통하는 방식에 커다란 영향을 미침. 이를 통해 사회적 여론 형성과 민주적 의사결정에도 영향을 미칠 수 있음. 그럼에도 불구하고 외부에서는 플랫폼의 알고리즘이 어떻게 변경되었는지, 그 영향이 어떠한지에 대해 판단하기 힘듬. 비록 민간 기업의 알고리즘이지만, 사회적 영향력이 큰 알고리즘에 대해서는 일정한 투명성과 공적 규제가 요구됨.

• 해외에서 공공기관이 인공지능을 비롯한 자동화 시스템을 도입했을 때 논란이 된 사건들에는 몇 가지 공통점이 있음.
  • 우선 합법적 근거없이 자동화 시스템을 도입하였거나 네덜란드의 SyRI와 같이 법적 근거가 있었더라도 인권 보호장치가 부족하였음.
  • 다른 목적으로 수집된 개인정보를 근거없이 목적 외로 처리하거나 통합하여 개인에 대한 프로파일링에 활용하였음.
  • 무엇보다 해당 시스템 혹은 알고리즘이 어떠한 원리에 의해서 작동하는지, 해당 시스템이 특정 결정을 내린 근거가 무엇인지 투명하게 공개하지 않았음.
  • 또한, 해당 시스템이 내린 결정에 의해 영향을 받는 당사자 혹은 정보주체에게 이의를 제기할 권리 및 설명을 요구할 권리를 부여하지 않았음.
  • 폴란드의 실직자 점수 시스템이나 네덜란드 SyRI 및 육아지원금 부당청구 사건과 같이 자동화된 시스템의 부정적 영향이 저소득층이나 이주민처럼 사회에서 소외된 계층에 집중될 우려가 있음.
• 공공기관의 업무는 법률에 근거해야 하고 투명성과 책무성이 중요한 바, 업무가 인공지능을 통해서 수행될 경우에도 예외가 될 수 없음. 따라서 효율성에만 근거해서 자동화된 시스템을 도입해서는 안되며, 인공지능 등 신기술이 야기할 수 있는 부정적 영향을 최소화기 위한 안전장치를 제도화할 필요가 있음.
  • 즉, 시스템 도입 및 개인정보 처리의 합법적인 근거, 알고리즘에 대한 투명성, 영향을 받는 당사자의 이의제기권 및 설명을 요구할 권리 등을 보장해야 함.
  • 이를 위해 해당 시스템이 인권 및 사회에 미치는 부정적 영향을 평가하는 인권영향평가의 시행이나 영향을 받는 이해관계자(특히 취약계층)와의 협의 절차를 고려할 필요가 있음.
  • 공공기관의 경우 민간에서 개발된 인공지능 시스템을 활용할 경우가 많은데, 입찰과정에서 투명성, 공정성, 책무성 등의 요건을 점검할 수 있는 절차를 수립해야 함. 또한, 휴스턴 교사평가 알고리즘 사례에서 볼 수 있다시피, 민간의 영업비밀 보호를 이유로 투명성이나 책무성 요건이 후퇴해서는 안되며, 이러한 요건을 충족할 수 없는 민간의 시스템을 도입해서는 안될 것임.

• 플랫폼, 특히 빅테크 플랫폼은 인구 대다수가 사용하는 서비스인만큼 공공기관의 시스템 이상으로 사회적인 영향력이 크다고 할 수 있음. 그러나 민간 기업의 알고리즘이라는 이유로 투명성, 책무성의 요구로부터 벗어나있음.
  • 빅테크의 독점력은 방대한 이용자에 기반하고 있으며, 빅테크의 가장 큰 수익원 중 하나인 디지털 광고를 위해 플랫폼 밖에서의 이용자 행태정보까지 수집하고 있음. 이를 위해 빅테크는 서로 다른 이용자 개인정보를 통합하거나 캠브리지 애널리티카 스캔들에서처럼 중요한 정치적 사안에 개인정보를 남용해왔음.
  • 또한 하우겐의 폭로 사례에서 볼 수 있는 바와 같이, 플랫폼의 알고리즘을 어떻게 조정하느냐에 따라 이용자가 어떠한 정보를 접할 것인지, 어떠한 방식으로 상호 소통할 것인지에 영향을 미칠 수 있으며, 기업의 사적인 이익과 이용자 및 사회의 이익이 항상 일치하는 것은 아님.
  • 플랫폼의 알고리즘이 어떻게 설계되느냐에 따라 여론 형성 및 정치적 민주주의에도 큰 영향을 줄 수 있다는 점을 인식할 필요가 있음.
• 빅테크 플랫폼의 사회적 영향력을 고려해 보면, 플랫폼의 알고리즘에 대하여 일정한 사회적 통제가 필요함.
  • 이런 맥락에서 유럽연합의 디지털 서비스법에서 대규모온라인플랫폼에 대해서는 체계적 위험의 탐지, 식별 및 조치를 취하도록 하고, 위험평가의 적절성에 대한 연구를 수행하는 지정된 독립 학술연구자에게 데이터를 제공하도록 의무화하고 있는 점, 그리고 다양한 차원의 투명성 의무를 부과하고 있다는 점에 주목할 필요가 있음.
  • 또한 전통적인 광고와 달리 이용자가 자신이 접하는 콘텐츠가 광고임을 인식하기 힘들다는 점에서, 플랫폼을 통해 유통되는 상업적 및 정치적 광고의 투명성을 위한 장치도 필요함.