인공지능과 정보인권 (1){/}[APC] 인공지능 관련 국내 논쟁 사례

2016년 한국 사회는 구글 딥마인드가 개발한 알파고와 프로 이세돌 기사의 세기적 대결을 목격하면서 최근 인공지능의 발달 상황에 대해 크게 놀랐습니다. 2022년 다양한 생성형 인공지능과 대규모 언어모델 챗GPT의 등장은 한층 더 충격적이었습니다. 생성형 인공지능과 언어모델은 일반 사람들이 직접 체험을 해볼 수 있었기 때문에 그 충격이 더욱 직접적이었습니다.
이미 인공지능은 우리 사회의 여러 분야에 도입이 되어 왔습니다. 인공지능 스피커, 번역 서비스, 배달 플랫폼, 채용 AI, 부정수급 탐지 시스템 등 공공과 민간의 여러 분야에서 인공지능이 활용되고 있습니다.
인공지능은 인간의 삶을 더욱 윤택하게 할 것으로 기대를 모으고 있습니다. 그러나 국가인권위원회가 지적하였듯이, 인공지능을 무분별하게 개발·활용할 경우 시민들의 안전과 인권을 위협하고 사회 곳곳에 부정적인 영향을 미칠 수 있습니다. 인공지능이 사람을 대상으로 예측하고 결정을 내릴 때 그 부정적 영향은 치명적일 수 있습니다.
한국의 시민사회단체는 인공지능 기술 발달에 상응하여 그 위험성을 통제하는 규제 체제가 필요하다고 주장해 왔습니다.
진보네트워크센터는 진보통신연합 APC의 지원을 받아, 국내외에서 논란이 되고 대안이 모색 중인 인공지능과 정보인권 문제를 알기쉽게 정리하여 소개합니다.

한국 사회에서도 자동화 알고리즘과 인공지능이 인권에 미치는 부정적 영향이 우려되는 사례가 발생해 왔습니다. 특히 채용 AI의 불투명성과 차별 우려, 인공지능 챗봇 이루다의 개인정보 침해와 혐오 채팅, 카카오택시의 알고리즘 조작, 법무부 출입국 식별추적 인공지능의 얼굴정보 무단 학습 문제는 많은 사회적 논쟁을 불러 일으켰습니다. 일부 사례의 경우에는 공정거래위, 개인정보보호위 등 규제기관이 개입하여 행정적으로 제재하였으나, 정부와 국회 일각에서는 국내 인공지능 산업을 보호육성해야 한다는 논리를 앞세워 법 규제를 완화하려는 시도가 계속되고 있습니다.

• 한국 사회에서는 이른바 ‘토종 포털’로 불리우는 한국형 빅테크들의 자동화 알고리즘과 가전제품을 비롯한 인공지능 제품들이 빠르게 시장을 석권해 왔음. 그러나 이들이 소비자 시장과 개인정보에 대한 권리 등 기본권에 미치는 부정적 영향을 방지하는 효과적인 법제도 개입은 이루어지지 못함.
  • 공정거래위원회에서 네이버, 카카오 등 독점 빅테크 알고리즘의 불공정성을 규제하기 위하여 노력하여 왔으나, 조사에 장기간이 소요되고 입증에 어려움을 겪어 옴. 공정거래위는 2020년 네이버쇼핑의 자기선호 알고리즘에 대해 위법하다고 판단하고 266억 원의 과징금을 부과함. 이는 온라인 플랫폼 알고리즘에 [공정거래법]을 적용한 최초의 사건이었지만, 네이버가 불복하는 소송을 제기하여 2023년 현재 대법원에서 재판 중임.
  • 인터넷 분야 개인정보보호법인 [정보통신망이용촉진 및 정보보호 등에 관한 법률]이 1999년부터 개인정보를 보호해오기 시작하였으나 주로 개인정보 유출 문제에 주력하였고, 기업의 행태정보 수집이용 등 목적외 오남용 문제는 비교적 광범위하게 허용되어 옴.
  • 개인정보보호에 대한 기본법으로 [개인정보보호법]이 2011년 제정되고 개인정보보호 감독기관인 개인정보보호위원회가 출범함. 그러나 2020년 신기술 업계의 요구를 반영하여 가명처리 등을 완화하는 이른바 ‘데이터3법’ 개정이 이루어져, 가명정보 데이터에 대한 정보주체의 권리 행사가 어려워짐.
• 유럽연합과 미국과 같은 주요 국가들은 고위험 인공지능을 금지하거나 규제하는 입법을 추진중임(자세한 내용은 이후 다른 장에서 소개함).
  • 그러나 우리나라에서는 고위험 인공지능을 금지하거나 규제하는 법제도는 마련되어 있지 않으며, 시민을 대상으로 하는 인공지능 공공기관 조달에서도 투명성과 책무성을 특별히 요구하고 있지 않음.
  • 특히 한국에는 일부 사회 영역에서 여성, 장애인, 노인 등 일부 특성에 대한 차별을 금지하는 법률이 있을 뿐, 포괄적 차별금지법이 없다는 점에서 인공지능에서 금지되는 편향과 차별에 대한 기준이 명확하지 않음. 다만 [헌법]과 [국가인권위원회법]에서 차별금지를 원칙적으로 선언하고 부분적으로 구제하고 있으나 인공지능의 차별을 효과적으로 규율하는 집행이 가능한지 모호함. 또한 특정 개인이 아니라 특정 집단에 대하여 영향을 주는 인공지능의 편향과 차별에 대하여 제한하는 법제도가 없음.
• 공공기관에서도 앞다투어 자동화 알고리즘과 인공지능을 도입해 왔으며 일부는 고위험 인공지능에 해당함. 그러나 그에 부합하는 차별금지와 합법성, 적법절차와 권리구제를 위한 법제도는 갖추지 못함.
  • 대학생에 대해 학자금을 대출해주는 준정부기관 한국장학재단은 2018년 ‘의사결정나무 분석(Decision Tree Analysis)’을 통해 학자금 연체에 영향을 미치는 요인을 분석해 ‘학자금대출 연체 특성 분석’ 자료를 발표했음.
    • 이 분석은 본래 청년들의 급여 수준이나 출신대학에 따른 차별 문제를 짚기 위한 목적으로 발표되었음.
    • 그러나 한국사회에서 역사적으로 학력과 학벌, 그리고 지역은 중요한 차별 요인임. 그럼에도 이를 고려하지 않은 패턴 분석은 특정 집단에 속한 청년들을 낙인찍고 금융서비스 등 의사결정에 사용되어 또다른 편견과 차별로 이어질 우려가 있음.

<그림> 한국장학재단 학자금대출 연체 패턴 분석

출처: 중앙선데이(2018. 9. 29.)

• • 2019년 서울시는 이른바 인공지능을 활용한 ‘로봇수사관’의 도입을 추진하였으나, 개인정보보호위가 위법하다고 판단한 후 중단됨.
    • 서울시는 식품·보건의료·상표권·대부업·방문판매·부동산 등의 ‘민생범죄’에 해당하는 사안들에 대해 특별사법경찰관리로서 수사해 검찰에 송치함.
    • 로봇수사관은 범죄가 주로 SNS를 통해 이뤄진다는 점에 착안해, 일반에 공개되었거나 공개되지 않은 온라인 게시물 수만 건을 자동으로 수집하여 분류함. 즉, 서울 시민이 아닌 불특정다수 이용자가 자신의 SNS에 ‘보톡스’나 ‘신혼부부 특별청약’ 등이 포함된 글을 올리기만 해도 서울시 로봇수사관이 일단 수집해 범죄 관련성을 검토하게 됨.
    • 개인정보보호위는 로봇수사관의 운영 방식이 ‘온라인 불심검문’과 유사하다고 보고, 법적 근거 없이는 위법한 개인정보 수집이라고 판단함.
  • 2021년 경기도 부천시는 코로나19 확진자와 접촉자의 얼굴을 시내 모든 공공 CCTV에서 실시간으로 인식하고 추적하며 인근 기지국에서 이들의 휴대전화번호를 자동으로 수집하는 동선확인 알고리즘을 개발하였음. 그러나 외신에서 논란이 불거진 후 도입이 중단됨.
  • 2021년 제정시행된 [행정기본법]은 “행정청은 법률로 정하는 바에 따라 완전히 자동화된 시스템(인공지능 기술을 적용한 시스템을 포함한다)으로 처분을 할 수 있다. 다만, 처분에 재량이 있는 경우는 그러하지 아니하다.(제20조)”고 규정함. 이로써 인공지능을 이용한 완전히 자동화된 행정처분이 가능해짐.
    • 2023년 개정된 개인정보보호법은 자동화된 결정에 대한 정보주체의 권리에 대한 조항을 신설하고, 자신의 권리 또는 의무에 중대한 영향을 미치는 경우에는 해당 결정을 거부하거나 설명 등을 요구할 수 있는 권리를 규정함(제37조의2). 그러나 이 조항은 「행정기본법」 제20조에 따른 행정청의 자동적 처분은 제외하여 이에 대한 정보주체의 권리 행사는 법제도적으로 모호해짐.
  • 2023년 최대 속도가 110km인 택시가 경찰에서 142km 과속 범칙금을 부과받은 사건이 발생함. 언론 취재 결과 해당 지역경찰청에서 도입한 자동 단속 장비에 오류가 있어 옆차선 차량 속도를 측정한 것으로 밝혀짐. 이 장비가 도입된 후로부터 2년 간 더 많은 피해자가 있었을 것으로 추정됨.
    • 전문가들은 장비와 측정 방법에 대한 오류를 정기적으로 모니터링해야 한다고 지적함.
    • 경찰이 범칙금을 부과하기 위하여 속도 측정, 번호 인식 등에 사용하는 인공지능 고위험에 해당함.

• 이하에서는 특히 위험성이 높은 채용 AI, 범용 인공지능 챗봇, 플랫폼 노동, 출입국 인공지능과 관련하여 한국 사회에서 논쟁이 불거진 사례들을 보다 자세히 소개함.

• 공공기관의 채용 비리가 사회적 문제로 불거지고 코로나19 확산기 비대면 요구가 확산되면서, 최근 몇년 간 공공기관과 민간기업 사이에 ‘채용 AI’ 사용이 급증함. 채용 AI 도구들은 현재 서류나 영상면접에 주로 쓰이고 있음. 이는 사람의 고용 여부에 대하여 중대한 의사 결정 절차에 관여하는 인공지능으로서 고위험에 속함. 그러나 채용 AI를 사용하는 기업이나 기관들이 채용 여부 결정의 이유를 설명하거나 편향성을 방지하는 등 투명성과 책무성을 갖추지 못해 예비 노동자들의 피해가 발생하고 있음.
  • 2022. 7. 고용노동부와 고용정보원의 조사에 의하면, 252개 대형 민간기업 중 40곳(15.9%)이 AI 면접을 도입하였음. 공공기관 역시 2022년 기준 40여 곳이 채용 AI를 도입했음.
  • AI 채용 도구를 채택한 기관과 기업들은 채용절차를 빠르고 효율적으로 처리하는 한편, 인간이 객관적으로 판단하기 어렵다고 알려진 개인별 특성과 잠재력을 판별해낼 수 있기를 기대함.
  • 그러나 청년 등 채용 지원자들 사이에서는 AI 채용의 불투명성과 편향성에 대한 우려가 높음. 특히 ‘야망’, ‘호감도’와 같은 평가 지표에 대한 결과를 어떻게 산출하고 이를 채용 여부에 대한 의사결정에 어떻게 반영하는지, 사투리나 외모적 특성이 불이익을 주지는 않는지에 대한 의문이 제기됨.

<그림> AI 채용 도구 평가 사례

출처: 한겨레21(2020. 10. 23.)

• 인공지능 학습은 일반적으로 인간이 생성한 데이터에 의존하므로, 인공지능이 내리는 결정에도 인간의 차별과 편견이 반영될 수 있음. 따라서 AI 채용이 불공정한 채용과 차별의 문제를 해결하기보다 의사결정의 편향성을 악화시킬 우려가 있음.
  • AI 영상면접 도구 개발사들은 지원자의 얼굴과 목소리를 자동으로 처리해 표정, 감정, 호감도, 언어 습관, 소통능력, 매력도, 신뢰성, 논리성 등 외형적이거나 비언어적인 특성을 분석할 수 있다고 주장함. 일부 도구는 뇌과학 및 신경과학 기반으로 게임을 진행하여 정답과 오답, 응답속도, 의사결정 및 학습속도 등을 평가함.
  • 이러한 AI 채용 도구들의 평가 방식은 재직 중인 ‘고성과자’와 ‘저성과자’의 특성, 대기업 인사 담당자 등 채용 전문가들의 평가 등을 기반으로 학습되고 개발된다고 알려짐.
  • 그러나 성별, 나이, 지역, 신체 조건이나 경제적 지위, 학벌과 학력 등 우리 사회에서 역사적이고 사회적으로 형성되어 온 차별과 편견이 데이터 및 인공지능 모델에 반영될수 있음. 현재의 채용 시장에서 우위에 있거나 대기업이 선호하는 인구집단과 그 반대 인구집단에 대한 호불호가 인공지능에 반영되어 해당 집단에 속한 개인에 대한 의사결정을 좌우할 수 있음.
  • 차별과 편견을 가져올 수 있는 직접적인 특성을 변수에서 제외하더라도 대리변수를 통하여 간접적으로 편향적인 결과물이 산출될 수 있음. 예를 들어 직접 성별 여부를 묻지 않고도 비슷한 특성을 가진 인구집단에 대한 데이터 학습을 통하여 특정 성별 지원자를 고의적으로 배제하는 일이 가능함.
  • 학습 데이터의 대표성 결여 문제도 있음. 장애인의 얼굴, 표정, 행동 등에 대한 데이터가 없거나 부족하여 이를 충분히 학습하지 못한 경우, 알고리즘은 장애인의 특정 행동이나 표정에 대해서 부정적으로 판단할 수 있음. 이처럼 인공지능 기반 의사결정에서는 데이터상으로 대표성이 적은 소수자에 대해서는 불리한 편향이 나타날 수 있음.
  • 특히 AI 면접 도구들에 포함된 인공지능 감정 분석 기능의 경우, 유엔인권최고대표 등 국제기구에서 과학적 근거가 부족하여 활용을 중단해야 한다고 비판하고 있다는 점에서 문제가 심각함. 2023. 6. 14. 유럽연합 의회를 통과한 인공지능법안 의회안은 감정인식을 전면 금지하기도 하였음.
• 인간이 진행하는 채용 절차에도 차별과 불투명성 문제가 있지만, 이를 학습하는 인공지능도 이로부터 자유로울 수 없음. 오히려 딥러닝 등 특정 인공지능 기법은 인간의 의사결정보다 더욱 불투명하게 이루어지고 탈락 사유에 대하여 설명도 할 수 없음.
  • 특히 채용처럼 사람에 대한 중대한 의사결정에 사용되는 인공지능이 그 의사결정의 이유에 대해 설명할 수 없다면 개인의 인권에 심각하게 부정적인 영향을 미칠 우려가 있음.
  • 설명할 수 없는 고위험 인공지능은 책무성에 대한 실패에 해당함. 또한 보다 광범위하고 은밀한 채용 차별을 초래할 수 있고, 사회 전반의 신뢰를 무너뜨릴 수 있음.
• 특히 공공기관 의사결정에 인공지능을 사용하는 데에는 높은 투명성과 책무성이 요구됨. 그러나 현재 확산되고 있는 공공기관 AI 채용 절차에서는 그에 부합하는 설명가능성 및 공정성이 보장되고 있지 않음.
  • 일부 공공기관의 경우, 신입사원 채용에서 AI 면접을 보조수단을 넘어 당락을 결정하는 수단으로 사용해 왔지만, 불합격자에 대하여 어떤 기준을 적용해 불합격시켰는지 당해 기관도 이유를 알고 있지 않았음.
  • 또다른 공공기관의 경우 AI 면접이 ‘참고자료(보조수단)’라고 예고하였지만, 실제로는 접속 오류로 면접이 중단된 지원자들을 일괄 불합격으로 처리하였다가 감사원에서 ‘주의’ 처분을 받았음.
• 2020. 7. 진보네트워크센터는 AI 채용도구를 사용한 13곳의 공공기관에 정보공개를 청구하고 ▲공공기관의 공정한 채용절차 준수 여부 ▲개인정보 침해 여부 ▲차별 및 편향 실태를 확인할 수 있는 자료의 공개를 요구하였음.
  • 그러나 많은 공공기관들이 ‘업체의 영업비밀’이라는 사유나 “AI 면접은 업체에 일임하였기 때문에 우리 기관에는 자료가 없다”는 사유로 비공개하였음.
  • 보유 정보를 공개한 공공기관의 경우에도 AI 채용 절차와 의사결정을 AI 업체에 의존하고 있었음. 대부분의 공공기관들은 AI 업체로부터 지원자에 대한 평가 결과만 받아볼 뿐, 해당 AI 채용 도구와 관련된 데이터와 알고리즘에 대하여 직접 평가하거나 관리감독하고 있지 않았음.
  • 결국 공공기관들은 ‘채용’이라는 인권 침해 위험이 큰 영역에서 인공지능을 사용하면서도 그 영향을 받는 사람들에게 의미가 있는 정보를 제대로 갖추거나 공개하지 않고 있었음. 이는 공공기관이 중요한 의사결정을 자동화하면서도 그 결과에 대해 투명하고 합리적인 설명을 보장하는 책무성을 전혀 갖추지 않았음을 의미함.
• 2020. 10. 진보네트워크센터는 정보공개청구에 성실하게 응하지 않은 공공기관에 대하여 정보공개거부처분 취소소송을 제기함.
  • 2022. 7. 법원은 정보공개거부처분이 위법이라는 취지의 일부 승소 판결을 하였음.
  • 법원은 피고 기관들이 자신들은 가지고 있지 않고 민간기업에 정보가 있다고 주장한 정보에 대한 청구를 각하하였는데, 이로써 피고 기관들이 AI 채용 관련 주요 정보들을 전혀 구비하고 있지 않았음이 확인됨. 공공기관들이 고위험 채용 의사결정에 인공지능을 사용하면서도 그 공정성과 책무성을 보장하기 위한 평가나 최소한의 자료조차 구비하지 않은 데 대하여 제도적 대책이 필요함.
  • 또한 당사자 채용 지원자가 아닌 외부 시민단체가 정보공개청구로는 실제 채용 편향성 여부를 검증할 수 없었다는 한계가 있었음. [채용절차공정화에 관한 법률] 등 현행 법률상 금지되어 있는 채용 차별이 있었는지 여부를 알 수 있는 방법이 없었음.
• AI 채용에 대한 논란이 커지면서 고용노동부가 실태를 조사하고 제도적 대책을 검토하기 시작함.
• 채용 등 고위험 의사결정이나 공공기관 인공지능의 대상이 되는 사람에 대하여 그 결정의 이유를 설명하고 이의 제기와 권리 구제를 보장하여야 함.
  • 채용 AI 등 고위험 인공지능 및 공공기관 인공지능의 제공자 및 사용자는 적절한 자료를 구비하고 보관하여야 함. 특히 위법한 채용 차별에 대하여 규제기관이 효과적으로 조사하고 개입할 수 있어야 함.

• 인공지능 챗봇 이루다는 2020. 12. 출시된 페이스북 메신저 기반 챗봇 서비스임. 실제 20대 여성의 말투와 매우 유사하게 구현되는 기능으로 선풍적인 인기를 끌었고, 출시 2주 만에 75만 명이 이용하였음. 그러나 출시 직후부터 성적 대상화, 여성·장애인·성소수자·흑인 등 인권 취약계층을 혐오하는 대화내용으로 논란을 빚었음. 특히 인공지능 개발과 서비스 운영 과정에서 개인정보보호법 위반이 확인되어 2022. 4. 과태료 등을 처분받았음.

<그림> 이루다 혐오대화 사례

출처: 머니투데이(2021. 1. 9.); 연합뉴스(2021. 1. 10.); 아주경제(2021. 1. 11.)

• 이루다 개발사 (주)스캐터랩이 과거에 출시했던 서비스를 통해 수집한 이용자들의 비공개 카카오톡 대화 내용을 이루다 개발에 사용했다는 사실이 밝혀지며 피해자들의 비판이 거세짐. 개인정보보호위원회가 조사에 착수하자 회사는 일시적으로 서비스를 중단함.
• 2021. 4. 28. 개인정보보호위는 조사 결과를 발표하고 스캐터랩에 약 1억원의 과징금과 과태료를 부과함. 개인정보보호위 조사 결과 스캐터랩은 자사의 ‘텍스트앳(2013. 2. 출시)’과 ‘연애의 과학(2016. 5. 출시)’에서 수집한 카카오톡 대화들을 이루다의 개발과 운영에 이용한 것으로 확인됨. 개인정보보호위는 이와 같은 이루다 서비스의 개발과 서비스 운영이 수집 목적을 벗어나 개인정보를 이용하였기 때문에 위법하다고 보았음.
  • 스캐터랩은 약 60만 명에 달하는 이용자의 카카오톡 대화문장 94억여 건을 이루다 AI 모델 알고리즘의 학습에 이용하였음. 이때 카카오톡 대화에 포함된 이용자의 이름, 휴대전화번호, 주소 등의 개인정보를 삭제하거나 암호화하는 등의 조치를 전혀 하지 않았음.
  • 이루다 서비스 운영 과정에서는, 20대 여성의 카카오톡 대화 문장만 약 1억 건을 추출하여 데이터베이스로 구축하고 이루다가 이 중 한 문장을 선택하여 발화하도록 운영함. 그러나 학습 데이터에 포함된 개인정보를 보호할 수 있는 가명처리가 매우 미흡하게 이루어짐.
  • 스캐터랩은 이들 카카오톡 대화 내용을 수집하였던 ‘텍스트앳’과 ‘연애의 과학’ 개인정보처리방침에 “신규 서비스 개발”을 위해 데이터를 수집한다는 모호한 문구를 포함시키고 이용자가 “로그인함으로써 동의”하였다고 간주함. 그러나 개인정보보호위는 이러한 동의 절차 만으로는 이용자가 이루다 출시 목적의 이용에 동의하였다고 보기 어렵다고 판단함. 또한 ‘신규 서비스 개발’이라는 기재만으로 이용자가 이루다에 카카오톡 대화가 이용될 것을 예상하기 어렵다고 지적함.
  • 특히 스캐터랩은 대화 내용에 포함된 민감정보는 물론, 만 14세 미만 아동 20만 명 분의 개인정보를 적법하게 수집 및 이용하지 않았으며, 회원탈퇴한 사람이나 1년 이상 서비스를 이용하지 않은 사람의 개인정보도 보관하고 이용하였음.
• 이루다 사례는 인공지능이 개발되고 서비스를 위해 운영되는 과정에서도 개인정보보호법 등 현행 법률을 준수하고 정보주체의 신뢰를 얻어야 한다는 것을 보여줌. 인공지능과 개인정보보호 문제에서는 특히 가명정보 데이터에 대한 논란이 커지고 있음. 한국의 개인정보보호법은 ‘과학적 연구’ 등에 한해서만 정보주체 동의 없는 가명정보 처리를 제한적으로 허용함. 개인정보보호위는 이루다가 학습 데이터에 대하여 가명처리를 하지 않았고, 서비스용 데이터베이스에 대한 가명처리가 미흡했던 것이 위법이라고 판단하였음. 그러나 회사가 서비스에 사용될 인공지능을 개발하며 학습시킬 때 정보주체 동의 없이 가명정보 데이터를 사용한다면, 이것이 법에서 허용된 ‘과학적 연구’ 범위 내인지 여부는 회색 영역으로 남아 있음.
• 카카오톡 대화 내용이 무단이용된 데 대하여 피해자 수백 명이 이루다 개발 회사를 상대로 손해배상청구소송을 제기하여 진행 중임. 회사는 개인정보보호위로부터 제재를 받은 후 위원회 점검을 거쳐 2022. 10. 이루다 2.0을 출시하였음. 그러나 이루다의 개인정보 침해 문제 외에 편향적인 서비스 내용에 대해서는 별다른 공적 조사와 조치가 이루어지지 못했음.
• 인공지능 챗봇의 편향성 문제는 우리 사회가 특정 집단에 대하여 가지고 있는 편견을 증대시킬 우려가 있음. 특히 챗봇 그 자체는 고위험에 해당하지 않지만, 범용으로 확장될 수 있기 때문에 경우에 따라 고위험 분야에서 사용될 수 있음. 실제로 스캐터랩의 챗봇 엔진은 다른 회사 AI 스피커에 내장될 예정이었으며, 이와 같은 AI 스피커는 최근 학교 교육에 널리 사용되고, 공공서비스를 통해 노인 가정에 널리 보급되고 있음. 이렇게 공급된 범용 인공지능 챗봇이 학교 시험이나 평가, 공공서비스 등 고위험 분야에 사용될 때, 특정 집단을 혐오하는 대화를 발화하거나 차별적인 의사결정을 초래한다면 매우 중대한 인권침해로 이어질 수 있음.

• 한국의 ‘국민 택시앱’으로 불리우는 ‘카카오T’는 수년 간 가맹과 비가맹 택시기사를 은밀하게 차별했으면서도 그 사실을 계속 부인해 왔음. 그러나 공정거래위원회 조사를 통해 ‘AI 배차’를 비롯한 배차 알고리즘의 조작 사실이 드러났고, 2023. 2. 강력한 시정조치와 과징금을 처분받았음.
• ‘카카오T’는 택시 승객과 기사를 연결해주는 플랫폼 서비스로, 2015. 3. 출시되었음. 2021년 기준으로 한국에서 이 앱의 가입자 수는 3,100만 명(같은 시기 한국 전체인구는 5,100만명)이고 월간활성이용자수(MAU)는 1,000만명에 달함.
  • 카카오T는 한국의 택시 기사 10명 중 9명이 이용하여 왔으며, 카카오T를 운영하는 회사 (주)카카오모빌리티는 택시 ‘일반’ 호출시장에서 2021년 기준으로 92.99%를 지배하는 압도적인 1위 사업자가 되었음.
• 2019. 3. 20. 카카오모빌리티는 그 자회사에서 카카오T와 별도로 월 99,000원을 받는 유료 가맹택시 앱 ‘카카오T 블루’를 출시함. 이때부터 ‘일반’ 택시앱 이용자와 ‘가맹’ 택시앱 이용자 사이에서 차별 의혹이 불거짐. 서울시와 경기도도 자체 조사 결과 차별 가능성이 있다고 발표함. 택시 사업자단체 4곳은 “일반 택시는 호출 승객에게 가까운 거리에 있어도 배차되지 않고, 더 먼 거리에 있는 가맹 택시에게 호출이 간다”고 주장하면서 공정거래위에 신고함.
  • 이에 대하여 카카오모빌리티는 “불공정한 배차가 이루어지지 않았다”고 주장하면서 모든 의혹을 부인함. 카카오모빌리티는 ‘AI 배차 시스템’의 동작 원리를 공개하고, 외부 전문가로 구성된 ‘모빌리티 투명성 위원회’를 구성하여 자체적인 조사를 실시함. 이 위원회는 17억 건에 달하는 택시 콜 발송 이력 데이터를 전수 분석한 결과, AI 배차 로직에 차별이 존재하지 않았다고 발표함.
• 2023. 2. 14. 공정거래위는 3년 간의 조사를 마치고 결과를 발표하였음. 그 결과 카카오모빌리티가 카카오T 앱의 배차 알고리즘을 은밀히 조작하여 가맹택시에게 콜을 몰아주며 우대하였다는 사실이 확인됨. 이에 공정거래위는 카카오모빌리티에 대하여 차별적인 배차를 중지하라는 시정명령과 함께 과징금 257억원을 부과함.
  • 카카오모빌리티는 2019. 3. 20. 가맹택시 서비스를 시작한 때부터 현재까지 ‘일반’ 호출 콜을 가맹기사에게 몰아주는 알고리즘을 은밀히 운영하였음.
  • 우선 회사는 2019. 3. 부터 2020. 4. 까지 가맹기사가 일정한 승객 픽업시간(예: 6분) 내에 존재하면 그보다 가까이 있는 비가맹기사(예: 0~5분)보다 우선배차하였음.

<그림> 카카오T 콜 몰아주기 방식

출처: 공정거래위 보도자료 (2023. 2. 14.)

• • 2020. 4. 도입된 AI 배차는 수락률이 40~50% 이상인 가맹기사 1명이 비가맹기사보다 우선 배차되도록 하였음. 그러나 회사가 AI 배차 도입 이전부터 가맹기사 수락률이 70~80%에 달하도록 관리해 왔다는 점에서, AI 배차 로직은 수락률이 10%에 머물러 있었던 비가맹기사를 불리하게 대우하였음. 예를 들어, 똑같이 별도로 콜을 수락하지 않은 경우에도, 비가맹기사는 ‘거절’했다고 간주한 반면 가맹기사는 거절로 간주하지 않는 방식으로 가맹기사에게 유리한 방식으로 수락률을 산정해 옴.
  • 또한 회사는 2020. 2. 부터 현재까지 수익성이 낮은 1km 미만 단거리 콜에서는 가맹기사 배차를 제외하여 옴.
  • 이로 인해 가맹기사의 운임 수입이 비가맹기사보다 높아졌고 가맹택시 가입자가 크게 증가함. 그 결과 카카오 가맹택시는 우티(우버와 티맵 택시가 합작한 택시 브랜드) 등이 함께 경쟁해 온 가맹택시 시장에서 점유율이 2019년 14.2% 에서 2021년 73.7%로 급상승하였음.

• 카카오모빌리티는 2023. 7. 공정거래위 처분에 불복하여 행정소송을 제기하여 재판이 진행 중임.
• 택시 호출 플랫폼의 알고리즘은 입점 택시 노동자들을 모니터링하고 업무를 할당한다는 점에서 고위험에 해당함. 그럼에도 카카오모빌리티는 ‘AI 배차’를 내세우며 알고리즘의 조작과 차별 사실을 은폐하였고, 택시 노동자와 소비자를 기만하였음. 회사가 ‘자율적으로’ 시행한 알고리즘 소스 공개와 투명성 위원회 또한 아무런 실효성이 없었다는 사실이 드러남. 공정거래위와 같은 이 분야 전문 규제기관의 조사가 이루어진 후에야 비로소 사실이 확인되고 시정이 이루어질 수 있었음.

• 2021. 10. 21. 국회 국정감사와 언론보도를 통해 법무부와 과학기술정보통신부가 인천공항 출입국장의 얼굴 식별 및 추적을 위한 인공지능 시스템 구축 사업에서 출입국 내국인과 외국인의 얼굴 데이터를 정보주체 동의 없이 민간 인공지능 기업들에 제공하였다는 사실이 드러남.
  • 2019년부터 추진해온 ‘인공지능 식별추적시스템 구축 및 실증 공모사업’은 한국이 출입국 심사 목적으로 수집 및 보유하고 있는 내외국인 얼굴 데이터 1억 7천만 건을 정보주체 동의 없이 10여 개 민간기업들에게 인공지능 학습 및 알고리즘 검증용으로 제공함.
  • 이 사업을 통해 개발하려는 얼굴인식 기술은 정지된 상태에서 1:1 매칭으로 본인을 확인하는 기능을 넘어 움직이는 상태에서 불특정 다수에 대한 1:N 매칭으로 얼굴인식을 수행하는 것을 목표로 함.
  • 제공된 얼굴 데이터 규모는 내국인의 경우 2005. 2. 3.부터 이 사건이 알려지기 전날인 2021. 10. 20.까지 출입국한 사람의 사진 5천7백만 장이 이용되었고, 외국인의 경우 2010. 8. 23.부터 2021. 10. 20.까지 출입국한 사람의 사진 1억 2천만 장이 이용되었음. 이 1억 7천만 건은 법무부가 보유한 원본 출입국 데이터 중 얼굴사진이 존재하는 약 3억 2천만 건 중에서 학습용으로 ‘적합한 데이터’로 ‘추출’된 것임.
  • 2021년에는 위 사업과 별도로 이른바 ‘리얼 데이터’를 얻기 위한 목적으로 인천공항 출입국심사장에 CCTV를 추가로 설치하여 내외국인들의 영상을 취득함.

<그림> 인공지능 식별추적시스템의 출입국 얼굴 데이터 처리 과정

출처: 개인정보보호위 심의의결서 (2022. 4. 27.)

• 이에 대하여 과기정통부는 개인정보보호법에 따른 합법적인 얼굴 데이터 처리였다고 주장함.
  • 얼굴인식 정보는 개인정보보호법에서 특별히 보호하기 때문에 정보주체의 별도 동의나 법령의 명시적인 규정이 있어야 처리할 수 있는 생체인식 정보임.
  • 그러나 과기정통부는 이 식별추적 인공지능이 본래의 출입국 목적과 관련된 업무처리를 위한 것으로 민간 제공 역시 별도 본인 동의가 필요하지 않은 개인정보 처리위탁이었다고 주장함.
  • 특히 이 사업을 주무한 과기정통부 산하기관 정보통신산업진흥원(NIPA)은 이슈리포트를 발간하여 사업의 추진 배경이 국내 얼굴인식 기업들의 부담을 경감하는 데 있다고 소개한 바 있음. 즉, 개별 기업으로서는 개인정보보호법상 정보주체의 동의를 획득하는 것이 어렵고, 1인당 수집 및 가공비용이 2~10만원 이상 소요되기에 부담이 크고, 관리 책임의 문제가 있기 때문에 대규모 얼굴 데이터를 확보하는 데 한계가 있다는 것임. NIPA는 이 사업으로 정부가 보유한 고품질 대용량의 얼굴 데이터를 민간 기업이 수월하게 취득하고 학습할 수 있도록 지원할 수 있었다고 주장함.
• 반면 시민단체는 출입국심사 절차에서 본인확인을 위해 수집한 얼굴 데이터를 정보주체 동의 없이 식별추적 인공지능의 학습 데이터로 이용하는 것은 수집 목적을 벗어나 위법한 제3자 제공이라고 주장함.
  • 과기정통부는 개인정보 처리위탁이었다고 주장하지만, 이 사업은 특정업체가 용역입찰을 받아 법무부 시스템을 구축하는 과정에서 얼굴 데이터를 이용한 것이 아니었음. 최소 12개 업체가 동시다발적으로 사업에 참여하여 독자적인 이익을 추구했다는 점에서 합법적인 개인정보 처리위탁이 아니라는 것임.
  • 이들 업체들은 ‘실증’ 또는 ‘성능 검증’을 명분으로 출입국 얼굴 데이터를 이용하여 자사 알고리즘을 학습시키고 고도화하였으나, 이들의 알고리즘과 법무부 출입국 목적의 관련성이 불분명함. 일부 기업은 개발된 알고리즘으로 특허 등 독자적인 지적재산권을 취득하고 해외 시장 등에 영업하기도 하였음.
  • 따라서 시민단체는 얼굴 데이터의 이용 목적이 법무부 시스템 개발이 아니라 기업들의 독자적인 알고리즘 고도화에 있다고 보고, 이는 위헌 위법적인 목적 외 개인정보 제공이라고 주장함.
• 언론보도, 국정감사, 시민단체 문제제기 직후 ‘리얼 데이터’용 CCTV가 신속히 철거됨. 이어 참가 기업 알고리즘의 데이터 학습이 이루어졌던 실증랩이 폐쇄되고 학습에 이용된 모든 데이터가 파기됨.
• 개인정보보호위원회는 2022. 4. 27. 이 사건에 대한 조사 결과를 발표하면서 법무부에게 1백만 원의 과태료를 부과함. 개인정보보호위는 인공지능 개발에 출입국 데이터를 이용한 것이 [출입국관리법]의 목적 범위 내에서 이루어졌고 정당한 위탁 범위에 해당한다고 판단함. 또한 참여 기업의 알고리즘은 개인정보를 학습하였을 뿐 개인정보가 유출되지 않았다고 강조함. 다만 개인정보 처리위탁이라고 하면서 위탁 사실을 공개하지 않은데 대해서만 개인정보처리자인 법무부에 소액의 과태료를 부과함.
  • 그러나 시민단체는 출입국 데이터는 출입국 절차에서 본인확인을 위한 것으로 식별 추적을 위한 얼굴인식을 위한 법적 근거가 될 수 없다고 비판함.
• 내국인과 외국인 정보주체 20명은 법무부에 대하여 자신의 얼굴 데이터가 학습용으로 이용되었는지 여부를 확인하는 열람을 신청하였음. 그러나 법무부는 학습용 데이터는 출입국 데이터 원본에서 개인의 성명, 생년월일, 주민등록번호, 여권번호가 삭제되었고 얼굴사진, 국적, 성별, 출생연도만 포함된 데이터에서는 개인을 특정할 수 없다고 주장하며 열람 신청을 거부함. 또한 본 사업에 이용된 모든 학습 데이터를 파기하였다고 주장함. 이에 신청인들은 2022. 5. 18. 개인정보보호위에 분쟁조정을 신청하였으나, 데이터가 파기된 후에는 이용 여부를 확인할 수 없다며 기각됨.
• 시민단체는 감사원에도 이 사건에 대한 공익감사를 청구하였으나 감사원 역시 특별히 위법한 사실을 발견하지 못하였다며 청구를 기각함.
• 2022. 7. 시민단체는 내국인 1명, 외국인 1명을 청구인으로 하여 헌법소원을 청구함. 청구인과 시민단체는 이 사건 개인정보처리가 개인정보자기결정권 등 기본권을 침해하였음에도 법률적 근거 없이 이루어졌으며, 정보주체에게 아무런 고지나 의견수렴이 없었다고 지적함. 또한 실시간 공공장소 얼굴인식 및 추적이라는 목적이나 수단이 정당·적합하지 않고, 기본권 침해를 최소화하거나 법익의 균형성을 달성하려는 아무런 조치가 없었으므로 과잉금지원칙을 위배한다고 주장함.
• 이 사건 이후인 2023. 1. 25. 국가인권위원회는 얼굴인식 기술에 대한 인권적 통제를 위하여 국회의장과 국무총리에게 입법 조치를 권고하는 의견을 표명함.
  • 국가인권위는 국가에 의한 얼굴인식 기술 도입·활용 시 인권 존중의 원칙을 반영하고, 무분별한 도입과 활용을 제한하며, 공익적 필요성이 인정되는 경우에 한하여 이를 예외적·보충적으로 허용하는 기준을 둘 것을 권고함. 또한 얼굴인식 기술 도입·활용은 반드시 개별적·구체적 법률에 근거하여야 한다고 지적함.
  • 특히 불특정 다수를 대상으로 공공장소에서 ‘실시간 원격 얼굴인식 기술’을 사용하는 것은 기본권 침해 위험성이 매우 크므로, 국가에 의한 실시간 원격 얼굴인식 기술의 도입·활용을 원칙적으로 금지할 것을 권고함. 아울러 인권침해 위험성 방지 법률이 마련되기 전까지, 공공기관은 공공장소 실시간 원격 얼굴인식 기술 사용을 유예(모라토리엄)할 것을 권고함.
• 법무부 식별추적 인공지능은 출입국 심사 및 관리에 사용될 수 있다는 점에서 고위험 인공지능에 해당함. 특히 출입국심사장과 같은 공공장소에서 불특정다수를 대상으로 얼굴과 동작 등 생체정보를 실시간으로 인식하고 추적하는 것은 인권을 과도하게 침해하기 때문에 금지될 필요가 있음.
  • 특히 공공기관이 사용하는 고위험 인공지능에서 국민의 민감정보를 대규모로 학습 이용함으로써 기본권을 제한하였음에도 그 피해사실과 당사자 해당 여부조차 확인할 수 없다는 것은 투명성과 책무성 측면에서 중대한 침해를 낳았음. 고위험 인공지능의 경우 학습 데이터를 비롯하여 개발과정에 대한 기록을 의무화하여 투명성과 책무성을 보장할 필요가 있음.

• 앞서 살펴보았듯이 한국에서도 위험성이 높은 인공지능이 인권에 미치는 부정적 영향과 관련한 논쟁이 불거져 왔음.
  • 일부 위법한 사례의 경우에는 공정거래위, 개인정보보호위 등 규제기관이 부분적으로 개입하여 행정적으로 제재해 왔음.
  • 그러나 빠르게 발전하는 신기술에 대하여 기존 법률의 신속한 적용이 이루어지지 못했고, 금지되는 인공지능의 범위나 고위험 인공지능의 의무에 대한 명확한 법제도가 마련되어 있지 않음. 따라서 위험한 인공지능의 위법성에 대한 방지, 규제기관의 개입, 피해자에 대한 권리 구제가 어려운 상황임.
• 위험한 인공지능의 경우 규제기관이 효과적으로 개입하고 피해자의 권리를 보장할 수 있는 장치가 마련되어야 함. 이를 위해 고위험 인공지능 및 공공기관 인공지능의 제공자는 물론 사용자에게도 법제도적 의무가 부과될 필요가 있음.
  • 공정거래위, 국가인권위, 개인정보위 등 기존의 규제기관을 포함하는 국가 감독 체계가 효과적으로 작동되어야 함. 이를 위해 문서화 등 기록 의무를 부과하고, 투명성과 정보제공을 보장하여야 함.
  • 고위험 인공지능 및 공공기관 인공지능의 제공자는 장래의 위험을 평가하고 완화하며, 특히 데이터의 편향성을 방지하는 조치를 의무적으로 취하여야 함.
  • 고위험 인공지능 및 공공기관 인공지능의 사용자는 사전에 인권에 미치는 부정적 영향을 분석하고 방지하기 위해 인권영향평가를 실시하도록 하여야 함.
  • 공공장소 실시간 얼굴인식은 법률적으로 금지될 필요가 있음.
• 특히 한국에는 포괄적 차별금지법이 아직 없고 집단적 차별에 대한 권리구제가 어려움. 따라서 인공지능의 차별을 방지하기 위한 법제도적 대책이 마련되어야 함.
  • 성별, 나이, 지역, 신체 조건이나 경제적 지위, 학벌과 학력 등 우리 사회에서 역사적이고 사회적으로 형성되어 온 차별과 편견이 인공지능에 반영될 경우 장기간 광범위하고 은밀한 차별이 이루어질 수 있음.
• 그럼에도 정부와 국회 일각에서는 국내 인공지능 산업을 보호육성해야 한다는 논리를 앞세워 규제를 완화하는 인공지능법을 추진하고 있음.
  • 국가인권위원회는 2023. 8. 24. 국회가 논의 중인 인공지능 법률안에서 ‘우선허용·사후규제’ 원칙을 삭제하고, 인권영향평가를 도입해야 한다는 의견을 표명하였음.