[해외정보인권] 곧 발표될 AI법 시행에 관한 집행위원회 가이드라인의 핵심은 인권과 정의여야 합니다.

다음 성명은 인공지능법 시민사회 연합과 #ProtectNotSurveil 연합이 인공지능법 금지 조항과 인공지능 시스템 정의에 대한 유럽연합 집행위원회의 협의에 따라 공동으로 작성한 것입니다.

곧 발표될 AI법 시행에 관한 집행위원회 가이드라인의 핵심은 인권과 정의여야 합니다.

2024년 12월 11일, 유럽연합 집행위원회의 인공지능(AI) 법 가이드라인에 대한 협의가 종료되었습니다. 이 가이드라인은 AI 시스템을 만들고 사용하는 사람들이 적용 대상 시스템 유형과 명시적으로 금지해야 하는 시스템 유형에 대한 규정을 어떻게 해석할 수 있는지를 결정합니다.

최종 AI법은 특히 치안과 이주 분야에서 기본권 보호와 관련하여 여러 가지 심각한 허점을 드러내고 있으므로, 가이드라인에서 기본권이 의미 있는 AI법 집행을 가능하게 하는 중심적인 지침임을 명확히 하는 것이 중요합니다.

보다 구체적으로, 우리는 AI 사무국이 곧 발표될 AI법 금지 및 AI 시스템 정의에 관한 가이드라인에 기본권 기반 집행을 위한 필수 근거로서 다음과 같은 내용을 포함할 것을 촉구합니다.

1. 비교적 ‘단순한’ 시스템이 AI 시스템 정의의 범위 내에 있음을 명시적으로 명확히 할 것: 덜 복잡한 알고리즘을 사용한다고 해서 이러한 시스템을 AI법의 적용 범위에서 벗어난 것으로 간주해서는 안 됩니다. 개발자가 AI의 정의와 고위험 AI 시스템의 분류를 활용하여 AI법의 의무를 우회할 수 있다는 점을 우려하고 있습니다. 예를 들어, AI 시스템을 규칙 기반 시스템으로 전환하면 동일한 기능을 유지하고 동일한 위험을 수반하면서도 AI법의 규제를 회피할 수 있습니다. 따라서 규제는 기술적인 방법뿐만 아니라 잠재적인 피해에 초점을 맞춰야 합니다. 네덜란드의 SyRI 스캔들은 단순하고 설명 가능한 것처럼 보이지만 사람들의 권리와 삶, 특히 인종 차별적인 사람들과 이주 배경을 가진 사람들에게 치명적인 결과를 가져온 시스템의 명백한 예입니다.

2. 기본권에 ‘용납할 수 없는’ 위험을 초래하는 시스템의 금지를 명확히 하여 소외 계층에 대한 기술의 무기화 및 대량 생체감시의 불법적 사용을 방지할 것. 구체적으로 가이드라인에는 다음과 같은 내용이 반영되어야 합니다:

사회적 점수 평가(social scoring) 금지는 기존의 평가를 그 범위에 포함하도록 명확히 해야 합니다. 특히 복지 및 이민 절차에서의 관행을 포함하도록 명확히 해야 합니다. 이를 위해 가이드라인에서는 덴마크 자동 복지 사례에서 보았듯 ‘비정상적인 생활 방식’과 같은 여러 요소가 위험 지표로 사용될 수 있으므로 ‘사회적 행동’이 광범위하게 해석된다는 점을 명시하고, ‘개인 또는 성격’ 특성에도 프록시 데이터(예. 네덜란드 아동 복지 스캔들 사례의 우편번호), 인종, 민족, 장애, 사회 경제적 지위 및 기타 근거와 관련된 데이터; 급여 자격 또는 개인 위험 평가에 필요한 정보를 초과하는 과도한 불법 데이터 수집과 데이터 세트의 공유 및 병합에 대응하기 위해 사회적 맥락과 관련된 데이터로 간주될 수 있는 것들을 제한해야 합니다. 마지막으로, 가이드라인은 고용, 교육, 복지, 치안, 이주 등 사회적 점수 평가 관행이 만연하며 금지되어야 한다는 광범위한 맥락을 인정해야 합니다.

사건 및 위치 기반 예측을 제외하는 등 제한을 두었음에도, 가이드라인은 ‘범죄를 저지를 위험’을 예측하는 것이 범죄로 규정되고 형법 및 행정적 결과를 초래하는 ‘광범위한 행동’을 예측하는 모든 시스템을 포함한다는 점을 명확히 해야 합니다. 따라서 가이드라인은 네덜란드 프로키드 시스템의 경우처럼 경찰 시스템에 등록될 가능성을 예측하는 시스템도 금지 대상에 포함되며, 불규칙하거나 공공 안전에 위험을 초래하는 것으로 분류되는 경우 그리고 범죄 행위로 간주되는 경우 이민 통제에 사용되는 예측 시스템도 금지 범위에 포함된다는 점을 명시해야 합니다. 이러한 경우 이러한 시스템은 범죄 위험 평가에 해당하므로 금지 대상에 포함되어야 하며, ETIAS에 포함된 위험 평가와 같은 시스템도 금지 대상에 포함되어야 합니다.

현재 얼굴 이미지 정보의 논타겟 스크래핑을 금지하는 규정은 허점의 여지가 있습니다. 가이드라인은 금지 규정에서 예외를 인정하려면 유럽연합 사법재판소의 판례에 부합해야 하며, 인터넷이나 CCTV 영상에서 스크랩된 얼굴은 반드시 범죄 행위와 연관성이 있어야 한다는 점을 명확히 해야 합니다. 그렇지 않으면 무고한 사람의 얼굴 이미지가 범죄 범행과 동일한 CCTV 영상에 등장한다는 이유로 스크랩될 수 있습니다. 우리는 또한 위원회가 제안된 얼굴 이미지 데이터베이스의 정의를 삭제하여 허점을 방지할 것을 촉구합니다. 이렇게 되면 실제 얼굴 이미지가 아닌 신상 정보나 URL만 저장한다고 주장하는 클리어뷰 AI나 핌아이즈와 같은 시스템이 금지 대상에서 벗어나는 허점이 생길 수 있습니다.

시민사회는 인공지능법을 통해 이른바 ‘감정 인식’ 시스템의 합법화에 문제가 있음을 강조했습니다. 이러한 도구는 과학적 기반에 근본적인 결함이 있고, 매우 침해적이며, 특히 치안, 이주, 건강 및 안전 프로그램과 같은 맥락에서 이러한 도구의 대상이 되는 사람들에게 심각한 생명을 위협하는 결과를 초래할 수 있습니다. 따라서 가이드라인은 합법적인 의료 장비(예: 심장 모니터)와 사람의 감정을 유추하거나 식별하는 시스템(예: ‘공격성 감지’)의 차이를 명확히 규정해야 합니다. 후자는 건강 및 안전 도구로 주장할 수 없으며 금지 대상에서 제외됩니다.

생체정보 분류 금지의 경우, ‘인종’과 ‘성생활 또는 성적 지향’에 대한 추론이 각각 금지 범위에 속하는 ‘민족’과 ‘성 정체성’에 대한 추론으로 이어질 수 있으므로, 가이드라인에서 추론이 이루어진 경우에도 금지가 적용된다는 점을 명확히 하는 것이 중요합니다. 예외조항과 관련하여, 가이드라인은 협의문에서 법 집행의 맥락에서는 라벨링이나 필터링이 허용된다는 잘못된 제안을 바로잡아야 하며, 인공지능법 본문은 법 집행의 맥락에서만 예외가 적용된다는 점을 명확히 해야 합니다.

가이드라인은 생체인식 대량 감시를 방지하기 위해 원격 생체인식(RBI)에 대한 문구를 강화해야 합니다. 특히, 수출용 실시간 RBI 시스템 개발이 금지 범위 내에서 고려되어야 하며, “그들의 적극적인 참여 없이”라는 조항이 법 집행 기관이 감시 대상 공간에 포스터나 전단지를 붙이고 사람들이 적극적으로 참여하고 있다고 주장할 수 있으므로 이 정의가 적용되지 않는다는 것을 의미하지 않는다는 점을 명시해야 합니다. 마지막으로, 우리는 사적 및 공적 행위자에 의한 소급 적용을 전면 금지할 것을 계속 요구하지만, ‘상당한 지연’ 조항은 감지 후 최소 24시간이 지나야 한다는 점을 촉구합니다.

3. 다른 유럽연합 법률과의 상호 작용과 관련하여, 가이드라인은 인권법, 특히 EU 기본권 헌장이 이행을 위한 중심 지침이 되어야 하며 모든 인공지능 시스템을 차별, 인종주의, 편견이라는 더 넓은 맥락에서 보아야 한다는 점을 보장해야 합니다. 따라서 가이드라인은 금지 규정의 목적이 예방적 목적에 부합하는 것이므로 피해 예방의 맥락에서 폭넓게 해석되어야 한다는 점을 강조해야 합니다.

마지막으로, 우리는 위원회의 협의 과정의 단점에 주목합니다. 특히 사전 통지 부족과 짧은 제출 기간, 보다 구체적이고 유용한 피드백을 위한 가이드라인 초안의 미공개, 피드백을 위한 접근 가능한 형식의 부족, 복잡하고 때로는 정교한 답변을 요구하는 질문에 대한 엄격한 글자 수 제한(예: AI 시스템의 정의에 대한 질문 2에서는 AI의 정의에서 제외되어야 하는 AI 시스템의 예만 요구하여 AI의 정의를 넓히지 않고 좁힐 수 있게 함) 등이 그 단점으로 꼽힙니다.

우리는 AI 사무국과 유럽위원회가 향후 공식 및 비공식적인 모든 AI 법 시행과 관련된 모든 협의에서 시민사회와 영향을 받는 커뮤니티에 의미 있는 목소리를 제공하고 우리의 의견이 정책 개발 및 시행에 반영될 수 있도록 보장할 것을 촉구합니다.

AI 법을 적극적으로 따르는 시민사회 단체로서 우리는 AI 사무국이 이 법안을 인권에 기반하여 시행하고, AI 산업의 이익보다 인권을 우선시할 것으로 기대합니다.

서명한 단체

Access Now
AlgorithmWatch
Amnesty International
Association for Technology and Internet (ApTI)
ARTICLE 19
Border Violence Monitoring Network (BVMN)
Danes je nov dan
Electronic Frontier Norway (EFN)
Electronic Privacy Information Center (EPIC)
Equinox Initiative for Racial Justice
EuroMed Rights
European Center for Not-for-Profit Law (ECNL)
European Digital Rights (EDRi)
European Disability Forum (EDF)
European Network Against Racism (ENAR)
Federación de Consumidores y Usuarios CECU
Homo Digitalis
Lafede.cat – Organitzacions per la Justícia Global
Liga for Mensenrechten
Panoptykon Foundation
Privacy International
SHARE Foundation
Statewatch