편집자주 :
4월 21일 유럽연합 집행위원회가 인공지능 규제 법안을 공개했습니다. 인공지능 시스템은 삶의 모든 영역에 퍼져가고 있지만, 일부 인공지능 사용의 경우 위험을 내포하고 시민의 안전과 기본권을 침해할 가능성이 높기도 합니다. 이에 대한 명확한 안전장치가 없다면 사회의 차별과 불균형은 더욱 커질 수밖에 없겠지요. 인공지능에 대한 산업 장려를 넘어 인간 중심의 강력한 규제가 필요한 이유입니다.
공개된 규제 법안은 인공지능 시스템에 대한 4단계의 위험 기반 접근법을 담고 있습니다. 일부 ‘허용할 수 없는 위험’ 수준의 경우 완전한 금지부터 ‘고위험’ 수준의 경우 위험에 대한 적합성 평가 , 문서화 및 보관, 정보 제공과 투명성, 감독, 당국의 조사 등의 요건을 갖출 것을 요구하고 있습니다.
전체적으로는 상당히 긍정적이지만 미흡한 점, 특히 생체인식 정보를 활용한 감시 문제에 있어 불안한 모습을 보이기도 합니다. 생체인식 정보를 활용한 감시가 심각한 위험이 있다는 사실은 분명 인정하였으나 실제 사용되는 양상과 비교하면 어느 정도 그 길을 열어준 느낌입니다. ‘법 집행을 위한 실시간’ 식별만 금지하고 있으며 또한 예외까지 있기 때문이죠. 일례로 국내의 사용 현황이나 클리어뷰AI를 활용한 미국 및 유럽의 사용 현황만 봐도 ‘사후’ 얼굴인식을 통한 문제적 신원 식별이 많기 때문에 결코 충분하지 않은 것입니다.
관련해서는 얼굴인식 기술을 통한 감시와 인공지능 기술의 침해 가능성 등에 지속적으로 의견을 제시한 유럽 시민사회 (EDRi, 알고리즘와치, 액세스나우 등)의 입장을 참고하시면 좋겠습니다.
이번에 번역 소개하는 글은 규제 법안에 대한 질의응답 문서입니다. 규제 초안을 전부 소개하기는 힘들지만 대략 어떤 의도를 갖고 무슨 내용을 만들어냈는지 살펴보기엔 좋을 것입니다
번역오류는 policy 골뱅이 jinbo.net 으로 알려주세요.
제목 : 인공지능에 대한 새로운 규칙 – 질의응답
원문제목 : New rules for Artificial Intelligence – Questions and Answers
원문링크 : https://ec.europa.eu/commission/presscorner/detail/en/QANDA_21_1683
일시 : 2021년 04
작성 : 유럽연합 집행위원회 (European Commission)
1. 인공지능에 대한 새로운 규제 프레임워크
인공지능 기술 사용을 왜 규제해야 할까요?
인공지능이 우리 사회에 가져올 잠재적 유익함은 의료 발전부터 더 나은 교육에 이르기까지 다양합니다. 인공지능의 급속한 기술적 성장에 직면한 유럽연합은 이러한 기회를 활용하기 위해 하나로 움직여야 합니다. 대부분의 인공지능 시스템은 위험이 낮거나 없지만, 특정한 인공지능 시스템은 심사숙고하지 않으면 바람직하지 않은 결과를 내놓는 위험을 만들어냅니다. 예를 들어 많은 알고리즘의 불투명성은 불확실성을 야기하며 안전과 기본권에 대한 기존 법률의 효과적인 집행을 방해할지 모릅니다. 이러한 과제에 대응하여, 인공지능 시스템의 내부 시장이 잘 기능할 수 있도록 유익함과 위험이 적절하게 다뤄지는 입법 조치가 필요합니다. 여기에는 생체 인식 시스템 또는 채용, 교육, 의료 서비스, 법 집행과 같은 중요한 개인적 이해관계를 다루는 인공지능 결정과 같은 응용 프로그램이 포함됩니다. 위원회가 제안하는 인공지능에 대한 새로운 규제 프레임워크는 기본권과 사용자 안전을 보장함은 물론이고 인공지능의 개발과 활용에 대한 신뢰를 확보하기 위한 것입니다.
새로운 인공지능 규칙은 어떤 위험을 다루나요?
인공지능 시스템의 활용은 사회적 이익, 경제적 성장, EU 혁신과 글로벌 경쟁력을 높일 수 있는 강한 잠재력을 갖고 있습니다. 허나 경우에 따라서 일부 인공지능 시스템 특유의 특성은 사용자 안전과 기본권과 관련된 새로운 위험을 야기할 수 있습니다. 이는 기업에게 법적 불확실성으로 이어지고 신뢰 부족으로 인해 기업과 시민들의 인공지능 기술 활용을 늦출 수도 있습니다. 각 당국의 이질적인 규제 대응은 내부 시장을 분열시킬 위험이 있습니다.
이 제안은 누구에게 적용되나요?
규제 프레임워크는 인공지능 시스템이 EU 시장에 배치되거나 EU 거주자에게 영향을 미치는 한, 유럽연합 내외부의 공공 및 민간 행위자 모두에게 적용됩니다. 이는 고위험 인공지능 시스템의 공급자 (예: 이력서 심사 도구의 개발자)와 사용자 (예: 이력서 심사도구를 구입한 은행) 모두에게 영향을 미칠 수 있습니다. 이는 사적이거나 비전문적인 용도에는 적용되지 않습니다.
위험 분류는 무엇인가요?
위원회는 4가지 위험 수준으로 구성된 위험 기반 접근법을 제안합니다 :
허용할 수 없는 위험 (Unacceptable risk): 기본권을 침해하여 EU 가치에 반하는 소수 인공지능의 위험한 사용(예 : 정부에 의한 소셜 스코어링, 아동의 취약성 착취, 잠재의식 기술을 활용하는 사용(use of subliminal techniques), 그리고 – 극히 예외적인 경우를 제외한 – 법 집행 목적으로 사용되는 공개적으로 접근 가능한 공간에서의 실시간 원격 생체 인식 시스템) 은 금지됩니다.
고위험 (High-risk): 국민의 안전 또는 기본권 (EU 기본권 헌장에 의해 보장되는) 에 악영향을 미치는, 제안서에 정의된 한정된 수의 인공지능 시스템은 고위험으로 간주됩니다. 제안서에 첨부된 고위험 인공지능 시스템의 목록은 미래의 인공지능 사용 사례의 발전에 따라 조정될 수 있습니다.
여기에는 부문별 EU 법률에서 다루는 제품 안전의 사항 또한 포함됩니다. 해당 부문 법률에 따라 제3자 적합성 평가를 받아야 하는 경우에는 모두 고위험일 것입니다.
신뢰와 일관성 그리고 높은 수준의 안전과 기본권에 대한 보호를 위해, 모든 고위험 인공지능 시스템에 의무적인 요건이 제안됩니다. 이러한 요건은 사용된 데이터의 품질, 기술 문서 및 기록 보관, 사용자에 대한 정보 제공과 투명성, 인간의 감독, 견고성과 정확성 및 사이버보안을 포안합니다. 이는 위반 사항 발생 시 국가 당국이 인공지능 시스템의 사용이 법을 준수했는지 여부를 조사하는 데 필요한 정보에 접근할 수 있도록 합니다.
제안된 프레임워크는 유럽연합의 기본권 헌장과 국제 무역 규약과 일치합니다.
제한된 위험(Limited risk): 일부 인공지능 시스템, 예를 들어 조작의 위험이 뚜렷한 경우 (예: 챗봇 사용을 통해) 등에는 특정한 투명성 요건이 부과됩니다. 사용자는 자신이 기계와 상호작용하고 있다는 것을 알아야만 합니다.
최소 위험(Minimal risk): 다른 모든 인공지능 시스템은 추가적인 법적 의무 없이 기존 법률에 따라 개발되고 사용될 수 있습니다. 현재 EU에서 사용되고 있는 인공지능 시스템의 대부분은 이 범주에 속합니다. 이러한 시스템의 공급자들은 자발적으로 신뢰할 수 있는 인공지능에 대한 요구사항을 적용하고 자발적인 행동 강령을 준수할 것을 선택할 수 있습니다.
독립적인 고위험 인공지능 시스템 (제품에 내장되지 않은) 의 목록을 어떻게 선택하였나요? 이를 업데이트할 것인가요?
‘고위험’의 명확한 정의와 함께 위원회는 규제 프레임워크 안에서 고위험 인공지능 시스템을 식별할 수 있는 견고한 방법론을 제시합니다. 이는 기업과 기타 운영자에게 법적 확실성을 제공하는 것을 목표로 합니다.
위험 분류는 기존 EU 제품 안전 법률에 따라, 인공지능 시스템의 의도된 목적을 기반으로 합니다. 즉 위험의 분류는 인공지능 시스템이 수행하는 기능과 시스템이 사용되는 특정한 목적과 양상에 따라 달라집니다.
이 분류의 기준은 인공지능 응용 프로그램의 사용 범위와 의도된 목적, 잠재적으로 영향 받는 사람의 수, 결과에 대한 의존성과 위험의 불가역성, 기존 연합 법률이 그러한 위험을 예방하거나 상당히 최소화시키기 위한 효과적인 조치를 제공하는 정도 또한 포함합니다.
특정 중요 분야의 목록은 생체 인식(식별과 분류), 주요 기반시설, 교육, 채용 및 고용, 중요한 공공 및 민간 서비스 제공, 법 집행, 망명과 이주 및 정의의 영역에서 이러한 응용 프로그램을 식별함으로써 분류를 명확히 하는 데 도움이 됩니다.
제안서에 첨부된 것은 위원회가 현재 고위험으로 간주하고 있는 사용 사례의 목록입니다. 위원회는 위에서 언급한 기준, 증거, 이해관계자와의 폭넓은 협의에서 나온 전문가의 의견을 바탕으로 해당 목록이 최신의 상태로 유지되며 유의미한지 확인할 것입니다.
본 제안서는 원격 생체 인식을 어떻게 다룹니까?
새로운 규칙에 따르면, 사람의 원격 생체 인식(식별)에 사용되도록 의도된 모든 인공지능 시스템은 고위험으로 간주되며 설계 단계부터의 인간 감독과 문서화 요건을 포함한 사전적인 제3자 적합성 평가의 대상을 받아야 합니다. 높은 품질의 데이터셋과 테스트는 이러한 시스템이 정확한지, 영향 받는 집단에 차별적 영향은 없는지 확인하는 데 도움이 될 것입니다.
법 집행을 목적으로 공개적으로 접근 가능한 공간에서의 실시간 원격 생체 인식(식별) 사용은 인간의 존엄성, 사생활에 대한 존중, 개인정보의 보호 및 비차별 등 기본권에 특별한 위험을 제기합니다. 따라서 이는 엄격하게 정의되고 제한되고 규제되는 극히 소수의 예외와 함께 원칙적으로 금지됩니다. 이 예외는 실종 아동을 포함한 특정한 잠재적 피해자에 대한 표적 수색, 임박한 테러 위협에 대한 대응, 중범죄 범죄자 탐지 및 식별을 위한 법 집행 목적을 포함합니다.
마지막으로, 모든 감정 인식 및 생체 인식(분류) 시스템은 항상 특정한 투명성 요건의 대상이 됩니다. 예를 들어 채용, 교육, 법 집행, 이주 및 국경 통제의 영역에서 확인된 사용 사례에 해당할 경우 고위험 응용 프로그램으로 간주됩니다.
원격 생체 인식(식별)에 특정한 규칙이 필요한 이유는 무엇입니까?
생체 인식(식별)은 스마트폰 잠금 해제를 위한 사용자 인증, 국경 검문소에서 여행 서류와 개인의 신원 대조(1:1 매칭)를 위한 확인/인증처럼 다양한 형태를 취할 수 있습니다. 생체 인식(식별)은 또한 데이터베이스와 사람의 이미지를 대조(1:다 매칭)하여 군중 속의 인물을 식별하는 경우처럼 원격으로 사용될 수도 있습니다.
얼굴 인식 시스템의 정확도는 카메라 품질, 빛, 거리, 데이터베이스, 알고리즘 그리고 대상자의 민족성, 연령 또는 젠더와 같은 광범위한 요인에 따라 크게 달라질 수 있습니다. 걸음걸이 인식과 음성 인식 및 기타 생체정보 시스템도 마찬가지입니다. 고도로 발전된 시스템은 거짓 양성률을 지속적으로 낮추고 있습니다. 99%의 정확도는 일반적으로 좋게 들릴 수 있지만 그 결과가 무고한 사람의 혐의로 이어질 때에는 상당히 위험합니다. 0.1%의 오류율이라도 수만 명의 사람들을 대상으로 한다면 많은 것입니다.
고위험 인공지능 시스템 공급자의 의무는 무엇입니까?
공급자는 고위험 인공지능 시스템을 EU 시장에 배치하거나 다른 방법으로 서비스에 적용하기 전에 반드시 적합성 평가를 받아야만 합니다. 이를 통해 해당 시스템이 신뢰할 수 있는 인공지능(예를 들어 데이터 품질, 문서화 및 추적가능성, 투명성, 인간 감독, 정확성과 견고성)에 대한 의무적인 요건을 준수하고 있는지 입증할 수 있습니다. 시스템 자체 또는 시스템의 목적이 실질적으로 수정된 경우 다시 평가받아야 합니다.일부 인공지능 시스템의 경우 독립적인 인증기관도 이 과정에 참여해야 합니다. 부문별 연합 법률에서 다루는 제품 안전의 사항인 인공지능 시스템은 부문별 법률에 따른 제3자 적합성 평가인 경우 항상 고위험으로 간주됩니다. 또한 생체 인식(식별) 시스템은 항상 제3자 적합성 평가를 요구로 합니다.
고위험 인공지능 시스템 공급자는 제품이 시장에 출시된 후에도 품질 및 위험 관리 시스템을 시행하여 새로운 요건을 준수하고 사용자 및 영향을 받는 사람들에 대한 위험을 최소화시켜야 합니다. 시장 감시 당국은 감사를 통해 그리고 공급자가 인지하게 된 기본권 위반 또는 심각한 사고에 대해 보고할 수 있는 기회를 제공하는 것을 통해 사후 시장 모니터링을 지원할 것이다.
이에 대한 준수는 어떻게 집행됩니까?
회원국은 본 규정의 적용과 집행에서 중요한 역할을 맡고 있습니다. 이런 점에서 각 회원국은 적용과 집행을 감독함과 동시에 시장 감시 활동을 수행할 국가 관할 당국을 지정해야 합니다. 효율성을 높이고 일반 대중 및 기타 상대방과 공식적인 연락 창구를 갖추기 위해 각 회원국은 국가 감독 기관 하나를 지정해야 하며 이는 유럽 인공지능 위원회 (European Artificial Intelligence Board)에서도 국가를 대표하게 됩니다.
유럽 인공지능 위원회(European Artificial Intelligence Board)란 무엇입니까?
유럽 인공지능 위원회는 관할 국가 감독 기관, 유럽 데이터 보호 감독관(EDPS) 및 위원회의 고위 대표로 구성될 것입니다. 유럽 인공지능 위원회의 역할은 새로운 인공지능 규칙이 원활하고 효과적이며 조화롭게 이행될 수 있도록 촉진하는 것입니다. 유럽 인공지능 위원회는 고위험 인공지능 시스템 및 기타 새로운 규칙의 효과적이고 균일한 이행과 관련된 권고사항과 의견을 위원회에 발표할 것입니다. 이는 또한 전문성을 쌓고 국가 당국이 자문할 수 있는 지원센터(competence centre)의 역할을 할 것입니다. 마지막으로 해당 지역의 표준화 활동을 지원합니다.
본 규칙들이 기본권을 어떻게 보호합니까?
EU와 회원국 차원에서 이미 기본권 및 비차별에 대한 강력한 보호가 있지만 특정 인공지능 응용 프로그램의 복잡성과 불투명성 (‘블랙박스’)이 문제가 되고 있습니다. 인공지능에 대한 인간 중심의 접근은 인공지능 응용 프로그램이 기본권 법률을 준수하도록 보장하는 것을 의미합니다. 향상된 집행 능력을 동반하는 책임성 및 투명성 요건은 고위험 인공지능 시스템 활용에 대해 개발 단계에서부터 법률 준수를 감안하게끔 합니다. 위반이 발생할 경우, 이러한 요건은 국가 당국이 인공지능의 사용이 EE 법을 준수했는지 여부를 조사하는 데 필요한 정보에 접근할 수 있게 할 것입니다.
자발적 행동 강령이란 무엇입니까?
위험도가 높지 않은 응용 프로그램의 공급자는 자체적인 자발적 행동 강령을 개발하거나 다른 대표적인 협회 등에서 채택한 행동 강령을 준수함으로써 그들의 인공지능 시스템이 신뢰할 수 있는지 보장할 수 있습니다. 이는 특정 인공지능 시스템에 대한 투명성 의무와 함께 적용됩니다. 위원회는 산업계와 다른 대표적인 기관들이 자발적인 행동 강령을 채택할 것을 권장할 것입니다.
인공지능 시스템과 응용 프로그램의 수입도 프레임워크를 준수해야 합니까?
그렇습니다. 인공지능 시스템 수입자는 외국 공급자가 이미 적절한 적합성 평가 절차를 수행했으며 규제에서 요구하는 기술 문서를 보유하고 있는지 확인해야 합니다. 거기에 더해, 수입자는 해당 시스템에 유럽국가 적합성 (CE) 표시를 지니고 필요한 문서와 사용 지침서가 함께 있는지 확인해야 합니다.
새로운 규칙이 어떻게 혁신을 지원합니까?
규제 프레임워크는 두 가지 방법으로 인공지능의 활용을 향상시킬 수 있습니다. 먼저 사용자의 신뢰가 증가하면 기업과 공공기관이 이용하는 인공지능의 수요 또한 증가할 것입니다. 또한 법적 확실성을 높이고 규칙을 조정함으로써 인공지능 공급자는 사용자와 소비자가 인정하고 구매하는 제품을 가지고 더 큰 시장에 접근할 수 있을 것입니다.
규칙은 엄격하게 필요한 경우에만 적용되며 가벼운 거버넌스 구조로 경제 운영자(economic operators)의 부담을 최소화시키는 방식으로 적용됩니다. 이와 함께 혁신 기술을 제한적으로 테스트할 수 있는 통제된 환경을 구축하는 규제 샌드박스, 디지털 혁신 허브(Digital innovation Hubs) 이용, 시험 및 실험 시설 이용 등을 포함한 우수한 생태계는 혁신기업, 중소기업, 스타트업이 인공지능에 대한 새로운 규칙과 기타 법률 적용 규정을 준수하며 혁신을 이어갈 수 있도록 도울 것입니다. 이는 유럽연합 인공지능 네트워크 혁신센터 (European Networks of AI Excellence Centres, ELISE)와 인공지능 및 데이터와 로봇에 대한 민관 협력과 같은 조치와 함께 기업이 인공지능을 개발하고 배치하기 위한 올바른 프레임워크 조건을 구축하는 데 도움이 될 것입니다.
EU 접근방식의 국제적 관점은 어떻게 됩니까?
인공지능에 대한 규제 프레임워크와 협력 계획 (Coordinated Plan on Artificial Intelligence) 제안은 국제적 수준에서 신뢰할 수 있는 인공지능을 촉진하는 글로벌 리더가 되기 위한 유럽연합의 노력 중 하나입니다. 지정학적이고 상업적인 이해관계 및 보안 문제의 사이에서 인공지능은 전략적 요충지가 되었습니다. 세계 각국은 인공지능의 효용성과 잠재력 때문에 기술 발전에 대한 열망을 보이기를 선택했습니다. 인공지능 규제는 이제 막 등장했을 뿐이며 EU는 규칙에 기반한 다자 체제와 그것이 담고 있는 가치에 맞춰 국제 파트너와 긴밀히 협력해 글로벌 인공지능 기준 설정을 조성하기 위한 조치를 취할 것입니다. EU는 EU 파트너 (예: 일본, 미국, 인도), 다자 (예: OECD, G20)와 지역 기구 (예: 유럽회의)와의 파트너십, 제휴 및 연합을 강화하고자 합니다.
