시민의 안전과 인권을 외면한 ‘AI 기본법’ 시행, 이제 바로잡기 위한 노력을 시작해야 한다
– 고영향 AI 규제 없는 졸속 입법의 책임은 국회와 정부에 있다
– AI의 영향을 받는 사람을 보호할 수 있도록 기본법을 개정하라
1월 22일부터 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(이하 AI 기본법)’이 시행되었다. 그러나 이 법은 고영향 AI의 위험으로부터 시민들의 안전과 인권을 보호할 수 있는 조항들을 거의 포함하고 있지 않기에, AI 기업에 대한 규제로서는 사실상 실효성이 없을 것이다. 이에 따라, 지난 1월 5일 감사원의 공공기관 AI 실태 등 실지감사 결과에서 확인되었듯이 제대로 작동하지 않는 엉터리 AI 시스템이 도입되거나, 누군가 AI로 인한 편향적 결정이나 감시로 인해 피해를 입거나, 심지어 건강이나 생명을 위협받는 상황이 발생할 우려가 있다. 이에 대한 책임은 부실한 AI 기본법 제정을 주도한 국회와 정부가 져야할 것이다. 더 이상 시민들의 안전과 인권을 담보로 잡지 말고, AI 기본법을 제대로 개정할 것을 촉구한다.
AI 기본법의 국회 통과 직후 우리 시민사회가 지적한 바와 같이, 지금 시행되는 AI 기본법은 많은 결함을 가지고 있다. 이러한 결함은 하위법령 제정 과정에서 보완이 되어야 했으나, 하위법령 역시 부실한 것은 마찬가지였다. AI 기본법의 중요한 문제점, 그래서 조속히 보완이 필요한 문제점은 다음과 같다.
우선, AI 기본법은 금지해야할 인공지능에 대한 규정이 없으며, 심지어 고영향 인공지능으로도 포함하지 않았다. 예를 들어, 공공 공간에서 시민들의 얼굴을 인식하여 실시간 감시하는 인공지능을 도입해도 된다는 것인지 의문이다.
둘째, AI 기본법의 고영향 인공지능 범위는 매우 협소하다. 시행령에서 그 범위를 확대할 수 있었음에도 하지 않았고, 가이드라인을 통해 오히려 법에서 고영향으로 규정한 분야의 AI 시스템도 고영향으로 아닌 것으로 예외의 범위를 확대하였다. 정부는 시행을 앞두고 ‘사람의 개입’이 있을 경우 고영향 AI가 아닌 것으로 판단한다는 기준을 제시했는데, 이렇게 되면 실질적으로는 AI의 판단에 의존하면서도 사람이 형식으로는 관여하도록 하는 방식으로 규제를 우회하게 될 것이다. 고영향으로 간주되는 AI가 거의 없게되어 이 규정이 사문화되는 것은 아닐지 우려된다.
셋째, 국방 또는 국가안보 목적의 인공지능에 대해 AI 기본법의 적용을 광범위하게 배제하고 있다. 그나마 국가 AI 행동계획(안)에 따르면 국방 AI 기본법은 올해 제정한다고 하지만, 국가정보원이 운용하게 될 AI 시스템은 어떻게 규율하겠다는 것인지 아무런 계획이 없다.
넷째, AI 기본법과 시행령에서 고영향 AI 사업자의 책무에 대해 구체적으로 규정하지 않았다. 책무를 위반했다고 처벌되지 않으며, 과기정통부 시정명령을 이행하지 않을 때에야 소액의 과태료를 부과하고 있는데, 이조차 1년 유예하겠다고 한다. 1년 동안 AI 기업들이 무엇을 해도, 또 이로인해 어떤 문제가 생겨도 정부가 손을 놓고 있겠다는 말과 다르지 않다. 시민들을 AI의 시험대상으로 방치하겠다는 것과 무엇이 다른가. 기업들은 한국에서 최초로 AI 규제가 시행된다고 호들갑을 떨지만, 도대체 AI 기본법에서 기업들에게 요구하는 것이 무엇이 있는지 의문이 아닐 수 없다.
다섯째, 투명성 규정도 미흡하다. 딥페이크에 대해 그 사실을 표시할 의무를 부여하고 있지만, 의무를 수행할 주체가 없다. AI 사업자는 이를 표시할 수 있는 기능만 포함하면 되고, 정작 딥페이크를 만든 당사자(예를 들어 영화제작자)는 이용자이기 때문에 아무런 책무도 부담하지 않기 때문이다. 이것만 보아도 AI 기본법이 얼마나 허술하게 만들어졌는지 알 수 있다.
여섯째, AI 기본법과 하위법령은 이용자에 대한 보호를 규정하고 있으면서도, 정작 AI의 ‘영향받는 사람’의 권리 및 구제조치는 규정하고 있지 않다. 그러나 AI 기본법에서 이용자는 AI 시스템을 이용하는 병원, 금융회사 등 사업자나 공공기관이다. 이들은 AI 시스템의 사용에 대해 ‘영향받는 사람’에게 고지를 하는 등 최소한의 책무를 부여받아야 하지만, AI 기본법은 아무런 책무도 규정하고 있지 않다.
이처럼 AI 기본법이 시민의 안전과 인권을 보호할 수 있는 조치를 전혀 포함하고 있지 않으며, 따라서 세계 최초로 시행했다고 자랑스러워할 일도, 또는 우리만 규제한다고 호들갑을 떨 일도 없다. 이처럼 엉성하게 AI 기본법이 만들어진 이유는 제정 과정에서 정작 AI에 영향을 받는 사람들, 즉 시민사회의 목소리를 배제했기 때문이다.
AI 제품과 서비스를 시장에 출시하기 전에 그것이 제대로 작동하는지 검증해야 한다는 것, 시민의 안전과 인권에 중대한 영향을 미칠 수 있는 고영향 AI의 경우 사전에 위험을 파악하고 완화하며, 문제가 발생할 경우 원인을 추적할 수 있는 조치를 취해야 한다는 것, AI 시스템의 편향적인 결정을 내리지 않도록 데이터 수집 단계에서부터 주의하도록 해야 한다는 것, 내가 AI 시스템의 결정 대상이 되었는지 또는 어떤 콘텐츠가 AI로 만든 것인지 알 수 있도록 해야 한다는 것, 국가정보원이나 수사기관이 최첨단 AI를 시민감시 목적으로 사용하지 못하도록 해야 한다는 것, 이런 요구들이 전혀 과도한 요구라고 생각하지 않는다. 국회와 정부는 현재의 AI 기본법이 이러한 기본적인 사항들을 충족하고 있다고 생각하는가?
코로나19 위기 상황에서 수차례 감염병 예방법을 개정해나간 것처럼, AI 기본법 역시 당분간 수시로 개정하여 AI 기술과 서비스의 급속한 발전과 도입에 발맞춰 시민들의 안전과 인권이 적절하게 보호받을 수 있는 체제를 갖춰나가야 할 것이다. 우리 시민사회 역시 AI 기본법의 문제를 보완할 수 있는 개정안을 적극적으로 제안할 것이다.
2026년 1월 23일
디지털정의네트워크, 민변 디지털정보위원회, 정보인권연구소, 참여연대
