“현행 인공지능기본법, 인공지능에 대한 인권기반접근에 따라 개선돼야”
시민사회단체, 방한한 유엔인권최고대표 만나 AI 기본법에 대한 의견 제출
- 기업과인권네트워크, 디지털정의네트워크, 정보인권연구소는 2026년 5월 12일 한국을 방문한 유엔인권최고대표(UN High Commissioner for Human Rights)를 만나 <인공지능에 대한 인권기반접근과 인공지능기본법에 대한 시민사회 의견서>를 제출했습니다.
- 볼커 튀르크 유엔 인권최고대표는 5월 12일부터 14일까지 한국을 공식 방문하여 인권 관련 시민단체와 한국 정부 관계자를 만났습니다. 유엔 인권최고대표가 한국을 공식 방문하는 것은 2015년 자이드 알 후세인 최고대표 이후 11년만입니다.
- 유엔인권최고대표 사무소를 비롯하여 유엔인권기구는 각국 정부와 AI 기업에 대하여 “인공지능에 대한 인권기반접근(Human Rights-Based Approach to AI)”을 요구하여 왔습니다. 이와 같은 관점에서 살펴보았을 때 한국의 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(이하 ‘인공지능기본법’)」은 중대한 문제점이 있어 개선이 필요합니다.
- 기업과인권네트워크, 디지털정의네트워크, 정보인권연구소는 최고대표에게 제출한 의견에서 인공지능 인권기반접근의 관점에서 현행 인공지능기본법의 개선이 필요한 항목을 (1) ‘영향받는 자’에 대한 인공지능사업자의 보호 책무를 규정해야 하고, (2) ‘영향받는 자’가 자신에게 영향을 미치는 인공지능의 개발과 배치에 관한 정책에 참여하여 의견을 제시할 수 있도록 보장해야 하며, (3) 인권 침해 위험이 완화될 수 없는 인공지능의 개발과 활용을 금지해야 하고, (4) 기본권 영향평가 제도를 고영향 민간사업자에게 의무화하고 국가인권위원회의 자문을 받아야 하며, (5) 인공지능의 인권 침해에 대한 국가적 진정과 구제 제도를 효과적으로 마련해야 한다고 밝혔습니다.
- 과학기술정보통신부를 비롯하여 인공지능기본법의 개정을 검토 중인 정부와 국회는 유엔이 권고하여 온 인공지능에 대한 인권기반접근을 반영하여 이 법을 개선해 나가야 할 것입니다. 끝.
붙임 : 인공지능에 대한 인권기반접근과 인공지능기본법에 대한 시민사회 의견서(국/영문)
인공지능에 대한 인권기반접근과 인공지능기본법에 대한 시민사회 의견서
2026년 5월 12일
- 우리단체들은 인공지능에 대한 인권기반접근(Human Rights-Based Approach to AI)을 지지한다. 인공지능에 대한 인권기반접근은, 사람을 권리주체 개인으로 대우하고, 권리주체가 자신의 권리를 행사하고 인권침해와 유린에 대하여 구제수단을 찾을 수 있도록 개인의 역량을 강화하고 법·제도적 환경을 조성하는 접근법이다(A/HRC/43/29, para.3). 유엔 의사표현의 자유 특별보고관은 AI의 투명성, 책무성 및 효과적인 구제수단에 대한 접근의 어려움을 지적하면서, 기업이 인권 실사 등 기업과 인권 이행 원칙을 준수해야 할 인권법적 책임이 있다고 지적하였던 바 있다(A/73/348, para.8; para.21). 유엔인권최고대표사무소는 특히 인권침해 구제의 측면에서 기업과 인권 이행원칙을 적용하는 것이 중요하다고 강조하였다(A/HRC/59/32).
- 이와 관련한 한국의 상황을 살펴보면, 2026년 1월 22일 제정시행된 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(이하 ‘인공지능기본법’)」의 입법 과정에서 시민사회 역시 인권기반접근을 요구하여 왔다. 특히 시민사회는 인공지능기본법이 인공지능으로 인하여 잠재적/실재적으로 인권에 부정적 영향을 받는 ‘영향받는 자(affected persons)’의 보호와 구제가 중요하다고 강조하였다. 국회를 통과한 법안에는 ▲영향받는 사람의 정의(§2(9)), ▲고영향 인공지능에 대한 기본권 영향평가(§35), ▲소관부처에 대한 신고 및 민원 절차(§40) 등이 규정되었는데, 이는 시민사회의 요구가 일정하게 반영된 결과로 평가할 수 있다.
- 그럼에도 불구하고 인공지능기본법은 인공지능에 대한 인권기반접근 관점에서 여전히 중대한 결함이 있어 한국 시민사회로부터 비판을 받아 왔다. 현재 이 법률의 소관부처인 과학기술정보통신부는 현재 “인공지능기본법 제도개선 연구반”을 운영하며 인공지능기본법의 개정 방향을 검토 중이다. 우리 단체들은 인공지능기본법을 개정할 때 국제인권규범이 요구하는 인공지능 인권기반접근에 충실하도록 개선하여야 한다고 생각한다.
- 기업이 인권을 존중하는 책임을 진다는 원칙은 유엔 기업과 인권 이행원칙에서 명시하고 있을 뿐만 아니라 한국정부의 인권정책기본계획(NAP)에도 명시되어 있다. 그러나 인공지능기본법이 이를 제대로 반영하고 있는지에 대하여 우리 단체들은 심각한 의문을 가지고 있다. 이에 인공지능기본법이 국제인권규범에서 요구하는 것처럼 기업의 책임성을 실효적으로 확보하여 인공지능 위험으로부터 영향받는 사람을 효과적으로 보호하고 구제할 수 있도록 이하와 같은 개선을 요구한다.
(1) ‘영향받는 자’에 대한 인공지능사업자의 보호 책무를 규정할 것
- ‘영향받는 자’는 “인공지능제품 또는 인공지능서비스에 의하여 자신의 생명, 신체의 안전 및 기본권에 중대한 영향을 받는 자”이며(§2(9)), “인공지능의 최종결과 도출에 활용된 주요 기준 및 원리 등에 대하여 기술적ㆍ합리적으로 가능한 범위에서 명확하고 의미 있는 설명을 제공받을 수 있어야 한다(§3②)”. 그러나 이 위 조항의 수범자는 국가이며 그마저도 의무가 아니라 프로그램적 성격을 가지는 책무로 규정되어 있다. 따라서 법률상으로 인공지능사업자는 이를 이행할 의무가 없다는 중대한 결함이 있다. 다만 ‘고영향 인공지능사업자의 책무(§34)’에는 보호방안이 규정되어 있지만, 이 보호방안의 대상은 ‘이용자’ 뿐이다(§34①(3)). 이를 쉽게 설명하자면, 고영향인공지능사업을 수행하는 빅테크 기업은 영향받는자에 대한 보호방안을 마련하지 않아도 법률상 아무런 책임이 없다는 것이다.
- 인공지능기본법상 고영향 인공지능사업자가 보호해야 할 책무가 있는 대상에는 인공지능으로 인하여 부정적인 영향을 받는 사람들이 포함되지 않는다. 가령, 이 법은 병원, 채용회사, 금융회사는 ‘이용자’로 규정하면서 고영향 인공지능사업자가 이들을 보호하도록 그 책무를 규정하고 있지만, 정작, 환자, 채용구직자, 대출신청자는 이에 포함시키지 않았다. 이 문제에 대해 2025년 12월 21일 국가인권위원회는 “실제로 기본권에 중대한 영향을 받는 구직자·환자·대출 신청자 등에 대한 보호조치가 법령상 공백으로 남아 있다”고 개선을 권고하였다. 2026년 1월 5일 감사원 또한 “고영향 인공지능 활용에 따른 잠재적 피해자가 보호 대상에서 제외”되어 있다며, “고용노동부가 가이드라인을 도입하지 않은 채용 분야의 경우 고영향 인공지능으로부터 영향을 받는 사람에 대한 보호에 공백이 예상되는 등 개별 주무부처의 고영향 인공지능 관리방식에 따라 이해관계자 보호에 차이가 발생할 것으로 예상된다.”고 지적하였다.
- (개선요구)
- 고영향 인공지능사업자의 책무에 ‘영향받는 자’의 보호와 설명을 제공할 수 있는 방안의 수립·운영을 규정할 것
- 병원, 채용회사, 금융회사 등 업무상 목적으로 고영향 인공지능을 이용하는 사업자에 대해서는 고영향 AI 사업자 책무를 적용할 것
<참고1> 고영향 인공지능사업자의 책무 (예: 채용분야)
* 출처: 과학기술정보통신부(2026). 고영향 인공지능 판단 가이드라인(Guidelines for Determining High-Impact AI Systems). pp.16-17.
(2) ‘영향받는 자’가 자신에게 영향을 미치는 인공지능의 개발과 배치에 관한 정책에 참여하여 의견을 제시할 수 있도록 보장할 것
- 인공지능기본법에는 국가인공지능전략위원회(§7), 분과위원회, 특별위원회 및 자문단(§10) 등 국가적인 인공지능 정책 거버넌스에 대하여 규정하고 있다. 그러나 이들 국가 인공지능 정책 거버넌스에는 영향받는 자 또는 해당 이해관계를 대표하는 시민사회단체를 포함하도록 규정하고 있지 않다. 이로 인하여 위원회 구성이 전반적으로 산업계에 편중되어 있다. 국가인권위원회는 국가인공지능전략위원회의 분과위원회 및 특별위원회 구성 시 인권전문가가 산업계·기술계 전문가와 균형 있게 포함될 수 있도록 규정하여야 한다고 권고하였다.
- 인공지능기본법의 이러한 규정은 유엔의 입장에도 반하는 것이다. 유엔 사무총장은 “국제적 의무에 부합하는 신기술의 개발, 확산 및 채택은 권리자의 효과적이고 의미 있는 참여를 통해 향상될 수 있다. 이를 위해 국가는 권리 보유자, 특히 가장 큰 영향을 받거나 부정적인 결과를 겪을 가능성이 높은 권리 보유자가 개발 과정에 효과적으로 참여하고 기여할 수 있는 기회를 창출하고, 신기술의 목표 채택을 촉진해야 한다. 참여와 포괄적인 협의를 통해 국가는 경제적 효율성, 환경적 지속 가능성, 포용성 및 형평성을 갖춘 균형 잡힌 지속 가능한 개발을 추구할 때 어떤 기술이 가장 적절하고 효과적인지 결정할 수 있다.”고 지적한 바 있다(A/73/348, para.47).
- 영향받는 일반 시민과 노동자는 일방적인 인공지능의 수용자나 적용 대상이 아니며, 권리주체로서 존중받아야 한다. 영향받는 사람들이 자신에게 영향을 미치는 국가적 또는 직장의 인공지능 정책의 결정 과정에 참여하고 의견을 제시할 수 있어야 한다는 것은 인공지능시대의 중요한 민주주의 과제이다.
- (개선요구)
- 국가인공지능위원회, 분과위원회, 특별위원회 및 자문단에 영향받는 자 또는 해당 이해관계를 대표하는 시민사회단체를 포함할 것
- 사용자 기업은 사업장에서 고영향 인공지능을 배치하거나 이용하기 전에 노동자 및 노동자 대표에게 관련 사항을 알리도록 할 것
(3) 인권 침해 위험이 완화될 수 없는 인공지능의 개발과 활용을 금지할 것
- 인공지능기본법은 어떠한 인공지능의 개발과 활용에 대해서도 금지하고 있지 않다. 그러나 한국에서는 공공장소 실시간 원격 생체인식, 개인 예측 치안, 직장과 학교의 감정인식, 인공지능무기 등이 빠른 속도로 개발 또는 배치되고 있다. 인권 침해 위험이 완화될 수 없는 인공지능 시스템에 대해서는 금지하는 규정을 두어야 한다.
- 유엔인권최고대표는 “인권 침해 위험을 국제 인권법을 준수하며 운영할 수 없는 인공지능 애플리케이션을 명시적으로 금지하고 인권 향유에 고위험을 수반하는 인공지능 시스템의 판매 및 사용에 대해 인권 보호를 위한 적정한 안전장치가 마련될 때까지 모라토리엄을 부과할 것”을 각국에 권고한 바 있다(A/HRC/48/31, 59(c)).
- (개선요구)
- 인권 침해 위험이 완화될 수 없는 인공지능의 개발과 활용을 금지할 것. 여기에 공공장소 실시간 원격 생체인식, 개인 예측 치안, 직장과 학교의 감정인식, 완전자율살상무기를 포함할 것.
(4) 기본권 영향평가 제도를 고영향 민간사업자에게 의무화하고 국가인권위원회의 자문을 받을 것
- “인공지능 인권영향평가”는 인공지능이 잠재적 또는 실제적으로 인권에 미치는 부정적 영향을 방지하고 완화하기 위한 인권실사의 핵심적 도구이다. 유엔 의사표현의 자유 특별보고관과 유엔인권최고대표 사무소를 비롯하여 여러 국제인권규범에서 인공지능에 대한 인권영향평가의 중요성을 강조하여 왔다. 유럽연합과 미국 콜로라도주 등 여러 국가와 지방에서 인공지능이 기본권에 미치는 영향을 평가하고 조치하는 제도를 마련하고 있기도 하다.
- 인공지능기본법은 고영향 인공지능이 기본권에 미치는 영향을 평가하도록 하였다(§35). 이를 들어 마치 한국의 인공지능기본법이 인권실사를 의무화하고 있다는 국제적인 오해를 만들고 있으나, 이는 명확히 사실이 아니다. 우선, 인공지능기본법상 고영향 인공지능 사업을 수행하는 ‘민간’ 사업자는 ‘노력’할 의무만이 규정되어 있다. 노력의무만 있으므로 이를 강제할 수 없으며, 당연하게 벌칙도 없다. 공공기관에게는 ‘우선적으로 고려’할 의무가 있으나, 조달 관련 규정에 반영되어야 비로소 영향평가가 실제로 고려될 것이다. 이 법이 금지된 인공지능에 대한 규정을 전혀 두고 있지 않으며 고영향 인공지능의 범위가 매우 좁다는 점을 고려하였을 때, 고영향 인공지능사업자라면 공공기관과 민간사업자 모두 의무적으로 영향을 평가하도록 의무화할 필요가 있다.
- 또한, 이 법이 가치사슬에 대한 고려가 완전히 빠져 있다. 인공지능의 위험은 인공지능 시스템의 가치사슬 전반에서 발생한다. 이 때문에 OECD 인공지능 실사지침에서도 AI 개발사뿐 아니라 배치·운영·활용에 관여하는 다양한 행위자에게 책임있는 기업행위 실사를 요구하고 있는 것이다. 하지만 인공지능기본법은 병원·채용회사·금융회사 등 실제로 고영향 인공지능을 활용하여 개인의 권리에 중대한 영향을 미치는 사업자를 단순한 ‘이용자’로 취급함으로써, 가치사슬 하류(downstream) 영역의 책임 공백을 초래하고 있는 것이다.
- 무엇보다 영향평가가 실효적으로 이루어지기 위해서는 기본권에 영향을 받는 개인과 집단이 누구인지 식별한 후 이들을 영향평가 절차에 참여시키고 협의하도록 권장하여야 하며, 특히 부정적 인권영향을 방지하거나 완화하는 조치에 대해서는 이들의 의견을 수렴하여야 한다. 또한, 고영향 인공지능이 그 영향받는 사람에 대한 투명성을 보장하기 위해서는 영향평가 결과를 일정한 수준으로 일반에 공개하여야 한다. 그러나 현재의 기본권 영향평가는 영향 받는 개인과 집단에 대한 협의와 공개를 고려하고 있지 않다. 형식적인 의례 행위에 그치는 영향평가는 고영향 인공지능사업자의 면죄부로서만 남용될 우려가 있다.
- 한편, 국가인권위원회의 권고대로, 고영향 인공지능이 의도된 목적에 따라 배치·사용되는지를 확인하여야 한다. 또한 ‘신규’ 인공지능 제품 또는 서비스 제공 전 뿐만 아니라, ‘중대한 기능 변경’ 전에도 영향평가를 실시하도록 하여야 한다. 무엇보다 국가기관 등이 영향평가 결과를 확인할 수 있도록 인공지능사업자에게 문서와 자료를 요청할 수 있는 근거를 마련할 필요가 있다.
- 영향평가 제도는 ‘기본권에 미치는 영향을 평가’하는 제도이고, 국가인권위원회는 고영향 인공지능 영향평가 기준 및 가이드라인 수립·개정 과정에 인권위와 인권 전문가가 참여할 수 있는 근거를 마련할 필요가 있다고 권고하였다. 그러나 과학기술정보통신부는 국가인권기구인 국가인권위원회의 이 의견을 수용하지 않았으며, 영향평가의 내용과 방법은 물론 전문기관 자격 등 제도 운용에 대하여 국가인권위원회와 전혀 협의하지 않고 있다. 국가인권기구를 배제하는 기본권 영향평가 제도가 그 취지대로 실효적으로 운용될 수 있을지 매우 우려되는 상황이다.
- (개선요구)
- 고영향 인공지능사업자인 공공기관과 민간기업 모두에게 영향평가를 의무화하고 조달 관련 법률 등에 반영할 것
- 영향평가 절차에 영향받는 개인과 집단의 참여와 의견수렴을 보장할 것
- 고영향 인공지능에 대한 영향평가 결과를 일정한 수준으로 공개할 것
- 영향평가에서 인공지능이 의도된 목적에 따라 배치·사용되는지를 확인하도록 할 것
- ‘중대한 기능 변경’ 전에도 영향평가를 실시하도록 할 것
- 국가기관 등이 영향평가 결과를 확인할 수 있도록 인공지능사업자에게 문서와 자료를 요청할 수 있는 근거를 마련할 것
- 영향평가의 내용, 방법, 전문기관의 운용 등에 대하여 국가인권위원회와 협의할 것
(5) 인공지능의 인권 침해에 대한 국가적 진정과 구제 제도를 효과적으로 마련할 것
- 인공지능기본법은 이 법 위반에 대한 신고나 민원을 받고 과학기술정보통신부가 사실조사를 할 수 있도록 규정하고 있다(§40). 그러나 이 법이 인권을 침해한 인공지능사업자에 대한 실제 제재에 이르기까지 신고, 조사, 명령, 명령 미이행 등 상당히 여러 단계를 거쳐야 한다. 또한 사실조사가 인공지능 산업을 진흥하고자 하는 부처가 ‘필요한 경우’ 선택하는 사항이기 때문에 구제의 실효성이 매우 의심스럽다. 과학기술정보통신부는 2026년 1월 22일 인공지능기본법의 시행 이후 ‘최소 1년 이상’의 규제 유예 기간을 둔다고 밝혔기 때문에 이 법에 따른 실제 사업자 규제가 언제 집행될지는 미지수이다.
<참고2> 계도기간 적용 프로세스
* 출처: 과학기술정보통신부(2025). AI기본법 하위법령 제정방향. p5.
- (개선요구)
- 규제 유예 기간을 명확히 하고 최소화할 것
- 이 법을 위반하는 인권 침해를 인지하였거나 신고·민원이 접수된 경우 소관부처 또는 관련 부처(예: 채용의 경우 고용노동부)가 반드시 응답하도록 조치하여 구제의 실효성을 갖출 것
(끝)
Civil Society Opinion on a Human Rights-Based Approach to AI and the Korean AI Framework Act
May 12, 2026
Digital Justice Network, Institute for Digital Rights,
and Korean Transnational Corporations Watch
- Korean civil society organizations support a Human rights-based approach to Artificial Intelligence (AI). A human rights-based approach to AI is “an approach that views people as individual holders of rights, empowers them and promotes a legal and institutional environment to enforce their rights and to seek redress for any human rights violations and abuses” (A/HRC/43/29, para.3). The UN Special Rapporteur on the promotion and protection of the right to freedom of opinion and expression has pointed to the difficulties surrounding AI transparency, accountability, and access to effective remedies, while emphasizing that companies have a responsibility to respect human rights in line with the UN Guiding Principles on Business and Human Rights, including conducting human rights due diligence (A/73/348, para.8; para.21). The Office of the UN High Commissioner for Human Rights (hereinafter the “OHCHR”) has particularly stressed the importance of applying the Guiding Principles on Business and Human Rights in the context of remedies for human rights violations (A/HRC/59/32).
- In the Korean context, civil society also called for a human rights-based approach during the legislative process of the Framework Act on the Development on AI and the Creation of a Foundation for Trust (hereinafter the “AI Framework Act”), which was enacted and came into force on January 22, 2026. In particular, civil society emphasized the importance of protecting and providing remedies for “affected persons” who are potentially or actually negatively impacted in their human rights by AI. The bill passed by the National Assembly included provisions such as ▲ the definition of “impacted person” (§2(9)), ▲ impact assessments for high-impact AI (§35), and ▲ reporting and complaint procedures to competent authorities (§40), which may be seen as partially reflecting civil society’s concerns and demands.
- Nevertheless, the AI Framework Act has been under criticism by civil society for still containing significant shortcomings from the perspective of a human rights-based approach to AI. The Ministry of Science and ICT(hereinafter the “MSIT”), which is currently the competent authority for this law, is operating a “Research Group on Institutional Improvement of the AI Framework Act” and reviewing directions for amending the Act. We believe that when amending the Framework Act on AI, improvements should be made to ensure full compliance with the human rights-based approach to AI required by international human rights norms.
- The principle that companies have a responsibility to respect human rights is not only explicitly stated in the UN Guiding Principles on Business and Human Rights, but is also reflected in the Korean government’s National Action Plan on Human Rights (NAP). However, we have serious concerns as to whether the AI Framework Act properly reflects this principle. Accordingly, we call for the following improvements so that the AI Framework Act can ensure corporate accountability, consistent with international human rights standards, thereby providing effective protection and remedies for people affected by AI-related risks.
(1) Stipulate AI operators’ obligations to protect affected persons
- An “Impacted person” is defined as “a person whose life, physical safety, and fundamental rights are significantly affected by artificial intelligence products or artificial intelligence services” (§2(9)), and such persons “shall be entitled to be provided with a clear and meaningful explanation of the main criteria, principles, etc. utilized in deriving the final output of artificial intelligence, to the extent technically and reasonably possible” (§3②). However, these provisions are directed only at the State and are framed as broad policy responsibilities rather than binding obligations imposed on AI operators. As a result, the Act creates a significant accountability loophole by failing to impose binding legal obligations on AI operators. Although “Responsibilities of business operators regarding high-impact AI” (§34①(3)) provide for protective measures, the beneficiaries of such protections are limited to “users. (§34)” Put simply, this means that big tech companies conducting high-impact AI business bear no legal responsibility even if they fail to establish protective measures for affected persons.
- Under the Act, the subjects whom high-impact AI operators are obligated to protect do not include people negatively affected by AI. For example, while the Act defines hospitals, hiring companies, and financial institutions as “users” and imposes obligations on high-impact AI operators to protect them, it does not include patients, job applicants, or loan applicants within the scope of protection. Regarding this issue, on December 21, 2025, the National Human Rights Commission of Korea recommended legislative improvements, noting that “there remains a legal gap in protection measures for job applicants, patients, loan applicants, and others whose fundamental rights are significantly affected.” On January 5, 2026, the Board of Audit and Inspection also pointed out that “potential victims arising from the use of high-impact AI are excluded from the scope of protection,” and further noted that “in areas such as hiring, where the Ministry of Employment and Labor has not introduced guidelines, gaps in protection for persons affected by high-impact AI are anticipated, and differences in stakeholder protection are expected depending on how each competent ministry manages high-impact AI.”
- (Call for Improvement)
- Amend the Act to explicitly require operators of high-impact AI systems to establish and implement measures to protect affected persons and provide them with meaningful explanations.
- Apply the obligations imposed on high-impact AI operators not only to developers and providers, but also to businesses deploying and using high-impact AI systems for operational purposes, including hospitals, hiring companies, and financial institutions.
<Figure 1> Obligations of High-Impact AI Operators (Example: Employment Sector)
* source: MSIT(2026). Guidelines for Determining High-Impact AI Systems. pp.16-17.
(2) Guarantee the participation of affected persons in AI governance and decision-making
- The Act provides for national AI policy governance bodies, including the Presidential Council on National Artificial Intelligence Strategy (§7), Sectoral committees, special committees, and advisory groups (§10). However, these national AI governance bodies are not required to include affected persons or civil society organizations representing their interests. As a result, the composition of these committees is generally skewed toward industry interests. The National Human Rights Commission of Korea has recommended that the composition of the Sectoral committees and special committees under the National AI Strategy Council should ensure that human rights experts are included in a balanced manner alongside industry and technology experts.
- These provisions are also inconsistent with international human rights standards articulated by the United Nations. The UN Secretary-General has stated that “The development, diffusion and adoption of new technologies consistent with international obligations can be enhanced by effective and meaningful participation of rights holders. Towards that end, States should create opportunities for rights holders, particularly those most affected or likely to suffer adverse consequences, to effectively participate and contribute to the development process, and facilitate targeted adoption of new technologies. Through participation and inclusive consultation, States can determine what technologies would be most appropriate and effective as they pursue balanced and integrated sustainable development with economic efficiency, environmental sustainability, inclusion and equity” (A/73/348, para.47).
- Individuals and workers affected by AI should not be treated merely as passive recipients of technological deployment, but rather as rights-holders. Ensuring that affected persons can participate in and express their views on national or workplace AI policy decisions that affect them is essential to democratic governance in the age of AI.
- (Call for Improvement)
- Include affected persons or civil society organizations representing their interests in the National AI Strategy Council, Sectoral committees, special committees, and advisory groups.
- Require employer companies to inform workers and workers’ representatives before deploying or using high-impact AI in the workplace.
(3) Prohibit the development and use of AI systems that pose unmitigable risks to human rights
- In Korea, technologies such as real-time remote biometric identification in public spaces, predictive policing, emotion recognition in workplaces and schools, and autonomous weapons systems are being rapidly developed and deployed. However, the AI Framework Act does not prohibit any category of AI development or use. AI systems whose risks to human rights cannot be adequately mitigated should therefore be explicitly prohibited.
- The OHCHR has recommended that States “Expressly ban AI applications that cannot be operated in compliance with international human rights law and impose moratoriums on the sale and use of AI systems that carry a high risk for the enjoyment of human rights, unless and until adequate safeguards to protect human rights are in place” (A/HRC/48/31, para.59(c)).
- (Call for Improvement)
- Prohibit the development and use of AI whose risks to human rights cannot be mitigated. This should include real-time remote biometric identification in public spaces, predictive policing, emotion recognition in workplaces and schools, and fully autonomous lethal weapons.
(4) Mandate fundamental rights impact assessments for high-impact private-sector AI operators and require consultation with the National Human Rights Commission of Korea
- “AI human rights impact assessment” is a core human rights due diligence tool for preventing and mitigating the potential or actual adverse impacts of AI on human rights. Various international human rights standards, including those of the UN Special Rapporteur on freedom of opinion and expression and the OHCHR, have emphasized the importance of AI human rights impact assessments. Several jurisdictions, including the EU and the State of Colorado in the US, have also established systems to assess and address the impacts of AI on fundamental rights.
- The Act requires “Impact assessments of high-impact AI” on fundamental rights (§35). This has created an international misunderstanding that Korea’s AI Framework Act mandates human rights due diligence, but this is clearly not the case. First, under the Act, private-sector operators conducting high-impact AI business are subject only to an obligation to “endeavor.” Because this is merely an obligation to make efforts, it is not meaningfully enforceable and carries no effective sanctions. Public institutions are required to “give priority consideration” to such assessments, but impact assessments will only be meaningfully considered when reflected in procurement-related regulations. Given that the Act contains no provisions prohibiting certain AI systems and that the scope of high-impact AI under the Act is extremely narrow, the Act should be amended to mandate impact assessments for both public institutions and private-sector operators deploying high-impact AI systems.
- In addition, the Act completely fails to consider the AI value chain. AI-related risks arise throughout the entire value chain of AI systems. For this reason, the OECD Due Diligence Guidance for AI also calls not only on AI developers but on a wide range of actors involved in the deployment, operation, and use of AI to conduct responsible business conduct due diligence. However, the AI Framework Act treats businesses such as hospitals, hiring companies, and financial institutions—which actually use high-impact AI in ways that significantly affect individuals’ rights—as mere “users,” thereby creating a responsibility gap in the downstream segment of the value chain.
- Above all, for impact assessments to be effective, individuals and groups whose human rights are affected should be identified, and their participation and consultation should be ensured, particularly to gather their views on measures intended to prevent or mitigate adverse human rights impacts. In addition, to ensure transparency toward affected persons, the results of impact assessments for high-impact AI should be disclosed to the public to a certain extent. However, the current impact assessment framework does not adequately provide for consultation with affected individuals and groups or public disclosure of assessment results. As a result, impact assessments risk becoming merely formalistic compliance exercises rather than effective human rights safeguards.
- Furthermore, as recommended by the National Human Rights Commission of Korea, it should be verified whether high-impact AI is deployed and used in accordance with its intended purpose. Impact assessments should also be conducted not only before the provision of a “new” AI product or service, but also before any “significant functional modification.” Most importantly, there is a need to establish a legal basis allowing State authorities and other public bodies to request documents and materials from AI operators in order to verify the results of impact assessments.
- The impact assessment system is intended to “assess impacts on fundamental rights,” and the National Human Rights Commission of Korea recommended establishing a basis for the participation of the Commission and human rights experts in the process of formulating and revising standards and guidelines for high-impact AI impact assessments. However, the MSIT did not accept the recommendations by the National Human Rights Commission, Korea’s national human rights institution, and has not engaged in any consultation with the Commission regarding the content and methodology of impact assessments or even the operation of the system, including the qualifications of specialized institutions. There are serious concerns as to whether the impact assessment that excludes the national human rights institution can operate effectively in line with its intended purpose.
- (Call for Improvement)
- Mandate impact assessments for both public institutions and private companies operating high-impact AI systems, and reflect such requirements in procurement-related laws and regulations.
- Guarantee the participation of and consultation with affected individuals and groups throughout the impact assessment process.
- Disclose the results of impact assessments for high-impact AI systems to a certain extent.
- Require impact assessments to verify whether AI is deployed and used in accordance with its intended purpose.
- Require impact assessments to be conducted prior to any “significant functional modification.”
- Establish a legal basis allowing State authorities and other public bodies to request documents and materials from AI operators in order to verify the results of impact assessments.
- Consult with the National Human Rights Commission of Korea regarding the content and methodology of impact assessments and the operation of specialized institutions.
(5) Establish effective national complaint and remedy mechanisms for AI-related human rights violations
- The Act provides that the MSIT may receive reports or complaints regarding violations of the Act and conduct fact-finding investigations (§40). However, before actual sanctions can be imposed on AI operators that infringe human rights, the process must pass through multiple stages, including reporting, investigation, orders, and noncompliance with orders. Moreover, fact-finding investigations are discretionary measures that may be conducted only “where necessary” by a ministry whose primary mandate includes the promotion of the AI industry. This raises serious concerns regarding the effectiveness and independence of the remedy system. The MSIT has also stated that, following the enforcement of the Act on January 22, 2026, there will be a regulatory grace period of “at least one year,” making it unclear when actual enforcement against AI operators under the Act will begin.
<Figure 2> Process for Applying the Guidance Period
* source: MSIT(2025). Direction for Enacting Subordinate Regulations under the AI Framework Act, p.5.
- (Call for Improvement)
- Clarify and minimize the regulatory grace period.
- Ensure effective remedies by requiring competent ministries and relevant authorities — including the Ministry of Employment and Labor in employment-related cases — to respond promptly when AI-related human rights violations are identified or when reports or complaints are filed under the Act.
— end —
About the Organizations
Digital Justice Network launched in 1998 as the Korean Progressive Network Jinbonet, has provided network services for social movements and advocated for digital rights. The organization adopted its current name in 2025. Recently, it has focused its efforts on addressing the power of Big Tech and protecting the rights of those affected by the risks of artificial intelligence. The Digital Justice Network is a member of the Association for Progressive Communications (APC). http://www.digitaljustice.kr
Institute for Digital Rights was established in 2015 as a civil society-based research institute. It has been dedicated to promoting digital rights in Korean society and incorporating them into policy. Recently, the Institute has introduced a human rights-based approach to AI and worked to integrate this into national frameworks such as the AI Basic Act. Furthermore, it has been exploring various civil society activities to advocate for the rights and empowerment of individuals and groups affected by AI. http://idr.jinbo.net
Korean Transnational Corporations Watch is a Korean civil society coalition working on corporate accountability, business and human rights, and environmental justice in relation to the overseas activities and global supply chains of Korean multinational corporations. https://ktncwatch.org
Contact
For further information, please contact:
Chang, Yeo-Kyung
Executive Director, Institute for Digital Rights