2025 IGF 인공지능 세션의 쟁점들
– 오병일(진보네트워크센터 대표)
1. IGF 2025 개요
IGF 2025는 20차 회의로서 2025년 6월 23일~27일까지 노르웨이 릴레스트룀(Lillestrøm)에서 개최되었다.
이번 IGF에는 총 8,833명이 등록했고 3,435명이 현장에 참가했다고 한다. 6000명 이상이 온라인으로 참여하여 총 9,435명 이상이 이 회의에 참여하였다. 참가자의 이해관계자별 분포는 정부 35%, 시민사회 34%, 민간기업 14%, 기술커뮤니티 10%, 정부간기구 6%, 언론 1% 등이다. 이 회의에서는 메인 세션, 워크샵, 공개포럼 등 총 262개의 세션이 개최되었다.
개인적으로는 2014년 이스탄불 IGF 이후 11년만에 참석하였다. 큰 틀에서는 변하지 않았지만, 세션의 진행 방식이 좀 더 다양해지고 시간도 1시간 내외로 짧아진 느낌이다.
이번 IGF에서는 주로 인공지능과 관련한 세션에 참석하였다. 최근 몇 년동안 전 세계적으로 가장 뜨거운 이슈가 인공지능이고, 이번 IGF에서도 인공지능 거버넌스와 관련된 이슈를 다루는 많은 세션들이 제안되었다. 각 세션에서 어떠한 쟁점이 어떠한 관점으로 논의되었는지 살펴보면, 인공지능 거버넌스의 현재 상황을 대략이나마 가늠해볼 수 있을 것이다.
현재 IGF 홈페이지에는 각 세션 보고서를 포함하여 IGF 결과물들이 업로드되어 있기 때문에, 개별 세션에 대한 보다 많은 정보는 이를 참고하면 된다. 디플로재단에서는 AI를 이용해 각 세션의 논의 내용을 포함하여 IGF 주요 이슈를 정리해서 제공하였다. 그래서 이 보고서에서는 각 세션의 내용에 대해 상세히 다루기보다, 개인적으로 주목했던 쟁점이나 의견을 중심으로 정리하였다.
2. 2025 IGF 인공지능 세션의 쟁점들
Day 0 Event #261 AI 생성 콘텐츠에서 윤리적 딜레마를 탐색하기(Navigating Ethical Dilemmas in AI-Generated Content)
RNW 미디어가 주최한 이 세션에서는 미디어 및 저널리즘에서 AI 기술이나 도구를 사용할 때 지켜야 할 윤리 원칙과 행동 방안을 제시한 할렘 선언(Haarlem Declaration)에 대해 소개하였다. 이 선언은 투명성과 설명가능성의 보장 / 윤리적 데이터 관행의 증진 / 정보 무결성 및 콘텐츠 진실성의 보호 / AI 도구 사용시 편향, 위해, 차별의 최소화 / 기술보다는 사람을 중심에 둘 것 / AI 사용의 환경적 영향의 균형 유지 등 6가지 원칙과 사례를 제시하고 있다. 최근 진보넷을 비롯한 한국의 시민사회에서도 AI 기술 및 도구의 윤리적 사용 원칙에 대해 고민을 하고 있기에 이 원칙을 참고할만 하다.
이 세션에서는 구체적인 사례도 발표했는데, 팔레스타인 디지털 권리 단체인 함레(7amleh)의 사례가 흥미로웠다. 함레에서는 분쟁 중 플랫폼 책임 소재 규명과 히브리어 및 아랍어 콘텐츠 관리를 위한 현지화된 AI 모델 개발에 대한 연구 결과를 발표했다. 함레는 팔레스타인의 맥락에서 히브리어와 아랍어로 된 소셜 미디어 플랫폼에서 증오 발언과 폭력의 확산을 모니터링하기 위해 인공 지능 기술을 기반으로 한 언어 모델 도구를 개발했다고 한다. 워크샵 이후 찾아보니 소셜 미디어에서의 증오 발언의 동향을 실시간으로 모니터링하여 보여주는 사이트를 운영하고 있었다. 비영리 민간단체가 이러한 공익 목적의 AI 도구를 개발하기 위한 구체적인 기술적 방법이 궁금하다.
2026년 2월 인도에서 개최될 AI Impact Summit의 사전 행사 성격으로 개최된 이 세션은 AI 불평등과 개발도상국가의 공평한 접근 문제를 국제 협력을 통해 해소하기 위한 방안을 모색하였다. 공평한 접근을 방해하는 장벽으로 연결성, 전기, GPU 등 인프라의 부족 / 기술 및 교육의 격차 / 관련 데이터세트의 부족 등이 지적되었다. 그리고 이러한 문제를 해결하기 위한 방안으로 유네스코, 국제전기통신연합(ITU), OECD의 AI 글로벌 파트너십, 그리고 유엔 이니셔티브와 같은 기구들을 통한 포용적인 다자간 협력의 필요성을 강조되었다.
패널로 참석한 ISPIRIT 설립자 샤라드 샤르마(Sharad Sharma)의 발언이 인상적이었는데, 그는 소셜 미디어에서 우리는 AI 확산의 해로운 영향에 대처하는데 실패해왔고, 이 시스템은 시민보다 국가, 소비자보다 사업자의 권력을 강화시켜 왔다면서 이러한 실패를 초래한 관행을 영속시키지 않아야 한다고 말했다.
AI 불평등 해소를 위해 국제협력이 필수적이라는 점에 대해서는 공감하지만, 현실은 전 세계적으로 기업간, 국가간 AI 개발 경쟁이 치열하게 벌어지고 있고 AI 거버넌스를 위한 실효성있는 규범을 형성하는 것에도 어려움을 겪고 있다. 이러한 상황에서 AI 불평등을 극복하기 위한 현실적인 방안이 무엇일지는 매우 막막하다.
이 세션에서는 소셜 미디어 플랫폼에서 콘텐츠 관리를 위해 사용되는 대규모언어모델(LLM)이 인권에 미치는 영향에 대해 토론하였다. 영어와 같은 고자원 언어와 달리 학습 데이터가 부족한 언어의 경우 LLM을 통한 콘텐츠 관리가 표현의 자유, 프라이버시, 차별 금지 등 인권에 심각한 영향을 미칠 수 있다. 인스타그램이 알아크사 모스크 관련 콘텐츠를 테러 조직으로 잘못 분류한 사례와 페이스북의 오역으로 인해 팔레스타인 건설 노동자가 부당하게 구금된 사례 등이 공유되었는데, 이는 한국에도 이미 알려진 사례들이다. LLM의 정확성 대 포괄성은 트레이드오프 관계에 있는데, 10월 7일 하마스의 이스라엘 공격 직후 메타가 아랍어 콘텐츠에 대한 혐오 발언 분류기의 신뢰 임계값을 85%에서 25%로 낮춰 팔레스타인에서 오는 댓글을 대량으로 삭제했다고 한다. 기업들이 책임 회피를 위해 알고리즘을 조작하여 콘텐츠 대량 삭제를 야기한 것이다.
이러한 문제에 대해 기술적으로는 LLM 개발에 지역 커뮤니티나 소수 언어를 고려하도록 하는 방안 등을 제시할 수 있겠지만, 더욱 중요한 것은 실제 이를 운영하는 플랫폼의 투명성과 책무성을 강화하는 것이라고 생각한다. 메타의 사례에서 볼 수 있다시피, 이는 단지 기술적인 문제가 아니라 플랫폼 기업의 정치적 판단에 좌우될 수 있는 문제이기 때문이다. 특히, 플랫폼 기업의 사업 모델이 콘텐츠 관리 알고리즘에 영향을 미칠 수 있다. 이와 관련하여, EU 디지털시장법에 따라 초거대 플랫폼이 의무적으로 수행해야 하는 시스템적 위험에 대한 영향평가가 이러한 문제를 해결하기 위한 방안이 될 수 있을지 주목할 필요가 있다고 생각한다.
이 세션은 온라인 자유 연합(Freedom Online Coalition)이 2025년 6월 발표한 <인공지능과 인권에 관한 공동 성명서(Joint Statement on Artificial Intelligence and Human Rights 2025)>를 중심으로 논의하였다. 온라인 자유 연합은 인권과 온라인 자유 증진을 위한 국가간 연합으로 현재 42개국 정부가 참여하고 있다. 한국은 2023년에 가입을 했지만, 윤석열 정부는 온-오프라인에서 표현의 자유를 억압한 것(소위 입틀막 정권)으로 악명이 높았다.
이 성명은 “오늘날 AI 시스템은 반대 의견을 억압하고, 공론화를 조작하고, 젠더 기반 폭력을 증폭하고, 불법적이고 임의의 디지털 감시를 가능하게 하며, 불평등과 차별을 강화하는 데 체계적으로 사용되고 있다”고 우려하면서, “국제 인권법을 포함한 국제법에 확고히 뿌리내리고 이를 준수하며, 포용적이고 다자간 프로세스를 통해 책임감 있게 개발되고, 인권과 기본적 자유의 완전한 향유를 존중하면서 인간의 필요와 이익을 충족하는 프레임워크를 구축하기 위해 노력할 것”을 선언하고 있다. 이러한 맥락에서 신뢰할 수 있는 AI에 관한 유엔 총회 결의안 78/265, 유럽 평의회가 체결한 AI와 인권, 민주주의, 그리고 법의 지배에 관한 기본 협약(Council of Europe Framework Convention on AI and Human Rights, Democratic and the Law of Rule) 등 국제적인 노력을 환영하고 있다. 이 선언은 민간 기업의 역할도 강조하면서, “그들은 UN 비즈니스 및 인권에 관한 인도 원칙과 같은 프레임워크에 의해 인도된 인권을 존중하고 그들의 활동과 관련된 불리한 인권 영향을 식별, 완화 및 예방하기 위해 안전 설계 원칙을 설계 및 거버넌스 모델에 통합함으로써 의미있는 책임을 져야한다”고 하고 있다. 이 성명에는 현재 25개국이 서명을 했는데 한국은 아직 서명하지 않았다.
이 세션에서는 정부의 자의적인 감시, 허위조작정보, 소외된 집단에 대한 편견과 차별 등 AI의 인권 위협에 대응하여, 인권기반 AI 거버넌스의 필요성이 강조되었다. 그리고 EU AI 법, UN 글로벌 디지털 협약, 유럽평의회 AI 프레임워크 협약 등 주요 국제적인 거버넌스 메커니즘과 AI 수명주기 전 과정에서 기업의 책임이 논의되었다.
정부들의 이러한 노력은 분명 반가운 일이다. 그러나, 또 다른 공간에서는 마치 현재 AI에 아무런 위험이 없는 것처럼, AI 위험으로부터 인권을 보호하기 위한 안전조치의 요구를 혁신을 가로막는 규제로 간주하기도 한다. 신뢰성있는 AI 거버넌스를 위해서는 이러한 이중적인 모습을 버리고 정부와 기업의 책임을 다해야 한다.
WS #187 인터넷과 AI 거버넌스를 연결하기 : 이론에서부터 실제까지(Bridging Internet & AI Governance: From Theory to Practice)
이 세션에서는 인터넷의 핵심가치를 AI 거버넌스에 어떻게 적용할 수 있을지를 논의하였다. 인터넷과 AI의 특성은 어떻게 다른지, 인터넷의 가치 또는 인터넷 거버넌스의 교훈을 AI 거버넌스에 어떻게 적용할 수 있을지 등이 논의되었다. 인터넷은 개방적이고 분산적이며 투명하고 상호 운용 가능한 원칙에 따라 구축되었지만, 현재 대규모언어모델을 비롯한 AI 시스템은 소수의 대기업이 통제하는 중앙집중적, 불투명한 방식으로 구축되고 있다.
인터넷 거버넌스의 원칙을 AI 거버넌스에 어떻게 적용할 수 있는지에 대한 질문은 처음에는 흥미로웠는데, 논의를 보면서 혼란스러워지기도 했다. 인터넷과 AI의 구조적인 차이를 얘기하지만 그것은 본질적으로 다른 것인가. 인터넷의 가치 또는 인터넷 거버넌스의 원칙은 구조적으로 원래 그러한 것이 아니라, 혁신, 자유, 인권 등의 가치를 위해 공동체가 형성해온 것 아닌가. 인터넷의 특성이 인터넷의 자유와 혁신을 촉발했다고 하지만, 결국 그 구조 위에서 소수의 독점적인 플랫폼이 지배하는 인터넷 환경을 초래하게 된 것 아닌가. 현재의 AI 시스템이 중앙집중적이고 불투명하다고 하지만, AI 시스템이 본질적으로 그러한 특성을 가져야만 하는 것은 아니지 않은가.
어쩌면 이러한 질문들을 던지는 것은 현재의 불평등하고 불투명한 방식으로 이루어지고 있는 AI 시스템의 개발과 거버넌스가 바뀔 필요가 있다는 요구가 있기 때문일 것이다. 비록 현실에서 종종 지켜지지 못했더라도, 인터넷 거버넌스의 원칙은 지금까지 공동체가 합의해왔던 가치를 담고 있다. AI 거버넌스가 그러한 합의된 가치에 기반하는 것은 의미가 있다. 이번 세션에서도 그러한 맥락에서, AI의 투명성과 설명가능성 확대, AI 시스템의 상호운용성 표준의 개발, AI 챗봇이 게이트키퍼가 되는 것이 아니라 출처의 다양성을 보장할 필요성, AI 위험성에 대한 규제, 글로벌 사우스의 참여와 다중 이해관계자 접근 등이 제안되었다.
분명, 현재 AI 거버넌스는 모호하고 AI 시스템이 개발, 보급되는 방식은 여러 측면에서 기존의 인터넷 원칙에서 벗어나있다. 인터넷과 AI의 특성이 다른 부분을 고려해야 겠지만, 기존 인터넷 거버넌스의 원칙들은 바람직한 AI 거버넌스를 형성하는데 도움이 될 수 있을 것이다.
WS #362 AI 위험 관리에 인권을 통합하기 (Incorporating human rights in AI Risk Management)
글로벌 네트워크 이니셔티브(GNI)가 주최한 것으로 AI 위험 관리 관행에 인권을 통합하기 위한 방안에 대해 토론하였다.
GNI(Global Network Initiative)는 기술과 인권의 교차점에서 정부 및 기업 정책과 관행에 대한 책임, 공유 학습, 공동 옹호를 위해 학계, 시민 사회, 기업, 투자자 등 네 가지 이해관계자 그룹을 한데 모으는 다중 이해관계자 이니셔티브이다. GNI는 AI 및 인권 원칙에 대한 이행 지침을 개발했으며, OECD AI 전문가 네트워크에 참여하고 있다. 또한, B-Tech 프로젝트의 ‘생성적 AI 인권 실사(Generative AI Human Rights Due Diligence)‘ 이니셔티브에도 참여하고 있는데, 이 이니셔티브는 AI 시스템에 대한 인권 영향평가를 수행하는 기업을 위한 실질적인 지침을 개발하는 것을 목표로 한다고 한다.
이 세션에서 특히 인상깊었던 것은 한 패널이 “우리는 윤리 원칙을 훌륭하다고 생각하지만, 그것들은 매우 개별적인 것에 불과한 반면, 인권 프레임워크와 국제 인권법은 모두가 합의한 사항이며, 출발점으로서 정말 훌륭한 기반이 됩니다”라고 발언한 것이다. 이에 매우 동의할 수밖에 없는데, 한국에서도 정부와 기업이 인권보다는 AI 윤리만을 강조하기 때문이다. 스스로 AI 윤리 원칙을 만들고 준수하는 것은 좋은 일이지만, AI 규제를 회피하기위한 명분으로 활용되는 것은 문제가 있다.
또한, 이 세션에서 의미가 있었던 것은 고위험 AI 시스템에 대한 의무적인 인권영향평가의 필요성에 대해 폭넓은 공감대가 형성된 것이다. 참가자들은 EU AI법과 유사한 위험 기반 규제 접근법을 지지했다. 필자도 플로어 발언을 통해 한국의 국가인권위원회가 2024년에 AI 인권영향평가도구를 발표했었다는 것과 필자가 이 도구 개발과 올해 초 시범적인 영향평가에 참여했던 경험을 통해, 인권영향평가가 단순한 체크리스트가 아니라 다양한 관점의 교류를 통해 이해관계자 사이의 소통을 강화하고 위험성을 완화하는데 매우 유용하다는 점을 공유했다. 그러나 이 도구는 아직 널리 사용되지 않고 있는데, 주된 이유는 그러한 평가를 실시할 법적 의무가 없기 때문이고, 한국의 AI 기본법도 인권영향평가의 실시를 권고할 뿐이라는 점을 지적하며, 인권영향평가가 실제 활용되기 위해서는 의무화될 필요가 있다고 주장하였다.
또한, 이 세션에서 인권 기반 접근만으로는 AI의 모든 사회적 영향을 포괄할 수 없다는 점이 제기되었다. AI가 미치는 영향은 개인 차원도 있지만, 교육, 고용, 사회 구조 등 사회적 차원에 더 클 수 있는데 인권영향평가로 이러한 영향까지 포착하는 것은 한계가 있을 수 있다는 것이다. 이에 대해 필자는 개별 AI 시스템에 대한 인권영향평가와 특정한 AI 시스템이 사회에 미치는 영향에 대한 평가는 구분될 필요가 있지 않을까 생각한다. 즉, ChatGPT와 같은 개별 챗봇에 대한 인권영향평가와 AI 챗봇 자체가 사회에 미치는 영향에 대한 평가는 구별될 수 있다는 것이다.
유네스코가 주최한 이 세션에서는 지속가능한 AI를 위한 실질적인 해결책이 무엇인지를 중심으로 논의가 진행되었다. 한국에서는 AI와 환경적 지속가능성의 문제에 대한 논의가 많지 않기 때문에 이 세션에 관심이 많았다. 여기서 제안된 몇 가지 해결책은 다음과 같다.
– 에너지 집약적인 대형 모델이 아니라 소규모의 분야별 모델로 전환하기
– 정확도 뿐만 아니라 환경적 영향을 고려하는 새로운 성과 지표가 필요함
– 노력의 중복을 피하기 위해 오픈소스를 통한 협력과 데이터 공유
– 정보에 입각한 의사 결정을 위해, AI 에너지 소비 보고의 투명성 확보 필요
– 지속 가능한 AI 개발 및 배포를 촉진하기 위해 조달 정책, 규제 프레임워크, 교육, 국제 협력, 인센티브 구조 등 포괄적인 거버넌스 필요
한편, 이 세션이 진행된 며칠 후에 유네스코는 자원 효율적인 생성 AI에 관한 보고서를 발표하였다.
자율무기시스템(AWS)은 인공지능의 가장 큰 위협 중의 하나이지만, 국가안보와 관련된 문제이기에 사회적인 토론이 활발하지 않는 이슈 중 하나이다.
AWS와 관련한 가장 큰 쟁점 중의 하나가 ‘인간 통제’ 이슈일텐데, 이번 세션에서도 참가자들 사이의 관점의 차이를 보여주었다. 인권단체는 기계가 자율적으로 생사를 결정하는 것은 인간 존엄성에 위배되며, 책임은 항상 시스템을 사용하는 인간에게 있다는 점을 강조한 반면, 산업계 패널은 군사 지휘통제가 항상 위임된 자율성에 기반해 왔으며, 자율 무기는 혁명이라기보다는 진화를 의미한다고 주장했다. 그리고 설명 가능한 AI와 정밀도 향상을 통해 AI 무기의 위험성이 통제 가능하다고 설명했다.
산업계 패널은 AI 군비 경쟁에 참여하는 것은 매우 나쁜 일이지만, 권위주의 국가에 AI 군비 경쟁에서 지는 것은 훨씬 더 나쁜 일이라고 주장했지만, 중국의 패널은 특정 국가를 선한 자와 악한 자로 추상화하는 것과 러시아와 중국을 한 블록으로 묶는 것에도 반대했다.
AWS 규제를 위한 국제적인 노력이 시급하다는 것에 대해서는 이견이 없었다. 다만, 지정학적인 긴장과 급변하는 기술 때문에 규제 노력의 진전을 막고 있다. 오스트리아 대사는 “이 순간은 우리 세대의 오펜하이머 순간이 될 수도 있다”며 규제의 시급성을 강조했다.
시민사회를 비롯한 모든 이해관계자가 이 논의에 참여하여 AWS에 대한 국제적인 규제에 압력을 행사할 필요가 있을 것이다. 참고로 진보네트워크센터는 2025년 7월 3일에 개최된 2025 한국인터넷거버넌스포럼에서 군사 인공지능 이슈에 대한 워크샵을 개최하였다.
Open Forum #17 AI Regulation: Insights from Parliaments
이 세션에서는 유럽, 이집트, 우루과이, 바레인, 아프리카 등 여러 지역 및 국가 의회에서 AI 규제의 현황과 이슈를 공유하였다.
유럽연합은 2024년에 AI법을 통과하였고 현재 단계적으로 시행에 들어가고 있는데, 충격적인 소식은 유럽연합 내에서 시행 연기에 대해서 논의되고 있다는 것이다. 특히 고위험 AI 시스템 관련 규정 시행에 대해 기업들이 적응 시간 부족 문제를 제기하고 있다고 한다. 이는 최근 AI 개발을 위한 국제적인 경쟁이 심화되고, 특히 트럼프 2기 정부 이후에 각 국가가 AI 규제 완화를 위한 경쟁을 하고 있는 상황과 무관하지 않아 보인다. 한국에서도 2025년 12월에 AI 기본법이 통과되었고 2026년 1월 시행을 앞두고 있는데, 이 법은 규제가 매우 약한 산업친화적인 법이라는 비판을 받고 있음에도 불구하고 한국의 산업계는 이 법의 시행을 3년 유예할 것을 요구하고 있는 상황이다.
다중 이해관계자 대화: 인도 AI 임팩트 정상회의에 대한 열망 (Multistakeholder Dialouge: Aspirations for the India AI Impact Summit)
2026년 2월 19-20일, 인도 뉴델리에서 AI 임팩트 정상회의가 개최된다. 2023년 11월 영국 블레츨리에서 개최된 AI 안전 정상회의, 2024년 5월 서울에서 개최된 AI 서울 정상회의, 2025년 2월 파리에서 개최된 AI 행동 정상회의에 이어 개최되는 것이다.
<공평한 AI 영향 촉진 : 국제 협력의 역할(Catalyzing Equitable AI Impact: The Role of International Cooperation)> 오픈포럼과 함께, 공식적인 세션은 아니었지만 6월 25일 오후 5:30 – 7:00에 AI Impact Summit에 대한 이해관계자의 의견수렴을 위한 회의가 열렸다. 이 회의는 정상회의에서 다뤄질 필요가 있는 의제, 준비 과정, 결과물 등에 대한 여러 이해관계자의 의견을 듣는 자리였다. 그 이전의 AI 정상회의와 다르게 인도 정부가 주도하는 AI Impact Summit은 준비 단계에서부터 학계, 시민사회, 산업계, 기술계 등 이해관계자가 참여할 수 있는 다양한 기회를 제공하려고 노력한다는 점에서 긍정적이다.
