[해외정보인권] OpenAI 내부 고발자의 편지

OpenAI 내부 고발자의 편지

2024년 8월 22일

뉴섬 주지사님, 맥과이어 상원의장님, 리바스 하원의장님께, OpenAI와 다른 AI 회사들은 “일반적으로 인간보다 더 똑똑한 AI 시스템” 즉, 인공 일반 지능을 구축하기 위해 경쟁하고 있습니다. 이는 OpenAI의 사명 선언문에 바로 나와 있으며, 이 회사는 이 목표를 달성하기 위해 수십억 달러를 모금하고 있습니다. 그 과정에서 전례 없는 사이버 공격이나 생물학적 무기 제작 지원 등 사회에 심각한 해를 끼칠 수 있는 시스템을 만들 수도 있습니다. 인공 지능이 완전히 성공한다면 인공 일반 지능은 지금까지 발명된 기술 중 가장 강력한 기술이 될 것입니다.

저희는 이 회사가 개발 중인 엄청나게 강력한 인공지능 시스템의 안전을 보장하고 싶었기 때문에 OpenAI에 합류했습니다. 하지만 OpenAI가 안전하고 정직하며 책임감 있게 AI 시스템을 개발할 것이라는 신뢰를 잃었기 때문에 퇴사했습니다. 그런 점에서 우리는 OpenAI가 SB 1047에 반대하는 로비를 하기로 한 결정에 실망했지만 놀랍지는 않습니다.

적절한 안전 예방 조치 없이 첨단 AI 모델을 개발하는 것은 대중에게 치명적인 피해를 입힐 수 있는 예측 가능한 위험을 초래할 수 있습니다. 올해 초 사이언스(Science)는 25명의 주요 과학자들이 “다가오는 첨단 AI 시스템의 극한 위험”을 설명하는 합의 논문인 ‘급속한 발전 속 극한 AI 위험 관리’를 발표했습니다. 샘 알트먼을 비롯한 이 분야의 리더들은 AI의 최악의 시나리오는 “우리 모두의 정전”이 될 수 있다는 데 동의했습니다.

고위험 시스템에 대한 결정에 대중이 진정으로 참여하기 위해서는 기업의 자발적인 공개뿐만 아니라 정확한 정보가 필요합니다. 경고할 권리 서한에서 논의했듯이, 내부고발자가 이러한 위험과 미래의 AI 모델이 궁극적으로 초래할 수 있는 다른 위험에 대해 관계자에게 경고하는 경우 보호받을 수 있어야 합니다. AI 개발자가 심각하게 안전하지 않은 일을 하고 있다면 연구소의 직원들이 가장 먼저 알게 될 것입니다. 이들을 침묵시키면 모두가 위험에 처하게 됩니다.

OpenAI는 대중에게 신뢰를 주지 못했습니다.

내부 고발자 보호 규정이 없는 상황에서 OpenAI는 우리가 회사를 그만둘 때 수백만 달러의 기득권을 잃을 수 있다는 위협 하에 회사를 비판할 권리를 포기할 것을 요구했습니다.

● “신중하고” “점진적인” 배포 관행을 선전했지만, OpenAI의 내부 안전 절차를 정면으로 위반하면서 인도에 GPT-4를 조기에 배포했습니다.

더 유명한 사례는 OpenAI가 Bing의 챗봇에 기술을 제공한 후 사용자를 위협하고 조작을 시도한 것입니다.

대규모 보안 침해 및 기타 일련의 내부 보안 문제에도 불구하고 OpenAI는 “엄격한 내부 보안 통제”를 갖추고 있다고 주장했습니다. 또한 보안 관행에 대한 우려를 제기했다는 이유로 한 직원을 해고하기도 했습니다.

공동 창립자를 포함한 저명한 안전 연구자들이 회사를 떠났습니다. 인간보다 똑똑한 인공지능 시스템을 제어하는 연구를 담당했던 팀장은 사임하면서 회사가 “인공지능의 영향에 대해 엄청나게 심각하게 생각해야 할 시기가 한참 지났다”며 “안전 문화와 프로세스가 반짝이는 제품보다 뒷전으로 밀려났다”고 말했습니다.

이 사건들이 치명적인 피해를 초래하지는 않았지만, 이는 진정으로 위험한 시스템이 아직 구축되지 않았기 때문이지 기업이 진정으로 위험한 시스템을 다룰 수 있는 안전 프로세스를 갖추지 못했기 때문이 아닙니다.

저희는 고위험 AI 시스템에 대한 결정에 대중의 참여가 있어야 한다고 생각하며, SB 1047은 이를 위한 공간을 마련하는 법안입니다. 이 법안은 안전 및 보안 프로토콜을 공개하여 대중에게 안전 표준에 대해 알릴 것을 요구합니다. 이 법안은 모델이 심각한 피해를 유발하거나 실질적으로 가능하게 할 수 있는 불합리한 위험을 초래하는 경우 캘리포니아 법무장관에게 우려를 제기하는 내부 고발자를 보호합니다. 이 법은 기업이 대중을 오도하여 공공의 안전에 해를 끼치거나 임박한 위협을 초래하는 경우 기업이 처벌을 받을 수 있는 가능성을 제공합니다. 또한 민감한 정보의 삭제를 허용하고 정부 관계자에 대한 공개만 보호함으로써 정당한 지적 재산권 이익을 보호하는 신중한 균형을 유지합니다.

SB 1047에 대한 OpenAI의 불만은 건설적이지 않으며 선의로 보이지 않습니다.

● 이들이 언급하는 기존의 연방 정부 노력과 제안된 법안은 이러한 문제를 해결하기에는 매우 부적절합니다. 이 법안은 내부 고발자를 보호하지 않으며, 대중에게 치명적인 해를 끼칠 수 있는 제품을 출시하는 기업을 막는 데 아무런 역할을 하지 못합니다. 이 법안이 SB 1047을 대체할 수 없다는 것은 명백하며, OpenAI도 이를 잘 알고 있습니다.

의회가 의미 있는 AI 규제를 통과시킬 의향이 없다고 명백히 밝힌 만큼 의회의 행동을 기다릴 수 없습니다. 만약 그렇게 된다면 캘리포니아 법안을 선점할 수 있습니다. “의회의 조치가 필요한 기간 내에 이루어지지 않을 것”이라고 우려하는 현명한 관찰자들의 의견에 Anthropic도 동참합니다.

SB 1047의 요구사항은 OpenAI를 포함한 AI 개발자들이 이미 백악관과 서울에서 자발적인 약속을 통해 대부분 동의한 사항입니다. 가장 큰 차이점은 SB 1047은 AI 개발자들이 이러한 약속을 지키고 있음을 대중에게 보여주고, 지키지 않을 경우 책임을 묻도록 강제한다는 점입니다.

AI 개발자의 대량 이탈에 대한 우려는 기우에 불과합니다. OpenAI도 EU AI 법안에 대해 같은 말을 했지만 실제로는 일어나지 않았습니다. 캘리포니아는 AI 연구를 하기에 세계에서 가장 좋은 곳입니다. 게다가 이 법안의 요건은 지역에 관계없이 캘리포니아에서 사업을 하는 모든 사람에게 적용될 것입니다. 전 고용주가 AI 안전 법안을 무력화하기 위해 겁을 주는 전술을 추구한 것은 매우 실망스러운 일입니다.

전 상사였던 샘 알트먼은 반복적으로 AI 규제를 촉구해 왔습니다. 이제 실제 규제가 논의되고 있는 상황에서 그는 반대하고 있습니다. 그는 “[OpenAI는] 분명히 모든 규제를 준수하고 적극적으로 지지할 것”이라고 말했고, 의회 앞에서 정부의 개입을 촉구하는 증언을 하기도 했습니다. 그러나 OpenAI가 자발적으로 준수한다고 주장하는 SB 1047의 극히 가벼운 요구 사항조차도 반대하고 있어, 그 약속의 강도에 의문이 제기되고 있습니다.

OpenAI의 접근 방식은 Anthropic의 참여와는 대조적이지만, Anthropic이 요구한 일부 변경 사항에는 동의하지 않습니다. Anthropic은 구체적인 우려를 표명하고 변경을 요청했으며, 그 후 이 법안이 실질적으로 이익이 될 가능성이 높으며 “실현 가능한 규정 준수 부담”을 제시한다는 결론을 내렸습니다. OpenAI는 대신 공포를 조장하고 변명하는 방법을 선택했습니다.

캘리포니아 주의회와 뉴섬 주지사가 옳은 일을 하고 SB 1047을 법으로 통과시키길 바랍니다. 적절한 규제를 통해 OpenAI가 AGI를 안전하게 구축한다는 사명 선언에 부응할 수 있기를 바랍니다.

진심으로,
윌리엄 손더스, 전 OpenAI 기술위원
다니엘 코코타즐로, 전 OpenAI 정책 담당 직원