인공지능 시스템에 의한 결정을 행정 행위로 인정하는 제20조 삭제해야{/}[의견서] 행정기본법안 제20조에 대한 의견서

행정기본법안(이하 ‘법안’이라 합니다)은 2020. 7. 7. 국무회의에서 의결된 이후 현재 국회 법제사법위원회에 상정되어 있습니다. 법안은 복잡한 행정원칙의 원칙과 기준을 제시하는 기본법 체계를 구축하고자 한다는 점에서 의의가 있습니다. 그러나 처분을 단순 자동 시스템 뿐만 아니라 인공지능시스템에 의해서도 할 수 있도록 허용한 법안 제20조는 제정대상에서 제외되는 것이 마땅합니다. 인공지능시스템에 의한 처분으로 발생할 수 있는 다양한 문제에 대한 충분한 검토와 논의가 이루어지지 않았기 때문입니다.

우리 단체들이 문제가 있다고 판단하고 있는 조항은 법안 제20조(이하 ‘대상조항’이라 합니다)입니다. 대상조항은 행정청이 재량이 있는 처분을 제외한 모든 처분을 ‘자동화된 시스템’에 의해 할 수 있도록 허용하고 있습니다. 그리고 대상조항은 명시적으로 ‘인공지능 기술을 적용한 시스템’을 ‘자동화된 시스템’에 포함시키고 있습니다.

제20조(자동적 처분) 행정청은 법령으로 정하는 바에 따라 완전히 자동화된 시스템(인공지능 기술을 적용한 시스템을 포함한다)으로 처분을 할 수 있다. 다만, 처분에 재량이 있는 경우는 제외한다.

가. 단순 행정자동화 시스템과 인공지능 기술 적용 시스템의 차이를 반영하지 않았음

대상조항은 완전히 ‘자동화된 시스템’에 ‘인공지능 기술을 적용한 시스템’이 포함된다고 규정하고 있습니다. 즉 대상조항이 규정하는 ‘완전히 자동화된 시스템’은 ‘단순 행정자동화 결정’만을 의미하는 것이 아니라 ‘인공지능에 의한 자동화 결정’까지도 포함하는 자동화 결정을 의미합니다. 그러나 단순 행정자동화 결정과 인공지능에 의한 자동화 결정은 그 구조의 복잡성, 결과예측가능성 등 여러측면에서 본질적 차이가 존재하기 때문에 구분이 필요합니다.

단순 행정자동화 결정은 의사결정 구조가 정형적이고 단순하며, 그 결과가 비교적 예측 가능합니다(예: 과속단속카메라에 의한 과속단속, 컴퓨터추첨에 따른 학교배정 등). 반면 인공지능에 의한 자동화 결정은 비정형적이고, 구조화된 틀에 들어맞지 않는 사안을 알고리즘을 통해 처리하는 방식으로 이루어집니다. 따라서 인공지능에 의한 자동화 결정은 단순 행정자동화 결정에 비해 결과의 예측이 현저히 어렵다는 차이가 존재합니다.

인공지능을 이용할 경우 행정의 효율성은 높아질 수 있습니다. 그러나 인공지능을 구성하는 알고리즘의 안전성, 적법성이 확보되지 않는다면 인공지능에 의한 자동화 결정의 타당성은 논란에서 자유로울 수 없습니다. 그리고 무엇보다 우리나라는 인공지능에 의한 행정에 대한 논의가 제대로 이루어지지 않았고, 이를 받아들일 준비가 미비한 상황입니다.

나. 재량권 행사가 필요한 처분이 기속행위로 변형되어 이루어질 우려가 있음

대상조항은 자동화된 시스템에 의한 처분이 원칙적으로 기속행위에 해당하는 경우에만 허용된다는 한계를 설정하고 있습니다. 그러나 오늘날 행정의 다양성, 복잡성으로 인하여 어떤 행정행위가 기속행위인지 재량행위인지 여부를 구분하는 기준은 명확하지 않습니다.

대법원 또한 기속행위와 재량행위의 구별기준에 대하여 “처분의 근거 법규정의 형식·체제·문언상 표현을 우선적으로 고려하고, 불분명한 경우 행정분야의 주된 목적·특성, 당해 행위의 성질·유형 등을 고려하여 개별적으로 판단하여야 한다”라고 판시하며(대법원 2018. 10. 4. 선고 2014두37702 판결 등), 특정 행정행위가 재량행위인지 기속행위인지 여부는 사법부의 판단을 통해 최종적으로 확인될 수 있다는 입장을 가지고 있습니다.

이처럼 재량행위와 기속행위의 명확한 구별이 어려운 상황에서 대상조항과 같이 인공지능에 의한 자동결정의 방식으로 이루어지는 자동화된 처분(이하 ‘인공지능에 의한 처분’)을 전면적으로 허용하는 경우, 재량권 행사가 필요한 처분도 인공지능에 의해 기속행위로 변형되어 이루어질 우려가 있습니다. 그리고 재량권 행사가 필요한 처분이 기속행위로 변형되어 이루어지면 이는 원칙적으로 ‘재량권을 불행사한 처분’으로서 위법합니다(대법원 2019. 7. 11. 선고 2017두38874 판결 등 참조).

즉 인공지능에 의한 처분의 활성화는 결국 처분에 있어 행정청의 재량권 불행사를 조장할 수 있는 것입니다. 그러나 현재로서는 이러한 위법한 인공지능에 의한 처분에 당사자가 불복하는 것은 사실상 어려울 것으로 보입니다. 공무원의 형식적 개입, 알고리즘에 대한 설명의 불가능성 등 인공지능의 특성을 고려했을 때, 재량권의 불행사를 입증하기 어려울 수 있고, 책임의 주체도 불분명하기 때문입니다.

다. 독일 연방행정절차법 제24조 및 제35조의a 규정의 진정한 의미

법제처는 대상조항의 제정과 관련한 참고자료로 독일 연방행정절차법 제24조(직권조사의원칙)와 제35조의a를 제시하고 있습니다. 하지만 위 조항들은 오히려 대상조항이 부당하게 제정되었다는 점을 보여주는 자료입니다.

독일 연방행정절차법 제24조는 행정 자동화 방식으로 행정행위를 함에 있어 그 행정행위로 인한 침해를 방지하기 위해 조사되지 않은 참여자의 사실 진술을 고려할 의무를 행정청이 부담하도록 규정하고 있습니다.

독일 연방행정절차법
제24조(직권조사원칙) ① 행정청은 직권으로 사안(사실관계)를 조사한다. 행정청은 조사의 방법 및 범위를 정한다 ; 행정청은 참여자의 제시와 증거신청에 구속되지 아니한다. 행정청이 행정행위를 발급하기 위하여 자동장치를 설치한 경우에는, 개별 경우를 위하여 행정청은 자동절차에서 조사되지 않은 참여자의 중요한 사실진술을 고려하여야 한다.

행정 자동화 방식에 의한 처분은 일률적으로 이루어지기 때문에, 사안의 개별 특수성이 반영되지 않는 문제가 있습니다. 독일 연방행정절차법 제24조는 위와 같은 문제를 방지하기 위해 행정청에게 참여자의 중요한 사실진술을 고려할 의무를 부담하도록 규정하고 있는 것입니다. 그러나 대상조항은 사안의 개별 특수성을 반영하지 못하는 자동화처분의 문제를 대비하기 위한 내용을 일체 규정하고 있지 않습니다. 법안에서도 위 문제를 대비하기 위한 조항을 별도로 규정하고 있지 않습니다.

독일 연방행정절차법
제35조의a 행정행위의 완전히 자동화된 발급 법규정에 의해 허용되고, 재량이나 판단여지가 존재하지 아니하면 행정행위는 자동장치에 의해 완전히 발해질 수 있다.

독일 연방행정절차법 제35조의a 또한 대상조항과 큰 차이를 보입니다. 독일연방법 제35조의a가 규정하는 자동장치에는 인공지능 기반 시스템이 포함되어 있지 않기 때문입니다.

학계에서는 독일 연방행정절차법 제35조의a를 완전 자동적 행정을 합법화하는 규정으로 이해하지 않습니다. 학계는 독일 연방행정절차법 제35조의a를 오히려 자동적 행정을 매우 제한적으로 허용하는 규정으로 이해하며, 인공지능에 기반한 자동행정이 허용되지 않는다는 입장을 가지고 있습니다.

독일 행정절차법에서 규정한 완전 자동적 행정행위에 관한 규정은 행정기본법 제20조 인공지능 알고리즘을 활용한 자동적 행정결정에 적용하기에 한계가 있습니다. 독일의 규정은 완전히 자동화된 시스템에 대하여 단순, 반복적인 ‘기속행위’에 적용될 수 있음을 규정한 것이고, 우리의 행정기본법 제20조는 완전히 자동화된 시스템을 인공지능 시스템까지 포함한 것으로 규정하고 있어 향후 적용될 수 있는 분야의 확장성이 매우 넓어 불확실성이 매우 큽니다.

라. 인공지능에 의한 처분으로 인한 적법절차의 원칙 침해 우려

인공지능에 의한 자동화 결정의 경우, 알고리즘이 근거 법률의 목적과 내용을 제대로 구현하지 못해 잘못된 처분을 할 가능성을 배제할 수 없습니다. 이 경우 해당 처분은 시민들의 재산권, 신체의 자유 등 기본권을 부당히 제약하고 차별을 야기할 수 있습니다.

그러나 인공지능에 의한 처분에 있어 공무원의 의사 개입은 사실상 불가능하거나 형식적일 수 밖에 없기 때문에 시민들은 자신에 대한 인공지능에 의한 처분이 부당하다고 생각하여도 공무원으로부터 적절한 설명을 들을 수 없게됩니다. 이에따라 부당한 인공지능에 의한 처분의 책임 소재도 희석될 우려가 있습니다.

헌법재판소는 “헌법상 적법절차의 원칙은 형사절차뿐만 아니라 입법과 행정 등 국가의 ‘모든’ 공권력 행사에 적용된다”고 보았습니다(헌법재판소 1992. 12. 24 선고 92헌가8 결정 등). 대법원 역시 “헌법상 적법절차의 원칙은 형사소송절차 뿐만아니라 국민에게 부담을 주는 행정작용에서도 준수되어야 한다”고 판시하고 있습니다(대법원 2012. 10. 18 선고 2010두1234 판결).

이처럼 헌법상 적법절차의 원칙은 행정절차에도 적용되기 때문에 처분의 당사자인 시민은 자동화된 처분이더라도 그 처분이 어떠한 경위로 이루어진 것인지 설명을 받을 수 있는 권리를 가져야 합니다. 또한 자동화된 처분으로 피해를 입은 경우 적절한 구제를 받을 권리를 가집니다. 그러나 인공지능에 의한 처분은 시민들의 위 설명을 받을 수 있는 권리와 구제를 받을 권리를 광범위하게 제약할 수 있습니다. 인공지능에 의한 처분의 경우 현재 행정절차법상에서는 사실상 처분의 사전통지, 이의권 등을 행사하기 어렵기 때문입니다.

과학기술 발전에 따라 행정의 모든 영역에서 전문성과 복잡성이 커지고 있기 때문에 무엇이 최선의 결정인가 보다는 어떠한 논의과정을 거쳐 해결책을 찾을 것인가에 대한 절차적 보장이 중요합니다. 인공지능 시스템이 개인의 권리에 중대한 영향을 미치는 행정적 의사결정에 사용될 때에도 적법절차의 원칙은 준수되어야 합니다. 마땅히 그 의사결정에 대해서 당사자들이 근거를 밝히도록 요구하고, 설명을 들을 수 있어야 합니다.

그러나 인공지능을 구성하는 알고리즘을 어떻게 설명할 것인지, 인공지능에 의한 처분으로 발생하는 손해의 책임을 누구에게 귀속시킬 것인지 등에 관한 사회적 논의가 심도있게 이루어지지 않았고 관련 법체계 역시 구축되지 않았습니다. 이러한 상황에서 대상조항에 따라 인공지능에 의한 처분을 전면 허용한다면, 시민들이 행정에 종속되거나 객체적 지위에 머물고, 행정과정에서 자신들의 권익을 보호할 수 없게 되는 등 헌법이 보장하고 있는 적법절차의 원칙이 심각하게 훼손당할 것입니다.

마. 인공지능 시스템을 검증하고 평가할 수 있는 별도의 법체계 마련이 필요

영국 옥스포드 인사이트(Oxford Insights)가 발표한 2019년 정부 AI 준비지수(2019 Government AI Readiness Index)에서 우리나라는 26위라는 낮은 순위로 평가되었습니다. 위 준비지수는 당사국이 공공 서비스 제공에 인공지능를 사용할 준비가 됐는지를 평가할 수 있는 지표입니다. 영국 옥스포드 인사이트가 위와 같은 평가를 한 이유는 인공지능 시스템이 윤리 및 안전에 대한 충분한 관리 없이 공공분야에 시행되는 것이 매우 위험할 수 있기 때문입니다.

위 지표가 절대적인 것은 아니지만, 우리나라가 상당히 낮은 순위로 평가되었다는 사실을 엄중하게 받아들일 필요가 있습니다. 이는 공공영역에 인공지능 시스템을 도입하는 것에 대한 철저한 점검이 필요하다는 점을 시사합니다.

행정처분의 영역에서 인공지능의 활용은 구체화된 행정입법을 알고리즘에 구현하는 방식으로 이루어집니다. 이때 알고리즘에 행정입법의 취지가 충분하고 정당하게 반영되었는지를 검증하고 사후적으로 관리하는 것이 필요합니다. 뿐만 아니라 알고리즘을 투명하고, 보편적 수준에서 이해가능한 방법으로 공개하여야 하고, 헌법적 가치 또한 충분히 반영되었는지를 평가할 수 있어야 합니다. 따라서 인공지능의 앞서 인공지능 시스템을 포함한 행정자동화 시스템을 주기적으로 점검하고, 점검 결과에 따라 시스템을 개선하는 제도의 구축이 선행되어야 합니다.

현재 인공지능에 대해서는 지능정보사회 윤리 등을 규정한 지능정보화기본법(2020. 12. 10. 시행예정) 뿐이고, 인공지능 시스템에서 가장 중요한 알고리즘을 검증하고 평가하도록 규정하는 법체계는 부재한 상태입니다. 이러한 상황에서 대상조항과 같이 인공지능에 의한 처분을 전면적으로 허용하는 것은 섣부른 정책의 추진이자 인공지능에 의해 발생할 위험을 과소평가하는 것입니다.

인공지능 도입에 앞서 어떠한 시스템이 구축되어야 하는지와 관련하여서는 20대 국회에서 발의되었던 전자정부법 개정안(박선숙 의원 대표발의)을 참고해 볼 수 있습니다. 위 개정안은 행정기관에게 자동화 시스템의 안정성·공정성·정확성 등을 주기적으로 점검하고, 그 결과에 따라 시스템을 개선할 의무를 부담하도록 규정했습니다. 또한, 위 개정안은 행정기관에게 인공지능을 사용한 ‘지능형 시스템’이 도출한 판단·결정·평가·자문 등 내용을 기록·보존하고, 시스템 관리를 위한 주기적 영향평가를 실시하도록 하는 내용도 규정하고 있었습니다. 그러나 위 개정안은 통과되지 못한 채 20대 국회의 임기만료로 폐기되었습니다.

물론 위 개정안이 공공영역에 인공지능 시스템을 도입하는 것을 정당화할 수 있는 완벽한 법률안이라고는 볼 수는 없습니다. 그러나 위 개정안은 인공지능 기술을 공공영역에 맹목적으로 도입하려는 추세 속에서, 인공지능 시스템을 검증하고 평가할 수 있는 법체계를 구축하려 시도한 법률안이라는 점에서 큰 의미가 있습니다.

인공지능 시스템은 앞으로 여러 분야에 도입되어 활성화 될 것입니다. 인공지능 시스템에 대한 사회적 논의와 안전장치의 구축이 충분히 이루어지지 않았음에도 인공지능에 대한 맹목적 신뢰에 기반한 제도의 도입은 신중해야 합니다. 행정행위는 효율성을 중요하게 생각하는 민간분야와 달리 책임성과 공공성을 본질적 요소로 합니다. 그러나 인공지능에 의한 처분에 대한 시민들의 절차의 권리와 구제의 권리를 보장하기 위한 제도는 제대로 구축되어 있지 않고, 이에 대한 논의도 성숙하지 못한 상황입니다.

대상조항이 실질적으로는 단순 행정 자동화 결정만을 허용하는 법적 근거로서 의미를 갖기 때문에 그 위험성이 크지 않다는 주장이 있을 수 있습니다. 그러나 대상조항이 ‘인공지능기술을 적용한 시스템’을 명시적으로 ‘자동화된 시스템’의 한 종류로 포함하고 있는 이상, 단순 행정 자동화 결정을 넘어 처분 전반이 인공지능에 의해 이루어질 위험성이 존재할 수밖에 없습니다. 그리고 인공지능에 의한 처분이 야기하는 위험은 오롯이 시민이 부담해야 합니다.

따라서 시민의 기본권에 직접 영향을 미치는 행정처분의 경우에는 공무원 등의 개입이 필수적이며, 안전장치가 마련되어야 하며, 명확한 규정이 필요합니다. 행정의 신속성, 효율성을 강조한다는 취지 아래 논의가 미성숙한 인공지능 시스템에 의한 처분을 허용하는 경우 예측할 수 없는 피해가 발생할 우려가 있다는 점을 간과해서는 안될 것입니다. 이에 우리 단체들은 법안의 제정에 있어 제20조의 도입을 재고해주실 것을 요청하는 취지로 현행 법안에 대해 반대의견을 개진합니다.

나아가 우리 단체들은 위 법안에 대한 공청회가 코로나19 상황으로 지난 3월 매우 제한적으로 이루어졌다는 점을 지적하고자 합니다. 인공지능에 의한 처분을 허용하는 것은 그 자체로 시민의 기본권에 중대한 영향을 미치는 정책을 도입하는 것으로 사회적 논의와 공론화 과정이 더욱 절실히 요구됩니다. 이에 우리 단체들은 법안에 대한 반대의견을 개진함과 동시에 귀 위원회에 대상조항에 관한 추가 공청회 개최 또한 요청합니다.