소식지인공지능

[해외정보인권] Digital welfare states and human rights{/}[해외정보인권] 디지털 복지 국가와 인권

By 2020/04/20 8월 24th, 2022 No Comments


편집자주 :

이번에 소개할 것은 유엔 극빈 및 인권에 관한 특별보고관의 디지털 복지국가와 인권 보고서입니다. 해당 문서를 번역 및 소개시켜주신 빈곤사회연대에게 감사의 말씀을 드립니다.
디지털 시대, 사회복지 영역에서도 점점 더 많은 기술이 활용되고 있다. 제도 운영과 관리 과정 전반이 디지털화된 미래는 과연 가난한 이들에게 좋은 미래일까? 안타깝게도 세계 곳곳에서 보여 지는 사례들을 보았을 때에는 그렇지 못할 가능성이 높다. 2019년 10월 UN 극빈과 인권에 관한 특별 보고서는 ‘복지 디스토피아’를 경고하는 보고서를 채택했다.

지난 3월 빈곤사회연대 사무국을 비롯하여 반빈곤운동과 디지털 정보인권에 관심있는 활동가들이 모여 디지털 복지 디스토피아를 주제로 두 차례 세미나를 진행했다. 본 글은 세미나에서 검토한 텍스트와 참고자료를 사례를 중심으로 소개하고, 세미나를 통해 도출 된 시사점을 정리한 것이다. 오지 않은 미래이지만 경향성을 파악하고 이후 대응의 원칙을 세우는데 참고가 되길 바라며 세미나의 결과를 공유한다.
-윤애숙, 빈곤사회연대 활동가

번역오류는 antipoorkr 골뱅이 gmail.com (빈곤사회연대) 으로 알려주세요.
제목 : 디지털 복지 국가와 인권
원문제목 : Digital welfare states and human rights
원문링크 : https://undocs.org/A/74/493
일시 : 2019년 10월 11일
작성 : 유엔 극빈 및 인권에 관한 특별보고관 Special Rapporteur on extreme poverty and human rights

 

디지털 사회복지는 이미 현실이거나 전 세계 여러 나라에서 시작되고 있다. 자동화, 예측, 식별, 감시, 탐지, 표적 및 처벌을 가능하게 하는 디지털 데이터와 기술은 사회 보호와 지원 시스템을 점점 더 주도하고 있다. 본 보고서는 이러한 방향으로 나아가는 것이 정부의 입장에서 굉장히 매력적일 수밖에 없음을 인정하지만, 좀비처럼 디지털 복지 디스토피아로 빠질 위험이 있다고 경고한다. 빅 테크는 거의 모든 인권으로부터 자유로운 영역에서 운영되고 있으며, 이는 특히 민간 부문이 디지털 복지 국가의 상당 부분을 설계, 건설, 운영하는 데 주도적인 역할을 할 때 문제가 된다고 주장한다. 보고서는 부정(수급)행위와 비용 절감, 제재, 시장 주도형 효율성 정의에 집착하는 대신, 복지 예산이 어떻게 취약계층에게 높은 생활 수준을 보장하는 기술로 전환될 수 있는지를 출발점으로 삼아야 한다고 권고하고 있다.

 

목차
I. 서문 ··········································································································· 3
II. 사회복지에서 디지털 기술의 활용 ······················································· 5
A. 신원확인 ································································································ 5
B. 자격평가 ································································································ 7
C. 복지급여 계산 및 지급 ········································································ 8
D. 부정(수급)행위 방지 및 탐지 ····························································· 8
E. 위험 점수화 및 욕구(필요) 분류 ························································ 9
F. 복지 당국과 수급자 간 의사소통 ······················································· 9
III. 사회적 보호를 위한 디지털 기술의 활용 ········································ 10
A. 인권을 심각하게 받아들이고 그에 따라 규제하기 ························ 11
B. 합법성과 투명성 보장 ········································································ 12
C. 디지털 평등 촉진 ··············································································· 13
D. 디지털 사회복지의 경제적·사회적 권리 보호 ································ 14
E. 디지털 사회복지의 시민적·정치적 권리 보호 ································· 15
F. 디지털 유일 미래의 필연성에 저항 ················································· 17
G. 민간 부문의 역할 ··············································································· 18
H. 책임 메커니즘 ···················································································· 18
IV. 결론 ······································································································· 19

 

I. 서문

1. 디지털 거버넌스 시대가 도래하고 있다. 고소득 국가와 중소득 국가에서는 전자투표, 얼굴 인식 프로그램을 통한 기술 주도 감시 및 통제, 알고리즘 기반 예측 정책, 사법 및 출입국 시스템의 디지털화, 세금 환급 및 지불의 온라인 제출, 그리고 시민과 다른 수준의 정부 사이의 많은 다른 형태의 전자적 상호작용이 표준이 되고 있다. 그리고 저소득 국가에서는 생체 인식과 같은 개발 기술이 특히 사회보호, 또는 간추린 용어로 ‘복지’ 시스템에 자리잡고 있다.

2. 국가의 전체 인구를 단순히 어떤 특정 생체 인식 카드 시스템에 옮기는 것을 넘어서, 식품에서 교육, 의료, 노인과 장애인을 위한 서비스까지의 전방위적인 정부 서비스를 제공하는 중앙 집중화된 시스템으로 연결하는 작업에 수반되는 거대한 사회적 변화와 방대한 비용 지출을 정당화하기 위해서, 이것들이 복지와 안보를 증진할 수 있는지가 중요한 목표로 논의된다.

3. 그 결과 전 세계 여러 국가에서 ‘디지털 사회복지’가 등장하게 되었다. 이러한 국가에서 사회 보호 및 지원 시스템은 자동화, 예측, 식별, 감시, 탐지, 표적 및 처벌에 사용되는 디지털 데이터 및 기술에 의해 점점 더 주도되고 있다. 이 과정은 흔히 ‘디지털 전환’이라고 불리지만, 이 다소 중립적인 용어로 그러한 혁신의 혁명적이고 정치적인 성격을 숨겨서는 안 된다. 논평자들은 “정부 기관이 로봇에 의해 효과적으로 법률을 제정할 수 있는 미래”를 예측했고, 모든 가능한 출처에서 방대한 양의 디지털 데이터 처리에 크게 의존하고, 위험을 예측하고, 자동화된 결정을 내리고, 인간 의사 결정자로부터 재량권을 제거하는 새로운 형태의 거버넌스가 출현하고 있음은 분명하다. 그런 세계에서 시민들은 정부들에게 훤히 드러나지만, 반대의 방향으로는 그렇지 않다.

4. 복지는 국가 예산의 주요 부분을 차지하거나 인구의 많은 부분에 영향을 미치기 때문만이 아니라, 디지털화가 근본적으로 점잖은 계획처럼 비춰지기 때문에, 매력적인 진입점이 된다. 따라서 예를 들어 영국의 디지털 전략은 “시민과 국가 간의 관계를 변화시킬 것”이라며 “시민의 손에 더 많은 권력을 부여하고 그들의 요구에 더 많이 반응할 것”이라고 선언한다. 인도에서는 인도 고유 식별 당국(UIDAI)의 핵심 가치는 좋은 통치, 청렴, 포괄적인 국가 건설, 협력적 접근, 서비스의 우수성, 투명성과 개방성을 촉진하는 것이다.

5. 즉, 디지털 사회복지의 수용은 시민들이 신기술로부터 혜택을 받고, 보다 효율적인 정부를 경험하며, 더 높은 수준의 복지를 누릴 수 있도록 고안된 이타적이고 고귀한 산업으로 제시된다. 그러나 종종 복지제도의 디지털화는 전반적인 복지예산의 급격한 감소, 수혜자 풀 축소, 일부 서비스의 제거, 까다롭고 침입적인(거슬리는) 형태의 조건부 도입, 행동 수정 목표의 추구, 더 강력한 제재의 부과, 국가가 개인을 책임져야 한다는 전통적인 개념의 완전한 역전을 수반해 왔다.

6. 이러한 다른 결과는 효율성, 맞춤형, 인센티브 부여, 부정(수급)행위 근절, 책임 강화, 개인의 자율성 장려, 재정 정책 건전화라는 미명으로 추진된다. 신자유주의 경제 정책은 흔히 이념성을 띄는 용어들을 언급하며 최첨단 복지 개혁의 모습으로 자연스럽게 혼합되고, 이는 새로운 디지털 기술에 의해 촉진되고 정당화되고 보호된다. 후자는 ‘과학적’이고 중립적인 것으로 제시되지만, 인권의 원칙과는 거리가 멀고 오히려 반대되는 가치와 가정을 반영할 수 있다. 또한, 많은 복지 수혜자들의 상대적인 박탈과 무력감 때문에, 그들이 대신 지역사회의 더 나은 구성원들에게 적용되는 프로그램에서 시범적으로 운영되었더라면 결코 받아들여지지 않았을 조건, 요구, 형태의 침입이 부과된다.

7. 수백만 명의 개인뿐만 아니라 사회 전체에 관련된 엄청난 지분에도 불구하고, 이러한 문제들은 몇 가지 주목할 만한 예외를 제외하고는 놀라울 정도로 주목받지 못했다. 주류 기술계는 효율성, 예산 절감 및 부정(수급)행위 탐지에 대한 공공연한 선입견을 따라갔다. 복지계는 기술이라는 차원이 정책 개발과 통합적으로 연결되어있다고 보지 않고, 분리된 것으로 보는 경향이 있었다. 그리고 기술과 관련된 인권계의 사람들은 그 대신 감시 국가의 출현, 잠재적으로 치명적인 사생활 침해, 많은 알고리즘의 매우 차별적인 영향, 그리고 신흥 감시 자본주의 체제의 결과와 같은 우려에 초점을 맞추고 있다.

8. 그러나 디지털 디스토피아의 위협은 신흥 디지털 복지 국가와 관련하여 특히 중요하다. 이 보고서는 디지털 기술이 복지 국가에서 사용되는 방식과 인권에 미치는 영향에 대해 체계적인 설명을 제공함으로써 지금까지 이 문제들이 방치되어 온 문제를 해결하는 것을 목표로 한다. 보고서는 인공지능 등 디지털 기술 규제를 통해 인권 준수를 보장하고, 디지털 사회복지가 사회보호 체계의 대폭 개선을 달성하기 위한 힘이 될 수 있는 긍정적인 방법을 재고해야 한다고 결론내리고 있다.

9. 이 보고서는 2017년 미국 방문과 2018년 영국 방문에 대한 특별보고관의 국가보고서에 부분적으로 근거하여 작성되었으며, 사회보호시스템에서 디지털 기술 사용이 증가하고 있다는 점에 주목했다. 특별보고관은 보고서를 준비하면서 2019년 2월 베를린에서 디지털자유기금이 주최한 회의에서 다양한 디지털권리단체 대표, 선도학자 및 기타 이해관계자들과 먼저 협의한 뒤 2019년 4월 프린스턴대 정보기술정책센터가 후원하는 또 다른 회의에서 협의했다. 또한 정식 기고 요청으로 22개 정부를 포함한 34개국과 국제 및 국가 시민 사회 단체, 국가 인권 기관, 학계 및 개인 등 60여 건의제출이 이루어졌다. 이러한 풍부하고 상세한 제출물에 대해 그렇게 짧은 보고서에서 정의를 내리는 것은 불가능하지만, 특별보고관은 그것들을 전자적으로 이용할 수 있게 만들었고 디지털 복지 국가에 대한 지속적인 작업의 맥락에서 그것들을 계속 분석할 것이다.

II. 사회복지에서 디지털 기술의 활용

10. 접수된 많은 제출물로부터, 그리고 문헌에서 다룬 다양한 사례 연구를 바탕으로 디지털 혁신이 가장 두드러지게 사용된 복지 맥락에서 다양한 방법과 다른 단계를 구별할 수 있다.

A. 신원확인

11. 2030년까지 출생신고를 포함한 모든 사람의 법적 신원을 확립하는 것은 지속가능한 개발 목표(SDG) 16.9의 목표다. 확인 가능한 신원이 있어야만 혜택을 신청하고, 지원 자격을 확보하고, 혜택을 받고, 거부를 당했을 때에 이의 신청을 할 수 있다. 이는 정부와 같은 공급자의 입장에서는 중복 및 부정수급을 방지하고, 정확한 타겟팅을 용이하게 하며 효율성을 높인다. 전통적으로 종이나 플라스틱 문서는 출생 증명서, 신분증 및 여권과 같은 형태로 사용되었다. 비록 미국의 2천 1백만 명의 성인들이 정부가 발행한 사진 ID를 가지고 있지 않지만, 이러한 시스템은 대부분의 북반구에서 합리적으로 잘 작동한다. 남반구의 경우 사하라 이남 아프리카에서 5억 2천만 명, 남아시아에서 3억 5천 7백만 명이 공식적인 신분 확인이 되어있지 않다. 예를 들어 라이베리아에서는 출생신고가 5%에 불과하고 2015년까지 국가 신분증이 도입되지 않았다.

12. 이에 세계은행, 지역개발기구, 양자 기부자들이 신원문서 접근을 위한 새로운 프로그램을 시작했다. 특히 세계은행의 ‘ID4D’(Identification for Development) 캠페인은 디지털 기술을 핵심 해법으로 홍보하는 데 집중하고 있다. 이는 마스터카드와 같은 사례들에서 명시되어 널리 인정되고 있는 ‘지속 가능한 개발을 위한 식별 원칙(Principles on Identification for Sustainable Development)’을 통해 확인할 수 있다.

13. 이 원칙은 장점과 단점이 모두 있음을 주지하고 있다. 긍정적인 측면에서는 디지털 기술이 “거래 비용을 줄이고, 효율성을 높이며, 특히 사회에서 가장 가난한 사람들과 가장 취약한 계층에게 서비스 제공의 혁신을 촉진함으로써 시민, 정부 및 기업에 막대한 비용을 절감할 수 있다”고 주장한다. 디지털 신원 시스템은 또한 “지배 구조를 개선하고, 재정적 포용성을 촉진하며, 여성과 소녀들에게 힘을 실어줌으로써 성 불평등을 줄이고, 가난한 사람들을 위한 보건 서비스와 사회 안전망에 대한 접근을 증가시킬 수 있다.”

14. 그러나 인상적이면서도 이제는 다소 익숙해진 영업 전략 외에도, 정치적 반발에서부터 개인정보 보호 및 (사이버) 보안 문제에 이르기까지 가능한 단점들이 있음을 위 원칙과 유사 문서들은 인식하고 있다. 그러한 위험을 다루기 위한 해결책은 종종 기술적이거나 유연한 법규의 형태를 취한다. 따라서 그에 준하는 미국 국제개발처(USAID) 문서는 관련 문제를 해결하기 위해 “오픈 소스 솔루션”과 “데이터 프라이버시를 위한 모범사례“를 개발을 요구한다. 세계은행원칙(World Bank Principles)은 아동권리협약 제7조와 같은 별개의 인권원칙을 참조하지만, 주로 개방형 표준을 이용한 상호운용 가능한 시스템을 만들고, ‘시스템 설계를 통한 프라이버시’ 보호에만 의존한다.

15. 세계에서 가장 큰 생체 인식 시스템은 인도의 아드하르(Aadhaar)로 인도 거주자에게 발행된 12자리 고유 식별 번호이다. 홍채 스캔, 사진 및 지문을 포함한 인구 통계학적 정보와 생체 정보를 모두 포함한다. 그것은 복지 혜택과 보조금 수령자의 신원을 확인하는 데 사용되며 현재 법에 따라 그러한 사회적 권리에 접근하도록 되어있다. 2009년에 처음 도입되어 현재 12억 명 이상의 인구를 수용하고 있으며, 국제 개발 커뮤니티의 열렬한 지지를 받고 있다. 세계은행은 “복잡한 정보 문제를 극복하고, 정부가 혜택을 받지 못하는 집단(빈곤층) 포용을 장려하도록 도움을 준다”고 칭찬하고, 다른 정부들에게 이 경험을 통해 배우도록 열렬히 격려했으며, 20개국 이상이 아드하르를 모방하는 데 관심을 표명한 것으로 보도되고 있다.

16. 그럼에도 불구하고 국내에서는 여전히 논란이 되고 있다. 비평가들은 그들의 반대로 인해 괴롭힘과 감시를 당했다고 전해지며, 이 계획은 불필요하게 생체 정보를 수집하고, 심각한 법의 허점, 사생활 보호권에 대한 감시와 침입을 용이하게 하고, 사이버 보안 문제를 악화시키고, 다양한 사회적 권리에 접근하는 장벽을 조성했다는 비판 받아왔다.

17. 2018년 인도 대법원은 1448페이지에 달하는 획기적인 판결에서 일부 경고에도 불구하고 아드하르의 합헌성을 지지했다. 법원은 복지 혜택을 제공하는 맥락에서 생체인식 기술의 사용을 합법적이고 합리적이며 불가피한 것으로 판단하는 듯하다. 사회복지에서 제공하는 혜택이 의도했던 수혜자들에게 돌아가도록 보장하는 아드하르의 목표는 ”타당한 국가적 목표“였다. 법원은 사회보장권과 개인정보에 대한 권리를 균형 있게 조정하면서 생체인식 데이터를 등록하는 것은 사생활권에 대한 ‘최소한’ 침해를 의미한다고 주장했고, 아드하르를 “사회복지국가에서 좋은 통치를 보장하는 중요한 도구”로 규정하기까지 했다. 그러나 대법원의 판결은 이 계획을 둘러싼 논란을 종식시키지 못한 것으로 보인다.

18. 2019년 케냐는 복지 혜택을 포함한 정부 서비스를 받기 위해서는 해외에 거주하는 사람들을 포함한 모든 시민들과 6세 이상의 모든 외국인과 난민들에게 국가 신분증을 취득하도록 요구다. 이것은 지문, 장문인식(손바닥), 귓불 구조, 망막 및 홍채 패턴, 음파 및 DNA를 포함한 생체 데이터를 디지털 형태로 제공하는 것을 포함했다. 이 후두마 남바 프로그램(Huduma Namba program)이 사생활, 평등, 차별금지, 공공참여에 대한 권리를 침해했다는 주장에 대해 고등법원은 등록절차를 지속하되 자발적인 참여에 기반해야 하며, 정부 서비스와 혜택이 이 참여에 대해 조건부로 제공되어서는 안된다는 임시 명령을 내렸다. 이후, 등록이 빠르게 진행돼 인구의 3분의 2가 등록됐고, 정부는 미등록 개인을 복리후생 접근이나 투표권에서 제외하겠다고 위협하고 있는 것으로 알려졌다.

19. 남아프리카공화국에서는 남아프리카사회보장국(SASSA)이 비기여형 및 자산조사 결과에 따라 지급하는 사회보장금(ex: 자녀양육비, 연금수령자, 장애인에 대한 보조금 등)을 인구의 약 3분의 1에 분배한다. 2012년 SASSA는 Net1의 자회사인 CPS(Cash Paymaster Services)와 계약하여 보조금을 전달했다. CPS는 생체정보(손가락 지문과 원래 음성녹음)를 수집하여 수혜자를 등록하였고, 수혜자는 SASSA와 연계하여 Net1과 Grindrod Bank의 생체기능이 있는 MasterCard 직불카드와 연계 은행 계좌를 발행하였다. CPS에 대한 입찰, CPS에 의해 부과된 수수료, 카드 소지자 데이터 처리를 둘러싼 프라이버시 우려뿐만 아니라 이들 계좌에 대한 사회적 보조금에 대한 공제 등을 둘러싼 많은 논란 끝에, SASSA는 남아프리카 우체국(SAPO)과 제휴를 맺음으로써 2018년에 공급자를 변경했다. SASSA와 SAPO는 새로운 생체 인식 카드를 제공할 것이다. CPS에서 SAPO로의 변화는 복잡했고 남아프리카의 수혜자들의 사회적 보조금으로의 효과적인 접근에 대한 의문으로 이어졌다.

20. 아르헨티나, 방글라데시, 칠레, 아일랜드, 자메이카, 말레이시아, 필리핀 및 미국을 포함하여 디지털 ID 시스템을 사용하거나 탐색하는 국가에 대한 다른 많은 사례가 있다.

B. 자격평가

21. 자동화된 프로그램은 많은 국가에서 자격을 평가하는 데 점점 더 많이 사용되고 있다. 특히 교훈적인 사례는 캐나다, 미국, 독일, 호주, 뉴질랜드의 복지 프로그램에도 사용되는 맞춤형 기성 IBM 소프트웨어 패키지인 크람(Cúram)에 의존하는 사회지원 관리시스템(SAMS)을 통해 2014년 온타리오에서 자격결정 자동화였다.

22. 2015년 온타리오 감사원은 SAMS의 적격성 결정으로 약 1억 4천만 달러의 지불과 관련된 1,132 건의 오류 사례를 보고했다. 2015년 말까지 SAMS에 의한 총 지출은 2억 9천만 달러였다. 전하는 바에 따르면 이 새로운 시스템은 사례관리를 하는 사회복지사들로 하여금 수혜자들이 정당하게 대우받고, 굉장히 이해하기 어려운 결정들이 내려졌다는 속임수에 의존하게 만들었다고 한다. 또한 직원들에게는 상당한 추가 작업을 생겼다고 한다.

C. 복지급여 계산 및 지급

23. 혜택의 계산과 지불은 사례관리자와 다른 인간 의사결정자의 개입 없이 디지털 기술을 통해 점점 더 많이 이루어지고 있다. 그러한 시스템은 많은 잠재적 이점을 제공하지만, 특별보고관은 많은 수혜자들에게 중대한 문제를 야기한 시스템 오류나 고장의 두드러진 예에 대한 정보를 전달받았다. 여기에는 호주의 ‘로보뎁트(Robodebt)’ 대실패, 영국의 실시간 정보 시스템, 캐나다의 SAMS 시스템이 포함되어 있다.

24. 복지수급자에게 전자결제카드나 직불카드도 점점 더 발급되고 있다. 뉴질랜드, 호주 및 남아프리카 공화국의 그러한 프로그램과 관련하여 특별보고관에게 제공된 정보에 따르면 매우 유사한 문제들이 나타난다. 첫째, 수혜자들은 종종 사회보장에 대한 권리를 충분히 이용하고 접근하는 데 어려움을 겪는다. 둘째, 이러한 카드가 복지 관련 카드로 명확히 인식될 때, 사용자들은 권력 박탈감, 당혹감, 수치심을 표현해왔고, 이는 사용자들이 오랫동안 배제당한 지역사회에서 왔을 때 더욱 악화되었다. 셋째, 전자카드는 복지당국과 민간행위자의 행동자료 모니터링 및 감시를 가능하게 하여 중요한 인권문제를 제기한다.

25. 넷째, 민간기업에 전자카드의 발급 및 관리를 아웃소싱함으로써 이용자의 상업용 금융상품에 대한 지불을 권장하고 사용료를 부과하는 등의 문제가 발생하였다. 일반적으로, 그러한 카드의 기조에는 빈곤하게 살고 있는 사람들에 대한 재정적 불신과 비합리성과 같은 고정관념이 깃들어있다.

D. 부정(수급)행위방지 및 탐지

26. 복지 시스템의 부정(수급)행위와 오류는 잠재적으로 매우 많은 돈이 좌지우지될 수 있으며 오랫동안 정부들에게 큰 관심사였다. 따라서 지금까지 도입된 많은 디지털 복지 시스템이 복지 신청자의 속임과 비리를 폭로하기 위해 여러 출처의 데이터들이 일치하는지 확인할 수 있는 능력(교차 데이터 매칭)을 특별히 강조하면서 설계되었다는 것은 놀라운 일이 아니다. 그럼에도 불구하고, 특별보고관이 수행한 국가 임무의 증거와 함께, 조사된 다른 사례들에 따르면, 이러한 문제의 규모가 대부분 과장되었으며, 복잡한 복지 방정식의 일부 차원에만 불균형적인 초점이 맞춰져있음을 보여준다. 로널드 레이건의 ‘복지의 여왕’ 트로피처럼 정부 복지 수당을 많이 받는, 전적으로 부당한 개인들의 이미지는 보수 정치인들이 사회 보호라는 개념에 대한 평판을 깎아내리기 위해 오랫동안 사용해 왔다. 디지털 복지 국가는 감시와 침입의 무한한 가능성을 새롭고 심각한 문제의 단계로 이어갈 가능성을 열고 있다.

E. 위험 점수화 및 욕구(필요) 분류

27. 위험 계산은 필연적으로 복지 시스템 설계의 핵심이며 디지털 기술은 이러한 점에서 매우 높은 수준의 정교함을 달성할 수 있다. 사기 탐지 및 예방 외에도, 아동 보호와 같은 문제는 미국, 뉴질랜드, 영국 및 덴마크와 같은 다양한 국가의 사례에서 알 수 있듯이 이 분야에서 주요 초점이 되었다. 정부는 또한 실업 지원이 제공될지 여부와 어느 수준에서 제공될지 결정하기 위해 이러한 기술을 적용했다. 폴란드에서 두드러진 그러한 계획은 위헌으로 판결되었지만 오스트리아의 알고리즘-기반 시스템은 실업자 구직자를 분류하여 정부 구직센터로부터 받을 지원의 내용을 결정한다.

28. 사회복지 제도의 많은 다른 분야들도 위험을 평가하고 요구를 분류하는 데 사용되는 신기술의 영향을 받을 것이다. 이러한 접근방식은 많은 장점을 제공하지만, 발생할 수 있는 문제들을 고려하는 것도 중요하다. 첫째, 일반 인구 집단의 행동에서 도출된 예측을 바탕으로 개인의 권리를 결정함으로써 제기되는 많은 문제들이 있다. 둘째, 기술의 기능과 특정 점수 또는 분류에 도달하는 방법은 종종 비밀로 되어 있어, 정부와 민간 행위자가 잠재적인 권리 침해로 이어지는지 설명하기 어렵다. 셋째, 위험점수를 계산하고 수요를 분류하는 것은 기존의 불평등과 차별을 강화하거나 악화시킬 수 있다.

F. 복지 당국과 수급자 간의 의사소통

29. 이전까지 직접, 전화 또는 편지로 이루어진 소통은 점점 더 온라인 애플리케이션과 상호 작용으로 대체되고 있다. 특별보고관에 제출된 다양한 자료에서는 영국의 유니버설 크레딧(Universal Credit) 시스템의 문제점들을 예로 들고 있다. 여기에는 인터넷 접속과 디지털 기술 부족과 관련된 어려움, 온라인 포털이 혼란을 일으키고 법적 결정에 혼란을 일으킬 수 있는 가능성의 정도와, 그것으로 인해 청구인들이 그들의 사회적 권리에 영향을 미치는 결정을 이해하고 호소할 권리가 약화될 수 있다는 점을 포함하고 있다.호주, 그리스 등 다른 나라들과도 비슷한 이슈가 제기됐다.

30. 또 다른 문제는 일단 혜택을 적용하고 유지하는 전체 과정이 온라인으로 옮겨지면, 추가적인 디지털 혁신을 불러올 가능성이 있다는 것이다. 2018년 스웨덴은 고용청이 구직자들과 의사소통하기 위해 사용하는 복잡한 디지털 시스템을 되돌려놓을 수밖에 없었다. 왜냐하면 이 시스템의 결정의 높게는 15%까지 부정확할 수도 있는 문제가 드러났기 때문이다.

31. 호주의 TTCF(Targeted Compliance Framework)에서는 구직자들이 의무적인 활동을 보고하고 준수 상태를 확인하기 위해 디지털 대시보드에서 상호작용해야한다. 이러한 ‘상호적 의무’를 이행하지 못하면, 인간의 의사결정자의 개입 없이도 자동적으로 지급 중단이나 금전적 처벌의 부과로 이어질 수 있다. 제출된 자료들은 인터넷 액세스 및 디지털 사용능력 부족, 실제 상황을 고려하지 못하는 자동화된 시스템의 경직성으로 인한 문제를 강조했다.

III. 사회적 보호를 위한 디지털 기술의 활용

32. 인공지능과 같은 디지털 기술에는 많은 이점을 가져다주는 큰 잠재성이 있으며, 지지자들은 이점을 일관되게 인용하고 있다. 그들은 이미 경제적으로 안전하고 새로운 서비스에 대한 비용을 지불할 여유가 있는 사람들을 위해 그렇게 하고 있다. 또한, 사회구성원들의 복지를 개선하는 데는 큰 긍정적인 차이를 보일 수 있지만, 이는 기존의 정책에 깊은 변화를 필요로 한다. 이러한 노력의 주도적인 역할은 적절한 재정 정책과 인센티브, 규제 계획, 그리고 디지털 사회복지 제도를 설계하려는 진정한 약속을 통해 정부가 수행해야 할 것이다. 복지와 규제에 대한 신자유주의 적대감을 위한 트로이 목마로서가 아니라 사회의 모든 사람들에게 적절한 생활수준을 보장하기 위한 방법으로서의 접근이 필요하다.

33. 본 보고서는 디지털 사회복지 제도가 구상되고 시행된 방식에 특정한 문제들을 강조하기 위해 노력해왔다. 그러나 디지털 디스토피아를 피하기 위해 필요한 많은 변화들은 더 광범위하게 범위를 넓힐 필요가 있을 것이다. 2019년 9월 24일 총회에서 영국 총리는 디지털 시대의 위험성을 경고하면서 다음과 같이 말했다. (i) ’24시간 감시’의 위험; (ii) 알고리즘 의사결정의 위험; (iii) 컴퓨터가 생성한 결정에 대한 이의제기의 어려움 및 (iv) 의사결정자가 알고리즘일 때의 불가피한 상황을 호소할 수 없음; 그는 “디지털 권위주의는 … 떠오르는 현실”이라고 다소 불길하게 결론을 내렸다.

34. 그의 발언은 영국의 유니버설 크레딧 시스템과 관련하여 디지털 복지 국가의 맥락에서 강하게 울려 퍼진다. 그가 경고한 함정을 피하기 위한 마법의 해결책은 없지만, 다음 단계들은 디지털 사회복지가 인권을 훼손하기보다는 강화하는 힘으로 만드는 데 도움이 될 수 있다.

A. 인권을 심각하게 받아들이고 그에 따라 규제하기

35. 영국 총리는 “새로운 기술이 인권을 반영하도록 보장하지 않는다면, 세계인권선언은 아무 의미도 없을 것”이라고 경고하며 연설을 마쳤다. 그러나 현실은 정부가 인권이 위기에 처하지 않은 것처럼 기술 산업을 규제하지 않고 있고, 기술 부문은 사실상 인권이 없는 인권자유구역으로 남아 있다는 것이다. 빅테크 기업들과 그들의 정부 지지자들은 그것을 그렇게 유지하기 위해 열심히 노력해왔다. 그들의 접근방식은 현재 목적을 위해 네 가지 명제로 요약할 수 있다.

36. 첫째, 기술혁신 능력은 특히 규제로부터의 자유를 필요로 한다. 페이스북 창업자가 업계에 “빨리 움직이고 깨뜨려라”고 촉구한 것은 법적, 정부적 제약 최소화의 중요성을 보여준다. 그러나 이 주장은 사회가 움직일 방향과 그러한 발전을 촉진할 가치와 가정을 결정하는 역할을 정부와 입법자에서 소수의 강력한 경영진으로 교체하는 것과 이어져있다. 아주 작은 엘리트들의 손에 막대한 양의 자본이 축적되고 극심한 불평등의 급속한 성장은 지금까지 이러한 접근법의 우세와 관련이 있다.

37. 두 번째 명제는 보편적인 가치가 없다는 것이다. 마이크로소프트 회장은 최근 한 책에서 “사람들의 철학적 문제에 동의할 수 없는데 어떻게 세계가 컴퓨터 윤리에 대한 단일한 접근방식에 수렴할 수 있을까?”라고 수사적으로 물었다. 비차별적인 기준조차도 때로는 너무 모호하고 논쟁의 여지가 있어서 AI를 규제하기에는 유효하지 않다. 그러나 이러한 주장들은 자만심이 강하고 잘못된 정보다. 전 세계 정부는 구속력 있는 법적 의무의 형태를 포함하여 보편적인 인권 기준을 받아 들였다. 그리고 지난 반세기 이상 동안, 이러한 기준들은 법원과 광범위한 전문가 및 지역사회 기반 단체에 의해 철저하게 개발되고 적용되어 왔다. 철학적 불일치의 여지가 많지만 인간의 핵심 가치에 대한 합의가 부재하지 않다.

38. 세 번째 명제는 정부가 본질적으로 느리고 서투르며 내일보다는 어제의 과제에 반응하는 경향이 있다는 것이다. 최근 미국 하원의 공화당 소수당 대표는 “기술 산업의 급속한 변화에 대한 민첩한 대응을 개발하거나 시행하기 위한 관료집단(the bureaucratic leviathan)을 가지고 있지 않다”고 주장했다. 그러나 이러한 주장은 금융, 항공, 방위, 제약 및 기타 산업에 대한 규제없는 재량권을 지지하는 이들에 의해서도 제기될 수도 있다. 그러나 정부가 규제 책임을 포기하고 그렇게 극단적인 수준의 자기 규제 접근법을 묵인할 준비가 되어 있는 것은 전적으로 빅테크와 관련이 있다. 혁신과 규제가 근본적으로 양립할 수 없다는 주장을 뒷받침 할 수 있는 그런 예외주의에 대한 정당성도 없고 경험적 증거도 없다.

39. 그리고 네 번째 명제는 자유시장이 최고의 규제기관이기 때문에 공공의 책임은 불필요하다는 것이다. 빅테크가 반경쟁적이고 따라서 자유시장의 많은 흐름에 영향을 받지 않는다는 강력한 주장을 제쳐두고, 소위 ‘테크래시(techlash)’로 이어진 최근 몇 년 간의 큰 스캔들은 공공의 책임이 필수적이라는 설득력 있는 증거를 제공한다.

40. 효과적인 정부 규제에 대한 요구가 커짐에 따라, 업계는 디지털 기술과 그 개발자들을 ‘규제’하는 것으로 알려진 ‘윤리 규범’과 다른, 구속력이 없는 기준을 생산, 영향, 포용하는 데 높은 역할을 했다. 이 규범들 중 대부분은 인권에 대한 언급을 포함하고 있지만, 인권법의 핵심은 여전히 부족하다. 대신, 인권에 대한 형식적인 언급은 정당성과 보편성에 대한 주장을 강화하는 데만 도움이 된다. 한편, 윤리에 대한 관련 논의는 법적 또는 철학적 주장에 반드시 근거하지 않는 거의 전적으로 개방적인 개념에 기초하고 있으며, 업계의 요구에 맞게 형성될 수 있다. 그 결과 개념적 부조화의 심각한 문제가 발생하고, 규범들 간의 갈등이 거의 인정되지 않으며, 이해당사자로부터 의미 있는 정보를 거의 찾지 않고, 책임 메커니즘이 결여되어 있다. 업계 윤리학자들조차 “윤리가 단순히 시장 근본주의, 능력주의, 기술적 해법주의의 논리에만 흡수되어 있다. 기술 부문이 좀 더 공정하고 가치 중심적인 기술 생태계에 대한 욕구에 의미 있는 대응을 제공할 수 있을 것 같지 않다”고 인정한다. 이러한 배경에 반해 디지털 사회복지의 인권 문제에 대한 공공적 또는 학술적 논의가 거의 없는 것은 놀라운 일이 아니다.

41. 인권계는 기술적으로 주도된 미래가 법에 근거한 인권 존중으로 인도되지 않으면 재앙이 될 것이라는 사실을 지금까지 산업, 정부, 또는 사회 전반을 설득하는 데 매우 빈약한 일을 해왔다.

B. 합법성과 투명성 보장

42. 디지털 사회복지 계획의 가장 놀라운 특징 중 하나는 합법성 보장의 중요성에 대한 관심이 부족하다는 것이다. 다음과 같은 많은 사례들이 특별보고관의 주의를 끌었다. 자동화 된 데이터 매칭 기능을 기반으로 오류율이 매우 높은 방대한 수의 채무 통지를 발송한 호주 정부의 온라인 채무 조정 시스템(Robodebt), 영국의 온라인 유니버설 크레딧 포털을 통해 청구자에게 제공된 불법 정보, 사용된 일부 목적에 대한 아일랜드 공공 서비스 카드의 합법성, 애초에 법적 근거가 부족했고 여전히 법정 도전의 대상이 되는 SyRI (System Risk Indication) 시스템, 그리고 원래 법적 기틀 없이 시행된 인도의 아드하르 시스템.

43. 법적 근거의 결여는 그 자체로도 큰 문제가 되지만, 이러한 격차는 또한 관련 제도를 형성하기 위한 입법 토론과 공공의 개입의 기회도 부족하다는 것을 의미한다. 이것은 투명성, 설계, 정당성 및 수용 가능성에 잠재적으로 부정적인 영향을 미친다.

C. 디지털 평등 촉진

44. 평등주의는 “사람들에게 공동체를 건설하고 세계를 더 가깝게 만들 수 있는 힘을 부여한다”는 페이스북의 목표로 예시되는 기술 산업의 일관된 주제다. 그러나 거시적 차원에서 빅테크는 불평등을 심화시키는 원동력이었고, ‘최악의 디지털 하류계급’을 창출하는 데도 박차를 가했다.

45. 디지털 사회복지는 때때로 수혜자들에게 디지털로 가거나 더 전통적인 기술을 계속 사용할 수 있는 선택권을 준다. 그러나 실제로는 ‘디지털 기본’이나 ‘선택에 의한 디지털’과 같은 정책들이 대개 ‘디지털 전용’으로 전환된다. 이것은 차례로 다른 그룹들 사이에 중대한 차이를 악화시키거나 만든다. 디지털 사용능력이 부족하면 효과적이고 효율적이기는 커녕 기본적인 디지털 도구조차 전혀 사용할 수 없게 된다. 인터넷에 대해 접근할 수 없거나 접근이 제한되어 있으면 많은 사람들에게 큰 문제가 된다. 인터넷에 접속하기 위해 높은 가격을 지불해야 하거나, 장거리 여행을 하거나, 직장에서 결근해야 하는 개인들에게 추가적인 장벽이 생긴다. 접근을 위해 도서관과 같은 공공시설을 방문하거나, 직원이나 친구들의 도움을 받아 시스템을 탐색한다. 그리고 부유한 이들은 최신 정보에 즉시 접근할 수 있고 컴퓨터와 다른 하드웨어를 사용하기 쉬울 뿐만 아니라 빠르고 효율적인 광대역 속도도 가질 수 있지만, 가장 가난한 사람들은 구식 장비와 시간이 많이 걸리고 신뢰할 수 없는 디지털 연결로 인해 불이익을 받을 가능성이 훨씬 더 높다.

46. 광범위한 국가에서 특별보고관에게 제출한 자료들은 이러한 다른 문제의 중요성을 강조했다. 북반구와 남반구 모두, 많은 개인들, 특히 빈곤한 사람들은 집에서 신뢰할 수 있는 인터넷 연결을 가지고 있지 않으며, 그러한 연결을 할 여유가 없거나, 디지털적으로 숙련되거나 자신감이 없으며, 그렇지 않으면 당국과의 온라인 의사소통이 금지되어 있다. 다양한 제출물들은 이러한 문제들이 어떻게 그들의 인권을 실현하는 예비 청구자들의 능력을 방해하는지 강조한다.

47. 영국은 2019년에도 1,190만 명(인구 중 22%)이 일상 생활에 필요한 ‘필수 디지털 기술’을 갖추지 못한 부유한 나라의 예를 제공한다. 추가로 19%는 장치를 켜거나 앱을 여는 등의 기본 작업을 수행할 수 없다. 또 인터넷이 불안전한 환경이라는 두려움 때문에 성인 410만 명(8%)이 오프라인 상태인데, 이에 비례해 절반 가까이가 저소득층 출신이고 절반 가까이가 60세 미만이다.

48. 이러한 문제들은 디지털 기술이 사회복지에 도입될 때, 그 분배에 미치는 영향이 종종 정부의 중요한 초점이 아니라는 사실이 복합적으로 작용한다. 또한 취약한 개인은 일반적으로 IT 시스템 개발에 관여하지 않으며 IT 전문가는 종종 발생할 수 있는 문제의 종류를 예측하지 못한다. 프로그램은 종종 정당성 없이 개인이 공식 문서에 접근할 수 있고 이를 업로드할 수 있을 것이며, 신용 기록이나 더 넓은 디지털 금융 발자국을 가질 것이며, 심지어 그들의 지문이 읽을 수 있을 것이라고 가정하는데, 직장 생활이 끊임없는 육체노동을 수반한 사람들의 경우는 종종 아니다.

49. 디지털복지정책의 측면에서는 여러 가지 결론이 도출되었다. 첫째, 사용할 수 있는 진정한 비디지털 옵션이 항상 있어야 한다. 둘째, 복지정책을 디지털화하는 것을 목표로 하는 프로그램들은 필요한 디지털 기술을 홍보하고 가르치고 필요한 장비에 대한 합리적인 접근과 효과적인 온라인 접속을 보장하기 위해 고안된 프로그램들을 동반해야 한다. 셋째, 잘못된 가정과 잘못된 설계 선택으로 인한 피해를 줄이기 위해서는 디지털 복지 시스템을 의도된 사용자(대상자)에 의해 공동 설계하고 참여적으로 평가해야 한다.

D. 디지털 사회복지의 경제적·사회적 보호

50. 알고리즘과 인공지능을 사용하여 자동화된 의사결정에 의해 이루어지는 디지털화 과정과 증가하는 역할은 적어도 어떤 면에서는 관료적 과정을 향한 움직임을 촉진하고 사회보장권이나 사회보호권을 전제로 한 것에서 멀어지게 했다. 국민이 적절한 생활 수준을 누릴 수 있도록 국가가 책임지는 이상보다는 책임의 부담이 여러 가지 면에서 역전되었다. 과거의 경우보다 훨씬 더 큰 규모로, 오늘날의 디지털 사회복지는 종종 개인이 권리 보유자가 아니라 오히려 신청자라는 시작 가정에 의해 뒷받침된다. 그런 자격에서, 사람은 의사결정자에게 자신이 ‘적격’하고, 적격성 기준을 충족하며, 종종 규정된 부담스러운 의무를 이행했으며, 다른 생계 수단이 없다는 것을 납득시켜야 한다. 그리고 이 중 상당 부분은 해당 영역에서 신청자의 기술과 상관없이 전자적으로 이루어져야 한다.

51. 사회보장권은 “현금이든 현물이든 차별 없이 혜택을 접근하고 유지할 수 있는 권리”를 포함한다. 기술적 요건의 부과는 개인이 그 권리에 효과적으로 접근하는 것을 불가능하거나 매우 어렵게 만들 수 있으며, 따라서 실질적으로 감당할 수 없게 만든다.

52. 사회보호권은 인권위원회가 존엄한 삶의 권리라고 부르는 것과 완전히 연관되어 있으며, 필요한 경우 “음식, 물, 쉼터, 건강관리, 전기, 위생 등 필수 재화와 서비스에 지체 없이 접근하도록 설계된 조치, 적절한 일반 조건을 촉진하고 촉진하기 위해 고안된 기타 조치”를 통해 보호되어야 한다. 또한 적절한 생활수준에 대한 권리, 정신 건강을 대한 권리, 존엄성 있는 대우를 받을 권리 등 다양한 권리도 연루되어 있다.

53. 일반적으로 사회적 보호는 이러한 권리를 보호하기 위해 고안되어야하지만, 존엄성 차원은 디지털 사회복지의 맥락에서 특히 위험하다. 잠재적인 위험은 다양한 맥락에서 발생한다. 첫째, 자격을 결정하는 과정은 이미 취약한 개인을 훨씬 더 불리하게 만드는 전자 질문 및 답변 프로세스로 쉽게 변형 될 수 있다. 둘째, 결정이 틀에 박혀 전달되는 방식은 인간성을 상실할 수 있으며 의미 있는 질문이나 해명을 할 여지를 허용하지 않는다.

54. 셋째, 디지털 사회복지는 종종 다양한 형태의 경직성 및 규칙의 기계적 적용을 수반하는 경우가 많다. 그 결과 긴급한 돌봄 의무 때문에 약속에 늦거나, 장애나 개인적인 위기로 인해 서면 의사소통을 이해할 수 없는 등 불가피한 상황은 주로 디지털 맥락에서 고려되지 않는 경우가 많다. 넷째, 디지털 시스템은 심각한 비상사태나 일상의 위기(갑자기 혹은 불가사의하게 재정지원이 전자적으로 축소·취소된 노인이나 디지털 ID 카드가 기능하지 않아 아이를 지역 탁아소에 데려갈 수 없게 된 한 부모가 경험하는)에 빠르게 대응하도록 설계되어 있지 않다.

55. 다섯째, 서비스 제공 방식은 사람이 혜택에 의존하거나 긴 대기 기간을 요구하거나 긴 대기열의 탐색을 필요로 한다는 사실을 불필요하게 더 넓은 청중에게 노출시키는 등 쉽게 모욕적인 의미를 가질 수 있다. 여섯째, 인간 제공자를 제거하는 다양한 신기술의 도입은 효율성을 높이고 다른 장점을 제공할 수 있지만, 특정 취약성 상황에 있는 개인에게 반드시 만족스럽지는 않을 수 있다. 새로운 기술은 종종 평균의 법칙, 다수를 위해, 그리고 예측된 결과나 가능성에 근거하여 작동한다.

56. 여섯째, 디지털 서비스는 최소한 일부 복지 수혜자에게 필요한 관리과 지원을 제공하는 데 없어서는 안 될 요소인 인적 상호작용과 연민을 거의 전적으로 제거할 위험이 있다. 어떤 문제에 대해서도 기술적 해결책이 항상 존재한다는 가정은 인간적이고 효과적인 사회 보호 시스템의 다양한 측면에서 잘못 배치 될 가능성이 높다.

E. 디지털 사회복지의 시민적·정치적 권리 보호

57. 가난한 사람들이 더 강도 높은 수준의 정밀 조사, 감시, 감시로 고통받는 것은 독창적인 관찰이 아니다. 1960년대 Charles Reich는 미국의 복지 수혜자들은 “다른 시민들에게 부과되지 않은 많은 형태의 절차와 통제를 받아왔다. …[그들은] 모두 너무 쉽게 규제 당한다.”고 썼다. 1975년 미셸 푸코는 빈곤층을 ‘훈련하고 처벌’하기 위해 현대 사회에서 사용되는 ‘행동의 강압적 기술’에 대해 썼다.

58. Shoshana Zuboff는 디지털 사회복지에서 이러한 교훈이 학습되지 않은 이유를 설명하면서 오늘날 우세한 ‘감시 자본주의’의 체계는 전례가 없는 것이며, “우리의 기존 개념으로 충분히 파악할 수 없기 때문에 체계적인 경쟁에서 벗어날 수 있게 했다”고쓰고 있다. 잭 발킨은 ‘국가 감시국(National Surveillance State)’을 “규제 및 사회복지의 친숙한 장치처럼 시간에 따라 어디에서나 볼 수 있는 통치의 영구적인 특징”이라고 묘사했다.

59. 디지털 기술은 사회복지에서 수혜자, 특히 그 중에서도 가장 가난하고 취약한 사람들을 감시, 표적, 괴롭히고 처벌하기 위해 사용된다. 다시 한 번, 특별보고관이 받은 많은 제출물들은 이 점을 설명하고 강화하는 역할을 한다. 그들은 많은 인권 문제를 강조하는 역할을 한다. 첫째, 사회보장급여와 지원의 맥락에서 수혜자는 사회보장 뿐만 아니라 다른 사회적 권리들을 보장받기 위해 사생활권과 데이터보호권을 사실상 포기해야 할 위험이 있다.

60. 두 번째 우려는 공공 감시와 민간 감시 사이의 경계가 흐려지는 것이다. 복지 국가 당국은 수혜자 감시와 표적화를 위해 적극적으로 또는 수동적으로 점점 더 민간 기업에 의존하고 있다. 민간 기업은 복리후생제도와 사회지원제도에 관여하는 동기가 다르며, 이는 이러한 제도가 제공해야 할 공익과 기업 및 그 소유주의 사익 사이의 갈등으로 이어질 수 있다.

61. 세 번째 우려는 사회복지의 신기술을 통해 빈곤층을 고의적으로 공략하고 괴롭힘을 가할 수 있는 잠재력이다. 특별보고관에게 제출된 사례가 강조하듯이, 사회복지에서의 부정(수급)행위는 종종 혼란, 복잡성, 그리고 그 결과 발생하는 오류를 바로잡지 못하는 결과물이다. 그러나 정부는 수혜자에게 부과되는 ‘조건’의 부정이나 위반을 식별하기 위해 신기술의 힘을 의도적으로 이용함으로써 청구인이 가질 수 있는 모순을 발견할 가능성이 높다. 잭 발킨이 ‘망각의 죽음’이라고 표현한 것을 가능하게 하는 새로운 기술, 즉 정보를 수집하고 디지털로 무기한 저장하는 새로운 능력은 누군가에게 무한정 많은 정보를 보유할 수 있는 미래를 만들어낸다는 점에서도 관련이 있다.

62. 본 보고서에서 제시될 수 있는 것보다 더 큰 고려를 필요로 하는 추가적인 우려는 (i) 규칙 위반의 사후 시행 대신 위험 예측으로의 이동이 초래하는 인권 문제, (ii) 디지털 거버넌스 분야의 다른 분야보다 복지 맥락에서 더 쉽게 예상되는 정부 데이터 고립과 연결되는 위험, (iii) 지속적인 감시 및 감시의 심리적·사회적 비용, (iv) 일부 정부가 디지털 사회복지에서 제공하는 기회를 사용하여 성행위 또는 성적취향, 동거에 대한 접근, 알코올이나 약물의 사용, 자녀를 갖기로 한 결정 또는 이와 같은 여러 목표에 대해 사회적 행동을 변화시키려고 하는 경향의 증가를 포함한다.

F. 디지털 유일 필연성에 저항

63. 일반적으로 디지털 기술, 특히 디지털 사회복지의 중심에 있는 기술은 피할 수 없고 거부할 수 없는 것으로 종종 제시된다. 만약 국가가 기술 최첨단에 서기를 원한다면, 만약 정부가 이용가능한 가장 효율적이고 경제적이고 유연한 복지 시스템을 원한다면, 만약 시민들이 다양한 거래를 하기 위해 신분증을 제시하지 않아도 되는 모든 편의를 원한다면, 디지털 사회복지로의 전환을 추구해야 한다. 그러나 시민과 정부가 충분히 정보를 얻고 적절히 협의한다면 선택할 수 있는 것과는 완전히 별개로, 그러한 결정은 정교한 비용 편익 분석이 없는 상황에서 너무 자주 결정되는 것이 현실이다. 그리고 그러한 분석이 수행될 때, 그것들은 인권을 뒷받침하는, 재정상으로 보이지 않는 무형자산이라고 불리는 것을 무시하는 대차대조표로 구성되어 있다. 존엄성, 선택, 자존심, 자율성, 자기결정권, 프라이버시, 그리고 다른 다양한 요소들과 같은 가치들은 모두 전체 방정식에 반영되지 않고 거래되고 있는데, 이는 새로운 디지털 시스템에서 그들의 역할을 보장하기 위한 불충분한 조치가 취해질 것임을 보증한다.

64. 종종 이러한 거래 중 적어도 일부는 협상이 개인과 특정 정부 기관 사이의 문제일 뿐이라는 이유로 정당화 될 수 있다고 가정한다. 그러나 이러한 이미지는 교차 매칭, 데이터 공유 및 교차 검증과 같이 정부 스펙트럼에서 잠재적으로 사용할 수 있는 데이터 풀을 체계적으로 확대하면서 진실에서 점점 더 멀어지고 있다다. 한 사일로(silo)에서 다음 사일로로의 유출이 일어나지 않을 것이라는 보장이 주어지는 한, 그러한 보장은 대부분 환상적이다. 왜냐하면 해킹이나 정상적인 시스템 고장으로 인한 전자 데이터 침해의 위험과는 완전히 별개로, 정부의 변화나 실제 또는 상상된 비상상황이 파티션의 부분적이거나 포괄적인 붕괴를 촉발시키는 데 필요한 전부이기 때문이다. 또한 그 관계가 정부와 시민 간의 관계일 뿐이라는 가정도 시대착오적이다. 기업 행위자들은 현재 복지 제도의 많은 부분에 중심적으로 관여하고 있으며, 다른 형태의 감시 자본주의의 지속적인 범위 확대와 함께, 무형의 인권 가치는 파산한 기업의 주식만큼 가치가 있다고 가정할 수 있다.

65. 특별보고관은 디지털로 가기 위한 중요한 결정이 정부 장관들에 의해 협의 없이, 혹은 중요한 정책 논의가 이루어지지 않은 부서 관계자들에 의해, 그 움직임이 잠재적으로 판도를 바꾸는 공식적인 정책에 대한 접근을 포함하기 보다는 본질적으로 행정적인 문제라는 이유로 취해진 상황을 알게 되었다. 때로는 디지털로의 이동이 현재 필요하지 않더라도 반드시 언젠가는 될 것이고 미리 움직이는 것이 낫다는 가정이 있는 것 같다. 그러한 선제적 움직임에 대한 지원은 비록 전혀 다른 이유들이기는 하지만, 안보와 대테러 부문뿐만 아니라 기업의 이익에서도 나올 수 있다. 디지털 시스템으로의 전환이 왜, 누구를 위해, 언제, 어떻게 이루어지는지에 대한 질문에 항상 신중하고 투명한 고려가 이루어져야 한다.

66. 그리고 상세한 비용 추정치가 제공되더라도, 이것은 정확성을 달성하기 어려워 보이는 영역이다. Helen Margetts는 예를 들어 영국에서 “기술과 공공 부문의 연계는 거의 행복한 적이 없었다” “모든 정부 기술 프로젝트는 늦게 도달하고, 실적이 저조하며, 예산을 초과할 운명인 것 같다”고 말했다. 또 다른 예는 인도의 아드하르 제도인데, 인도의 아드하르 제도는 시행 전에 적절한 비용 편익 분석이 부족했고, 비용 및 이익에 대한 사후 평가와 관련하여 큰 의견 불일치가 있었다.

G. 민간부문의 역할

67. 이 보고서의 두 가지 일관된 주제는 많은 정부들이 기술 회사의 활동을 규제하는 것을 꺼리는 것과, 그러한 회사들이 어떠한 체계적인 인권 고려사항도 고려하는 것을 강하게 저항하는 것이었다. 이는 인권에서 거의 자유로운 구역에서 활동하는 많은 기술 대기업으로 이어진다는 사실은 디지털 사회복지의 상당 부분을 설계, 건설, 심지어 운영하는데 있어서 민간 부문이 주도적인 역할을 하고 있는 정도에 의해 더욱 악화되고 있다.

68. 잘 알려진 예로는 남아프리카의 생체인식 시스템과 연계된 사회적 보조금 분배에 Net 1 자회사인 CPS, MarsterCard, Grindrod Bank가 참여한 것은 호주의 현금 없는 직불카드 실험에서 Indue와 Visa가 맡은 역할, 온타리오의 사회지원 관리 시스템에 IBM이 관여하는 것이 있다. 또한 특별보고관에게 제출된 자료들은 실업 서비스, 사회 및 청소년 복지에 사용되는 공공 행정 소프트웨어에 대한 독일 시장에서 민간 부문의 역할 증가와 영국 지방 당국의 사회 보호 분야의 민간기업 아웃소싱에 주목했다. 이와는 대조적으로, 다양한 제출물은 사회복지에서 중요한 역할을 하기 위해 민간 행위자들에게 의존하지 않는 관련 정부들의 의도적인 선택을 지적한다.

69. 특별보고관은 공공 서비스의 민영화에서 발생하는 문제들을 다른 곳에서 더 일반적으로 다루었다. 그러나 사회보호서비스와 관련하여 전 세계 사회복지에서 디지털 기술을 제안, 개발, 운영하는데 있어서 민간 행위자들의 정확한 역할과 책임에 대한 정보가 매우 부족하다. 이러한 투명성의 부족은 정보법, 기밀성 조항, 지적 재산권 보호의 자유의 격차에서부터, 입법부와 임원들이 투명성을 요구하지 않는 것, 이러한 관행에 대한 감독 기관과 언론의 일반적인 조사 부족에 이르기까지 다양한 원인을 가지고 있다. 정보의 부재는 정부와 민간 행위자들에게 책임을 묻기 위한 노력을 심각하게 방해한다.

H. 책임 매커니즘

70. 디지털 사회복지를 홍보하기 위해 사용된 많은 프로그램들은 인권 기준을 준수하는 것에 매우 저항하는 바로 그 회사들에 의해 설계되었다. 또한 이러한 기업과 계열사는 실제 복지 프로그램의 핵심 부분을 설계하고 구현하는 데 점점 더 의존하고 있다. 따라서 인권에 부합하는 디지털 복지의 성과를 보장하기 위한 노력의 출발점은 정부 규제를 통해 기술 회사가 법적으로 적용 가능한 국제 인권 기준을 존중해야 한다는 것을 보장하는 것이 분명하다.

IV. 결론

71. 디지털 기술의 다양한 발현, 특히 인공지능의 인권에 대한 위험을 경고하는 분석의 부족은 없다. 그러나 이러한 연구는 사생활에 대한 권리, 차별금지, 공정한 재판권, 표현과 정보의 자유에 대한 권리와 같은 전통적인 시민적, 정치적 권리에 압도적으로 초점을 맞추고 있다. 소수의 예외를 제외하고는 디지털 사회복지의 출현으로 대표되는 일련의 위협을 적절하게 포착한 사람은 없습니다. 대다수의 국가들은 다양한 형태의 사회 보호, 즉 복지에 많은 돈을 쓰고 있으며, 기술 최첨단에 있는 것과 관련된 명성은 말할 것도 없고, 인원 감축, 더 큰 효율성, 부정(수급)행위 감소와 함께 주요 비용 절감을 제공하는 디지털 시스템의 매력은 거부할 수 없다. 복지의 미래가 디지털화와 인공지능의 적용과 통합적으로 연결될 것이라는 데는 의심의 여지가 거의 없다.

72. 그러나 인류가 디지털 복지 미래를 향해, 아마도 가차 없을 정도로 움직이기 때문에, 좀비와 같은 디지털 복지 디스토피아로 넘어지는 것을 피하기 위해 진로를 크게 그리고 신속하게 바꿀 필요가 있다. 그러한 미래는 다음과 같다: 제한되지 않은 데이터 매칭은 복지 수혜자의 기록에서 사소한 비리를 폭로하고 처벌하는 데 사용된다. (부유층이 연관된 그러한 조치를 부지런히 피하는 동안), 더욱 세련된 감시 옵션을 통해 수혜자의 24시간 감시가 가능하다. 성적, 생식적 선택, 음식, 술, 약물과 그 밖의 많은 것과 관련된 개인의 자율성과 선택을 훼손하는 조건이 수혜자에게 부과된다. 그리고 선을 벗어난 사람들에게 매우 징벌적인 제재가 가해질 수 있다.

73. 이 보고서는 디지털 사회복지에서 잠재적으로 흘러나올 수 있는 많은 장점보다는 위험에 초점을 맞추고 있기 때문에 불균형하거나 일방적이라는 것은 합리적으로 반대될 것이다. 명분은 간단하다. 많은 지지자들이 이점을 칭찬하고 있지만, 부정적인 면에 대한 냉혹한 성찰에 대한 충고는 너무 적다. 위의 분석을 요약하려고 하기 보다는 몇 가지 추가 정보를 정리한다.

74. 첫째, 디지털 사회복지 기술은 ‘과학적’ 진보의 필연적인 결과물이 아니라 인간의 정치적 선택을 반영한다. 기술이 사전에 규정된 또는 객관적으로 합리적이고 효율적인 결과를 반영한다고 가정하면, 민주적인 의사 결정과 함께 인권 원칙을 포기할 위험이 있다.

75. 둘째, 시장의 논리가 지속적으로 우세하도록 허용된다면, 그것은 필연적으로 인권 고려를 무시하고 강요한다.”사회 외부적인 요소, 예를 들어 AI 시스템이 편견과 차별에 관여할 때… 점점 더 인간의 자율성을 감소시킨다“

76. 셋째, 신기술을 뒷받침하고 형성하는 가치는 “성별과 인종에 걸쳐 AI 분야의 다양성 위기”가 있다는 사실에 의해 필연적으로 왜곡된다. 일반적으로 AI 시스템을 설계하는 사람들뿐만 아니라 사회복지에 초점을 맞춘 사람들은 압도적으로 백인, 남성, 부유층, 그리고 북반구 출신이다. 그들이 어떤 가치에 아무리 헌신적일지라도 디지털 사회복지를 형성할 때의 가정과 선택은 특정 관점과 삶의 경험을 반영할 것이다. 이러한 편견에 대응하고 인권 고려사항이 적절하게 고려되도록 하는 방법은 “데이터의 작성, 감사 및 유지보수의 기초가 되는 관행”이 매우 세심한 조사를 받도록 하는 것이다.

77. 넷째, 예측 분석, 알고리즘 및 기타 형태의 AI는 기존 데이터 및 정책에 반영된 편향을 재현하고 악화시킬 가능성이 높다. 내장된 형태의 차별은 주요 그룹과 개인에 대한 사회적 보호권을 치명적으로 훼손할 수 있다. 따라서 디지털 사회복지를 설계하는 데 있어서 그러한 편견을 확인하고 대응하기 위한 공동의 노력이 필요하다. 이것은 차례로 투명성과 정책 결정 과정에 대한 광범위한 투입을 필요로 한다. 국민, 특히 복지제도의 직접적인 영향을 받는 사람들은 알고리즘의 깊은 곳에 묻혀 있는 정책을 이해하고 평가할 수 있어야 한다.

78. 다섯째, 특히 북반구 뿐만 아니라 기술산업은 운전자가 없는 자동차, 비행차, 다기능 기업인을 위한 전자 개인비서 등 부유층을 위한 기기 설계 및 판매에 중점을 두고 있다. 재정 인센티브, 정부 규제, 정치적 압력이 없는 상황에서, 그것은 어느 사회에서나 빈곤한 사람들의 인간성과 우려를 충분히 고려한 사회복지의 창설을 촉진하는 데 너무 적은 관심을 기울일 것이다.

79. 여섯째, 지금까지 놀랍게도 새로운 기술이 사회복지를 더 좋게 변화시킬 수 있는 방법에 대한 관심은 거의 없었다. 사기, 비용 절감, 제재, 시장 주도의 효율성 정의에 집착하는 대신, 취약계층과 취약계층을 위한 더 높은 생활 수준을 보장하기 위해 기술을 통해 기존 또는 확대된 복지 예산이 어떻게 변형될 수 있는지, 뒤쳐진 사람들을 돌보는 새로운 방법, 그리고 노동 시장에 진입하거나 재진입하기 위해 고군분투하는 사람들의 요구를 해결하기 위한 더 효과적인 기술을 고안하는 것이 출발점이다. 그것 이 진정한 디지털 사회복지 혁명이 될 것이다.