글쓴이│pchr7님
캐시 오닐의 『대량살상수학무기』. 강렬한 제목이다. 이 제목은 어떻게 탄생 했을까? 이론적으로 수학은 객관적이고 공정하다. 저자는 수학의 질서 정연한 세계에 매료되어 수학자가 되었다. 하지만 그녀가 헤지 펀드의 퀀트와 IT업계의 데이터 과학자로서 경험한 실제 세계의 수학은 정 반대였다. 수학으로 만들어진 모형은 불투명하고 불평등했다. 무엇보다 ‘사회적 약자와 가난한 사람들을 차별하고 부자를 더욱 부자로 만들어 주는’ 파괴적인 성격을 발견했다. 저자는 대량살상무기(Weapons of Mass Destruction)에 착안해, 사람들에게 피해를 주는 모형을 ‘대량살상수학무기’(Weapons of Math Destruction)라고 명명한다.
WMD는 무엇이며 왜 위험한가
빅데이터 경제의 원동력이 되는 수학모형은 현재 교육, 치안, 노동시장 등 삶의 전반에 개입하고 있다. 저자는 여기서 질문을 던진다. 일상의 많은 부분을 결정하는 수학모형이 애초에 잘못된 것이라면? 잘못된 모형, 즉 WMD의 위험성을 경고하는 것이 저자가 이 책을 쓴 목적이다. WMD가 효율성이라는 이유로 어떻게 사람들을 차별하고 불공정한 사회를 만드는지 다양한 예시를 통해 설명한다.
WMD가 처음부터 나쁜 의도를 갖는 건 아니었다. 보통 좋은 목표를 가지고 고안된다. 학생들의 학력을 올리기 위한 나쁜 교사를 걸러내는 ‘가치부가모형’이나 범죄자의 재범위험성을 측정하는 ‘재범위험성모형’을 이용하면 공정하고 효율적으로 목적을 달성할 수 있을 것이라고 기대했다. 편견의 개입을 최소화하고 객관적인 수치를 갖고 측정하기 때문이다. 하지만 결과는 공정하거나 객관적이지도 않았다. ‘가치부가모형’으로 해고된 교사는 학부모들에게 좋은 평판을 들었던 교사였으며 ‘재범위험성모형’은 가난한 사람들과 유색인종에게 불리하게 작동하는 등 차별적이었다.
저자는 이런 결과가 나타난 이유가 WMD가 가진 특징 때문이라고 말한다. 먼저, 불투명성이다. ‘가치부가모형’이나 ‘재범위험성모형’은 ‘데이터의 어느 항목에 얼마만큼의 가중치가 부여되는지 일반인들은 전혀 알 수가 없다.’ 폐쇄적이고 비공개적이다. 저자는 ‘WMD가 쉽게 이해할 수 없게 설계된 블랙박스’라고 설명한다. 모형의 결과에 승복할 수 없어 자신의 대답이 점수화 되는 방식을 확인하고 싶더라도 어렵다. WMD는 ‘미스터리한 알고리즘 안에 숨겨져’있기 때문이다. 쉽게 이해할 수 없기 때문에 모형에 이용되는 질문지의 공정성을 작성자는 판단하기 어렵다.
둘째, 확장성이다. WMD는 공통적으로 광범위하고 개인의 삶 깊숙하게 관여해 피해를 초래한다. 이를 테면, 은행의 대출심사모형이 당신을 ‘예비 채무불이행자’로 판단한다면, 그 불행한 꼬리표는 일자리를 구할 때도 따라다닌다. 이력서 심사에 이용되는 시스템으로 인해 인터뷰할 기회조차 얻지 못한 채 탈락하게 된다. 단순히 꼬리표로 끝나지 않고 삶의 전반으로 확장되는 것이다. WMD의 확장성은 2008년 금융위기로 여러 기관들이 도미노처럼 파산하는 등 광범위하고 유례없는 피해를 설명해준다.
이러한 면은 곧, WMD의 세번째 특징인 피해와 연결된다. WMD의 피해 범위는 계층을 가리지 않는다. 대학 순위 평가 모형은 부유층과 중산층의 학생들과 가족들의 삶을 비참하게 만들고 영리대학의 약탈적 광고는 취약계층을 공략해 대출을 받도록 도와주면서 헤어 나오기 힘든 빚의 구렁으로 내몬다. 저자는 취약계층의 절실한 처지를 악용해 어려운 처지로 만든다는 점에서 WMD가 빈부격차를 악화시킨다고 본다.
WMD는 효율성을 내세워 공정성을 희생시킨다. ‘알고리즘은 패배자로 낙인 찍힌 사람들이 언제까지나 계속 패배자로 남도록 만든다. 반면 운이 좋은 소수는 빅데이터 경제에 대한 통제력을 갈수록 확장하고 막대한 부를 축적하면서 자신은 모든 특혜를 누릴 자격이 있다고 확신’ 한다는 면에서 저자는 빅데이터가 민주주의를 위협한다고 지적한다. 미국의 치안세계까지 개입하고 있는 WMD역시 불평등을 확산한다. 지능적인 금융범죄를 단속하기 보다는 범죄다발 구역으로 표시된 빈민가에 병력이 집중됨으로써 ‘가난은 곧 범죄’가 된다. 잘못된 모형에 대한 피드백이 불가능한 피드백 루프는 이러한 불평등을 더 강화 시킨다.
WMD의 해결책
저자는 10장에 걸쳐 다양한 예시와 함께 WMD 모형의 파괴성을 강조하고 있다. 암울한 세계를 보여주는 것만이 저자의 유일한 목적은 아니다. 어떻게 WMD를 파괴성을 줄이고 해체할 수 있는지 해결책을 제시한다.
대부분의 수학모형은 정의나 평등이 아니라 효율성과 수익에 맞춰져 있다. 수익을 추구하는 것은 자본주의의 본질이기도 하기에 스스로 정의와 평등을 추구하기를 기대하기 어렵다. 때문에 저자는 그들의 파괴력에 브레이크를 걸 대항세력이 필요하다고 생각한다. 이는 저자가 ‘월 스트리트를 점령하라(occupy wallstreet)’운동에 관여하고 있는 것과 무관하지 않다.
저자는 WMD의 파괴성을 희석하기 위해 ‘사회전체가 공정성을 위해 효과성을 어느 정도 희생시킬 의지가 있느냐’에 관건이 달려있다고 본다. 공정성을 정량화하기 어렵다는 이유로 대리 데이터를 용하거나 배제할 것이 아니라 효율성을 희생시키는 한이 있더라도 알고리즘에 인간적인 가치를 반영해야 한다고 주장한다. ‘빅데이터 시대에도 여전히 인간이 해야 할 영역이 있다’고 말이다. 즉, 이익보다 공정성을 우선시하는 방향으로 나아가야 한다고 말한다. 저자는 모형 개발자를 위한 윤리적 선서, 히포크라테스 선서도 소개한다. 궁극적으로 법률이 변해야 한다고 주장한다.
WMD가 도리어 인간에게 유익하게 사용될 수도 있다. ‘조종하기 위해서가 아니라 도움을 주기 위해 사람들을 분류하는 경우’다. 예를 들어 시장 선거에서 마이크로 타기팅을 통해 서민형 주택으로 가장 큰 도움을 받을 수 있는 사람들을 확인해서 그들이 그런 주택을 찾을 수 있도록 도와줄 수 있다. WMD가 가진 두 얼굴이다. 저자는 선의의 모형도 소개한다. 이는 데이터과학이 오남용이 되지 않는다면 훌륭한 기능을 할 수 있음을 말해준다.
저자는 독자에게 WMD의 피해자가 되지 않기 위한 방법을 말한다. 신용평가점수가 우리를 평가하거나 심사하기 위해 사용될 때, 통보 받을 권리가 있으며 심사의 투명성을 요구해야 한다고. 더불어 대중의 삶에 큰 영향을 미치는 모형들을 공개하고 대중은 그 기술을 적극적으로 이용해 피해자가 되지 말기를 당부한다. ‘수학모형은 우리의 도구여야지 우리의 주인이 되서는 안되기’때문이다.
데이터 처리 과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다. 우리는 더 나은 가치를 알고리즘에 명백히 포함시키고, 우리의 윤리적 지표를 따르는 빅데이터 모형을 창조해야 한다. 그렇게 하려면 가끔은 이익보다 공정성을 우선시해야 한다.
『대량살상 수학무기』 결론 중에서
※ 이 글은 pchr7님의 네이버 블로그에 포스팅 된 ‘대량살상 수학무기(캐시 오닐)’ 서평글입니다.
편집자주 : <함께 읽는 정보인권>은 정보인권 관련 외부 서평글을 소개하는 코너입니다. 글의 내용이 진보넷의 입장과 조금 다를 수도 있습니다. 하지만 함께 문제의식을 공유하고 또 다양한 입장과 견해가 섞이며 조금씩 정보인권의 외연이 넓어질 수 있기를 희망합니다.
