자동화 시대에 가난한 사람들의 삶은 어떻게 망가지는가?
데이터 기반 정책의 디스토피아를 폭로하는 르포르타주

가난한 사람들을 표적으로 삼는 자동화 시스템의 실체를 폭로하는 책이다. 뉴욕주립대학교 정치학 부교수 버지니아 유뱅크스는 법 집행부터 의료보험, 사회복지사업까지 미국의 공공 정책에 도입된 자동화 기술이 시민권 및 인권, 경제 형평성에 어떤 영향을 미치는지 낱낱이 보여 준다.

저자는 2014년부터 체계적인 조사에 착수해, 미국의 공공 정책에 도입된 데이터마이닝, 정책 알고리즘, 위험 예측 모형의 실상을 파헤친다. 빈곤가정일시지원(Temporary Assistance to Needy Families, TANF), 영양보충지원계획(Supplemental Nutrition Assistance Program, SNAP), 메디케이드(Medicaid) 같은 인디애나주의 공공 부조 제도에서부터 로스앤젤레스의 노숙인 서비스, 앨러게니 카운티의 아동복지에 이르기까지의 공공 정책을 두루 다루며, 첨단 기술 도구가 이들 제도에 끼친 영향을 체계적으로 규명한다.

디지털화를 찬양하는 시대, 저자가 눈앞에서 목격한 것은 디지털 기술이 사회적·경제적 불평등을 견고히 하고, 사적·공적 복지를 약화시키는 현장이었다. 그는 자동화 시스템이 소외 집단을 견제하고 조사하고 처벌하는 데 교묘히 이용되고 있으며, 결과적으로 민주주의를 약화시킨다고 주장한다. 컴퓨터 코드 뒤에 가려진 현대 국가의 통치 방식을 빈곤 가정, 사회복지사, 정책 입안자, 활동가 등의 증언을 통해 세밀하게 되살려 낸 문화 기술지이자 르포르타주이다.

벽돌과 모르타르로 된 구빈원은 어떻게 디지털 구빈원으로 진화했을까?
기술의 중립성이라는 가면을 벗기다!

디지털 시대가 시작된 이래 공공 분야에서의 의사 결정은 획기적인 변화를 겪고 있다. 업무 처리 과정을 고도화한다는 명목 아래 공공서비스에 자동화 기술을 적용하고 전산화된 알고리즘을 활용하는 등 광범위한 신기술 도입이 이뤄지고 있다. 이런 변화를 지지하는 이들은 흔히 새로운 세대의 디지털 도구를 ‘혁신적’이라고 극찬한다. 빅데이터, 알고리즘 등의 첨단 기술 도구가 형식적인 관료주의를 대대적으로 개혁하고 해결책을 촉진하며 투명성을 높여, 본질적으로 더 민주적인 정부를 만드는 데 기여한다는 것이다.

하지만 유뱅크스는 가난한 노동자 계층을 표적으로 삼고 있다는 점에 주목한다면, 새로운 데이터 분석 체제는 ‘혁명’이라기보다 ‘진화’에 가깝다고 통렬히 지적한다. 그에 따르면 미국의 가난한 노동자 계층은 오래전부터 사생활 침해적인 감시, 야밤의 불시 단속, 그리고 처벌적인 공공 정책의 대상이 되어 왔다. 19세기에는 지방자치단체가 설립한 구빈원에 격리되었고, 20세기에는 개별사회복지사의 조사를 받으며 마치 재판 받는 죄인처럼 다뤄졌다. 이 책은 현대의 빈곤 관리 시스템이 세련된 첨단 기술로 무장하고 있지만 실은 19세기부터 존재해 온 처벌적인 빈곤 관리 전략의 단순한 확대에 지나지 않는다고 이야기한다.

『자동화된 불평등』에서 가장 주목해야 할 개념은 ‘디지털 구빈원’이다. 이는 자동화된 의사 결정 시스템, 데이터마이닝, 위험 예측 모형 등 공적 서비스 분야에 침투한 첨단 기술에 대한 저자의 날카로운 문제의식이 담긴 용어이다. 저자 버지니아 유뱅크스는 “기술과 불평등을 이야기하면서 역사와 맥락을 삭제하는 움직임에 대한 저항”의 차원으로 ‘디지털 구빈원’이라는 용어를 사용한다고 힘주어 말하며, 빈곤을 관리하는 첨단 기술이 결코 중립적이지 않다고 일갈한다.

유뱅크스에 따르면 디지털 구빈원은 소외 집단이 공공 자원에 접근하는 것을 단념시키고, 이들의 노동, 지출, 성생활, 육아를 감시하며, 심지어 이런 요구에 순응하지 않는 사람들은 처벌하고 범죄자 취급한다. 19세기의 벽돌과 모르타르로 만들어진 구빈원이 그랬던 것처럼 말이다. 저자는 유색인, 이민자, 성적 소수자, 가난한 사람들이 공적 서비스를 받으려 할 때, 어떤 식으로 첨단 기술의 표적으로 지목되어 감시와 추적을 받는지 구체적인 사례와 함께 세밀하게 살펴 나간다. 그럼으로써 복지 혜택을 합리화하고 능률화하기 위한 방법이라고 여겨 왔던 디지털 기술의 실상은 결코 소외 집단에게 호의적이지 않다는 것을 사회 구조적인 측면에서 고발하고 있다.


가난한 이들은 디지털 덫에 어떻게 걸려드는가!
소외 집단을 표적으로 삼는 은밀한 알고리즘의 실체

유뱅크스는 디지털 구빈원의 실체를 생생하게 그려 내기 위해 인디애나주와 로스앤젤레스, 피츠버그를 직접 찾아간다. 당사자들과의 인터뷰, 재판 참관, 공공 기록 조사 등의 방법으로 사회복지 서비스 현장에서 일어나고 있는 일을 분석해 내는 솜씨가 집요한 탐사 저널리즘을 방불케 한다.

인디애나주에서는 2006년 복지 수급자격 판정 현대화 실험이 진행됐다. 복지 서비스 신청을 온라인으로 받아 적격성 판정을 자동화한다는 계획이었는데, 3년 동안 의료보험, 푸드 스탬프, 현금 수당 신청에 대해 무려 100만 건이나 ‘거부 통지’를 내보내는 사태가 발생했다. 새로운 컴퓨터 시스템이 신청상의 오류를 신청자의 ‘협조 불이행’으로 해석했기 때문이다. 자동화 시기에 메디케이드 혜택을 상실한 소피(sophie)라는 소녀는 직접 휠체어를 타고 주지사를 찾아가 사회복지 정책실장과 면담을 한 끝에 겨우 보험 혜택을 회복할 수 있었다. 시스템상의 오류 때문에 생명 유지 장치나 다름없는 공공서비스 혜택을 상실한 소피 같은 사례는 인디애나주에서 차고 넘친다. 유뱅크스는 자동화 시스템이 불러온 무서운 충격을 견뎠지만, 끝내 목숨을 잃게 된 소피에게 이 책을 헌정한다.

2013년부터 시험 사용된 로스앤젤레스의 노숙인 통합 등록 시스템에서도 가난한 이들은 공공 정책의 수혜자라기보다 표적이 될 뿐이다. 이 시스템은 전산화된 알고리즘을 활용해 등록된 노숙인들을 적절한 주택 자원과 연결시켜 주는 서비스다. 그런데 로스앤젤레스시에서는 통합 데이터 시스템을 구축한다며 노숙인들의 내밀하고 개인적인 정보를 수집하면서도, 그 대가로 거의 아무것도 제공하지 않고 있는 것이 현실이다.
한편 2016년 8월에 개시된 앨러게니가정선별도구(Allegheny Family Screening Tool, AFST)라는 통계 모형의 사례를 면밀히 들여다보면, 첨단 기술 도구가 가난한 이들의 미래에도 섣불리 손을 대고 있음을 알 수 있다. AFST는 한 가정을 아동 학대 조사 대상으로 선별할지 여부를 판단하는 ‘위험 예측 점수’를 계산해 내는 위험 예측 모형인데, 그 산출 기준이 매우 편파적이다. 이를테면 음식 부족, 부적절한 주거, 무면허 보육 시설, 건강관리 부족과 같은 빈곤의 지표를 아동 방치의 징후로 해석함으로써 가난한 이들에게 ‘문제 부모’라는 꼬리표를 붙이는 것이다.

유뱅크스는 이 세 가지 사례를 면밀히 분석하며, 윤리적·기술적으로 복잡한 문제를 갖는 자동화된 의사 결정이 점차 빠르게 증가하는 상황에 주목해야 한다고 강조한다. 가난한 이들이 첨단 기술 도구의 표적이 되어 정치적 권리를 잃고, 생존 자체가 불법화되는 상황은 결국 민주주의 자체를 위협할 것이기 때문이다. 이 책은 첨단 기술을 이용한 사회적 분류에 가장 열광한 곳이 심각한 불평등으로 분열되고 전체주의 정권이 통치하는 나라들이라는 사실을 기억해야 한다고 꼬집는다.

디지털 구빈원, 어떻게 해체할 것인가!
변화는 우리 안에서 시작되어야 한다

현재 ‘디지털 구빈원’은 소수 권력집단의 손에 행정 권한을 집중시키고 있다. 통합 데이터 시스템과 디지털 감시 인프라는 역사상 비할 데 없는 수준의 통제력을 제공하고 있다. 우리가 주목해야 할 것은 새로운 기술이 제도에 통합되면 추진력이 생긴다는 사실이다. 또한 그 기술은 원숙해질수록, 이의를 제기하거나 방향을 재설정하기가 점점 더 어려워진다.

게다가 ‘디지털 구빈원’은 가난에 대한 문화적 이해와 정치적 대응에 관련된 문제이기 때문에, 해결책을 논의하는 것이 어렵고 시간이 오래 걸리는 일이기도 하다. 그렇다고 가난을 대하는 새로운 방식이 등장하기를 기다리는 동안, 기술 발전이 속도를 늦출 것 같지는 않은 상황이다. 따라서 우리는 새로운 기술로 인한 피해를 최소화하기 위한 기술 설계 원칙을 지금 당장 논의하기 시작해야 한다. ‘디지털 구빈원’이 그 망을 점점 확장하기 전에 말이다. 이 책이 다루고 있는 문제가 그만큼 시급하다는 뜻이다.

그동안 소프트웨어, 알고리즘 등의 컴퓨터 기술은 오랫동안 탈문화 영역으로 여겨져 왔다. 그 운영의 세부 사항이 복잡하기 때문에 보통 사람들이 기술의 실체를 파악하기 어렵기도 했다. 잘못된 데이터, 소프트웨어 등의 잠재적 영향력이 광범위한 상황인데도 첨단 기술이 어떻게 작동하는지, 거기에 어떻게 대처해야 할지 제대로 된 논의조차 시작하지 못했다. 이런 점에서 『자동화된 불평등』은 데이터마이닝, 정책 알고리즘, 위험 예측 모형 등의 첨단 기술에 대한 신비화를 경계하고, 이를 사회적 논쟁의 장으로 끌어오는 데 도움을 줄 것이다.

■ 추천사

(기술과 정책에 관한 이 책의 성취에) 눈을 뗄 수가 없다. 이 책의 주장을 가난한 사람들, 사회복지사, 정책 입안자뿐 아니라 ?전문직 계층에게 널리 알려야 한다. 기술이 정의를 대신할 수 없다는 점을 모두가 알아야 한다. ― 《뉴욕타임스》

컴퓨터는 오랫동안 탈문화 영역으로 여겨져 왔다. 이런 인식은 바뀌어야 한다. 하지만 정책 입안자들과 유권자들이 진정 문제가 어느 정도인지를 알아야만 변화가 일어날 것이다. 디지털화를 찬양하는 시대, 권력 집단이 대개 이런 알고리즘이 낳는 결과로부터 보호받는 곳에서는 이런 변화가 일어나기 어렵다. 물론 무작위의 우연이 발생하는 경우는 예외이지만 말이다. 이런 면에서 유뱅크스의 이야기는 우리 모두에게 소름 끼치는 교훈을 가져다준다. ― 《파이낸셜타임스》

이 책을 주의 깊게 읽는다면, 두려워해야 할 것은 빅데이터와 인공지능과 같은 기술도 아니며, 사회정책 그 자체도 아니라는 것을 알게 될 것이다. 우리가 두려워해야 할 대상은 바로 우리 자신이며, 변화를 위한 결단을 내리는 것도 우리 자신이다. ― 홍기빈(칼폴라니 사회경제연구소 소장)

『자동화된 불평등』의 주장은 사회복지 프로그램에서의 자동화된 의사 결정이 디지털 구빈원을 만들어 낸다는 것이다. 디지털 구빈원은 미국의 가난 문제에 항상 따라다니던 부정적인 유형의 도덕적 판단을 영구화한??다. 유뱅크스는 데이터 과학자들이 모든 사람들을 존중하고 차별 양상을 악화시키지 않을 것을 맹세하는 히포크라테스 선서를 제안한다. ― 《뉴욕리뷰오브북스》

대단히 무서운 책이다. 하지만… 이 책을 읽는 독자는 더욱 현명해지고 더 많은 힘을 얻어 정의를 요구하게 될 것이다. ― 나오미 클라인(『쇼크 독트린』 저자)

바버라 에런라이크의 『노동의 배신』 또는 매튜 데스먼드의 『쫓겨난 사람들』과 맞먹는 필독서. 철저히 연구되고, 아주 이해하기 쉬우며, 대단히 겸손하다. 사례 연구와 정연한 논리를 통해 기술의 비용과 결과를 다루는 중요한 책들이 많지만, 실로 알고리즘에 의한 의사 결정과 불평등의 세계로 독자들을 끌어들이는 건 이 책이 처음이다. 잘 쓰인 문화 기술지 같다.
― 다나 보이드(『소셜 시대 십 대는 소통한다』 저자)

기술에 관한 단 한 권의 중요한 책을 올해 읽게 될 것이다. 오늘날 모두가 인터넷이 민주주의에 미치는 영향에 대해 우려하지만, 유뱅크스는 우리가 맞닥뜨리고 있는 문제가 ‘가짜 뉴스’보다 훨씬 더 심각한 것임을 보여 준다. 자동화 시스템은 고의로 사회적·경제적 불평등을 견고히 하고, 사적·공적 복지를 약화시킨다. 유뱅크스는 역사에 뛰어들어 참호 속에서 리포트를 전하며, 우리가 맞닥뜨리는 정치적 디지털 세력을 더 잘 이해해 효과적으로 반격할 수 있도록 도와준다.
― 애스트라 테일러(『대중의 플랫폼The People’s Platform』 저자)

서론: 적신호



1. 구빈원에서 데이터베이스로

2. 미국 심장부의 자동화된 적격성 판정 시스템

3. ‘천사의 도시’의 노숙인 통합 등록 시스템

4. 앨러게니의 알고리즘

5. 디지털 구빈원



결론: 디지털 구빈원 해체하기

해제: 복지국가의 두 얼굴과 ‘디지털 구빈원’의 현실성 (홍기빈)