인공지능, 초연결, 초지능, 자율주행까지
모든 혁신은 딥러닝에서 시작되었다

4차 산업혁명, AI 시대의 미래를 예측하려면
딥러닝에 주목하라

‘스마트폰 혁명’ 이후의 새로운 패러다임은 무엇일까. 누구도 경험하지 못한 미래가 다가오고 있다. ‘딥러닝 혁명’이 바로 그것이다. 딥러닝 혁명에서 시작된 변혁은 산업, 교육, 경제, 문화, 전 영역에 걸쳐 가시화되고 있다. 새로운 패러다임 등장은 필연적으로 승자와 패자를 낳는다. 발 빠르게 적응하는 이와 그렇지 못한 이가 나뉘는 것이다. 얼마 전 소프트뱅크 손정의 회장이 문재인 대통령을 만나 자리에서 “첫째도 AI, 둘째도 AI, 셋째도 AI”라고 힘주어 말했다. 인공지능에 기업과 국가의 경쟁력이 달려 있으며, 인공 지능 개발에 모든 역량을 집중해야 한다는 것이었다. 실제로 4차 산업혁명 열풍과 알파고 충격 이후, 인공지능은 제조업, 통신, 자동차, 서비스업 등 산업뿐만 아니라 교육, 의료, 법조, 행정 등 우리 생활 모든 영역에 깊숙이 들어왔다. 빅데이터와 인공지능이 결합된 서비스가 나의 욕구를 나보다 먼저 정확하게 알고 상품을 추천을 해주는 일은 이제 너무 당연해서 특별하게 느껴지지 않을 정도다.

이제는 앞을 내다보는 질문이 필요한 시점이다. 이와 같은 변화가 어디서 시작되었고, 앞으로 어떻게 될 것이며, 나아가 우리는 무엇을 준비해야 하는지 말이다. 《딥러닝 레볼루션》의 저자 테런스 J, 세즈노스키는 인공지능 발전에 결정적 역할을 한 것이 딥러닝이라고 말한다. 딥러닝 없이는 지금과 같은 변화가 없었을 것이며, AI 시대의 미래를 예측하기 위해서는 딥러닝을 알아야 한다는 것이다. 모두의 각광을 받고 있는 빅데이터, 초연결, 자율주행 역시 딥러닝 없이는 불가능했을 성과다. “아무리 많은 데이터를 만들어내도 머신러닝(딥러닝)이 발전하지 않으면 아무 소용이 없다”는 말이 이를 압축적으로 보여준다.

이 책에서 신경과학과 머신러닝 분야의 대가인 세즈노스키는 통찰력 있게 인공지능의 과거와 현재를 돌아보고 미래를 조망한다. 딥러닝은 지금까지 이뤄낸 변화보다 앞으로 훨씬 큰 변화를 가져올 것이다. 하지만 여기에는 ‘궁극적으로’라는 단서가 붙는다. 그 시기가 앞당겨질지 아닐지, 발전의 결과물을 유리하게 이용할지 못할지는 전적으로 우리가 어떻게 하느냐에 달려 있다.

제조업, 통신, 자동차, 서비스, 교육, 의료, 법조, 행정까지
게임의 규칙을 바꾸고 있는 인공지능

인공지능은 어디까지 왔고, 어디로 향할 것인가
인공지능은 과연 인간의 지능을 따라잡을 수 있을 것인가

자율주행 자동차, 인공지능과 머신러닝을 통한 의료 진단, 딥러닝 시스템을 통한 법률 상담, 자동 거래를 통한 막대한 이익 등은 딥러닝 혁명이 만들어낸 변화들이다. 자율주행과 의료 영역을 중심으로 그 발전 양상을 좀 더 자세히 살펴보자.
자율주행차가 불러올 변화는 운전으로부터의 해방과 도로 주행이 보다 안전해지는 수준을 훨씬 넘어선다. 우선 언제 어디서든 자율주행차를 쓸 수 있게 되면 자연스럽게 소유 개념이 달라질 것이다. 부르자마자 1분 만에 인공지능이 안전하게 운전하는 자동차가 온다면 굳이 차를 소유할 필요가 없기 때문이다. 자율주행 자동차가 상용화되고 도시 밖에 주차를 하는 시대가 오면 현재 도시에서 주차장으로 쓰이는 방대한 면적이 생산적인 목적으로 재활용될 것이다. 실제로 도시 계획가들은 이미 주차장을 공원화하는 방안 등을 그려보고 있다. 이는 도시의 형태를 완전히 뒤바꿀 것이다. 자동차와 관련된 여러 산업군이 영향을 받는 것은 물론이다. 보험사와 정비소가 대표적이다.
의료계는 어떨까. 머신러닝이 발전하고 빅데이터를 이용할 수 있는 여러 문제에 적용됨으로써 변혁을 겪게 될 전망이다. 의료 진단이 대표적인 예다. 환자 수백만 명의 기록을 활용할 수 있게 되면서 더욱 정확해질 것이다. 암 진단에서 딥러닝의 예측과 전문의의 판단이 결합된 경우 0.995라는 거의 완벽한 정확도가 나왔다. 인간과 인공지능이 힘을 합쳤을 때 더 나은 수행력이 나온 이유는 전문의와 딥러닝 네트워크가 동일한 자료를 서로 다른 방식으로 보기 때문이다. 이는 곧 인간과 기계가 경쟁하기보다는 공조하는 미래가 열릴 것이며 보다 많은 생명을 살릴 수 있게 될 것이라는 의미다.
이와 같은 놀라운 변화는 수많은 데이터를 해석하고 응용하게 됨으로써 가능해졌다. 그리고 여기서 핵심적인 역할을 하는 것이 머신러닝과 딥러닝이다. 세즈노스키 교수는 이렇게 말한다. “데이터를 가공해 정보로 만들어내는 정제소 역할을 하는 것이 머신러닝(딥러닝)이다. 아무리 많은 데이터를 만들어내도 머신러닝(딥러닝)이 발전하지 않으면 아무 소용이 없다.” 머신러닝과 딥러닝 없이는 수많은 데이터도 의미가 없다는 뜻이다.
한편 인공지능 개발 초기, 많은 연구자들은 로직을 통해서 인공지능을 구현할 수 있다고 생각했다. 그리고 이들이 주류 학파의 위치를 점하고 있었다. 세즈노스키는 이에 대해 도전장을 내밀었다. 인공지능을 현실화시키기 위해서는 인간이 학습하고 응용하는 방식을 이해해야 하는데, 인간은 로직을 통해서 학습하지 않는다는 것이었다. 이는 인공지능을 신경과학과 떼놓고 말할 수 없는 이유이기도 하다.
세즈노스키를 비롯한 몇몇 과학자들이 개발한 AI의 새로운 버전은 로직 대신 데이터를 기반으로 하는 방식이었다. 딥러닝은 아기가 세상을 경험하는 것과 동일한 방식으로 데이터를 통해 학습한다. 그렇게 새로운 눈으로 출발하여 처음 접하는 환경을 다루는 데 필요한 기술을 하나씩 습득해나가는 것이다. 학습 알고리즘은 원시 데이터에서 정보를 추출해 그런 정보로 지식을 만들고 그런 지식을 이해의 토대로 삼으며 그런 이해로 지혜를 쌓는다. 물론 이와 같은 모델은 초기에 데이터를 확보하는 데 어려움을 겪었고, 컴퓨터가 데이터를 처리할 만큼의 수준에 오르지 못해 발전 속도가 더뎠다.
하지만 2016년 알파고를 통해서 전 세계가 똑똑히 보았다. 딥러닝이 세상의 모든 것을 변화시키는 인공지능 혁명의 중심에 서게 된 것을 말이다. “알파고가 이겼다, 우리는 달에 착륙했다.” 2016년 봄 인공지능 바둑 프로그램 알파고가 이세돌 9단을 꺾은 직후, 구글 딥마인드 최고경영자 데미스 허사비스가 트위터에 올린 글이다. 인공지능 개발의 성취와 앞으로 펼쳐질 인공지능의 역사에 새로운 출발을 알리는 상징적인 사건이었다.
달에 도착한 다음에는, 달에서 어떻게 잘 살아갈지를 고민해야 한다. 인공지능은 과연 인간의 지능을 뛰어넘을 수 있을 것인가? 머신러닝과 딥러닝은 어떤 미래를 가져다 줄 것인가? 저자는 인간 지능의 진화와 인공지능의 진화라는 두 개의 축으로 위 질문에 대한 답을 풀어간다. 분명한 건 인공지능의 발전은 인간의 지능에 대한 이해와 따로 떼놓고 얘기할 수 없으며, 인간에 대한 이해가 곧 인공지능의 발전으로 이어질 것이라는 점이다. 저자는 말한다.

현재 딥러닝과 인공지능을 놓고 한편에서는 이상적인 시나리오를, 다른 한편에서는 종말론적 시나리오를 펼쳐놓고 있지만, 어느 누구도 그것들의 궁극적인 영향은 예측할 수 없을 것이다. 사실 우리에게 주어진 선택지는 별로 없다. 제대로 알고, 미리 준비하는 것. 이상적 시나리오든, 종말론적 시나리오든 미래의 방향 또한 사전 준비에 들인 노력과 시간에 의해 달라질 것이다. 한 가지는 확실하다. 인공지능과 관련한 모든 기술은 가공할 만큼 빠르게 발전하고 있으며, 인간 사회의 모든 영역에 걸쳐 영향을 끼치고 있다. 기술의 발전 속도와 영향의 정도는 날로 높아지고 있는데, 안전벨트에 몸을 맡긴 채 움츠리는 것은 올바른 반응이 아닐 것이다.

머신러닝 및 신경과학 분야 최고 학회 NeurIPS 의장이 말하는 인공지능의 모든 것
인공지능, 머신러닝, 딥러닝을 제대로 알고 싶다면
첫 번째로 봐야 할 책!

《딥러닝 레볼루션》은 총 3부에 걸쳐 인공지능과 딥러닝의 활용 현황, 인공지능으로 변화할 미래 모습과 이를 대하는 관점, 인공지능과 딥러닝 기술의 발전 과정에 대해서 이야기한다. 1부 경우 딥러닝의 실제 적용 사례를 사례를 들어가며 현재의 발전상을 보여준다. 주식거래, 자율주행차, 교육, 게임, 헬스케어, 번역, 음성인식, 사물인식 등이다. 2부에서는 미래의 인공지능 기술에 대한 조망과 더불어 인공지능과 관련 기술을 바라보는 다양한 관점을 보여준다. 대가의 시선으로 앞으로 펼쳐질 변화의 모습을 가늠해보고, 인공지능에 대한 다양한 시각을 접하는 기회가 될 것이다. 마지막 3부에서는 인공지능과 딥러닝 발전 과정에 있었던 다양한 연구와 그 사이 등장한 여러 알고리즘의 원리와 직관을 차근차근 살펴본다. 저자의 깊이 있는 설명을 통해, 인공지능 발전의 역사와 머신러닝의 이론적 기초를 이해할 수 있을 것이다.
세즈노스키 교수는 현재 인공지능 분야 최고 학회인 NeurIPS의 의장이며, 2018년 한국에서 과기정통부 주최로 열린 ‘2018 인공지능 국제컨퍼런스’에 기조연설자로 참여한 바 있다. 또한 노벨상의 산실인 소크생물학연구소의 석좌교수로 재직 중이다. 머신러닝과 신경과학 분야의 세계적 권위자가 몇 십 년에 걸친 경험과 연구를 집대성한 기록인 만큼 이 책은 쉽지만은 않다. 다행인 점은, 그가 뛰어난 작가라는 사실이다. 공학적인 차원에서 전문가만 이해할 수 있는 책이 아니라 누구든 약간의 노력을 기울인다면 이해할 수 있는 책을 써냈다. 또한 제프리 힌튼, 프랭크 로젠블랫, 마빈 민스키, 놈 촘스키 등 인공지능 분야뿐만 아니라 현대 지성사에서 빼놓을 수 없는 학자들의 생생한 일화와 치열한 논쟁이 곳곳에 담겨 있어 한 편의 역사책을 읽는 듯한 기분이 들게 한다.
만약 누군가 인공지능, 머신러닝, 딥러닝에 알고자 한다면 《딥러닝 레볼루션》은 첫 번째 리스트에 올려야 하는 책이다. 그리고 이 책을 읽은 사람과 읽지 않은 사람의 차이는 크게 날 것이다.

[책속으로 이어서]
1939년도에 상영된 고전 뮤지컬 영화 〈오즈의 마법사〉에서는 허수아비가 〈내게 뇌만 있다면(If I Only Had a Brain)〉이라는 노래를 부른다. 허수아비가 몰랐던 것은 그가 이미 뇌를 갖추고 있었다는 사실이다. 뇌가 없었다면 노래는커녕 말도 한마디 못했을 것이다. 다만 그의 뇌는 생긴 지 고작 이틀밖에 안 된 상태였고, 따라서 그의 진정한 문제는 뇌가 아니라 경험의 부재였다. 시간이 흐르면서 그는 세상에 대해 배워나가고 결국은 오즈의 모든 인물 가운데 가장 현명한 존재로 인정받는다. 그는 자신의 한계를 알 정도로 현명했다. 대조적으로 틴 우드맨(Tin Woodman)은 〈내게 심장만 있다면(If I Only Had a Heart)〉을 불렀다. 그와 허수아비는 뇌를 갖는 것과 심장을 갖는 것 가운데 어느 것이 더 중요한지를 놓고 열띤 토론을 벌였다. 실세계에서는 물론이고 오즈에서도 인지와 감성이 조화를 이뤄 행동과 학습에 정교한 균형을 가하며 인간 지능을 창출한다. 이 고전 뮤지컬을 인용한 이유는 이 장의 주제가 ‘인공지능에 뇌와 심장만 있다면(If AI Had Only a Brainand a Heart)’이기 때문이다.
_ 4장: 두뇌 방식의 컴퓨팅

오늘날 머신러닝 알고리즘은 수천 개의 뉴런으로부터 생성되는 동시 기록의 분석, 자유롭게 움직이는 동물의 복잡한 행동 데이터의 분석, 순차적 전자현미경 디지털 이미지의 3차원 해부학적 회로 재구성의 자동화 등에 사용되고 있다. 인간의 뇌를 역설계한다면 자연에 의해 발견된 수많은 새로운 알고리즘에 대해 알 수 있을 것이다.
_ 6장: 머신러닝의 미래

기초과학에 의해 개발된 기술은 상용화되기까지 대략 50년의 시간이 소요된다. 20세기 초반 10여 년 동안 상대성과 양자기계 분야에서 이룩한 위대한 발견은 20세기 후반의 CD플레이어와 위성위치파악장치(GPS), 컴퓨터 등의 등장으로 이어진 바 있다. 1950년대의 DNA와 유전자 코드의 발견은 의학 분야의 애플리케이션과 기업식 농업의 발전으로 이어졌고 오늘날의 경제에까지 그 파급효과가 미치고 있다. 브레인 이니셔티브를 비롯한 전 세계의 다른 뇌 연구 프로그램을 통해 지금 이뤄낸 기초적인 성과는 앞으로 50년 후 등장할 애플리케이션의 단초가 될 것이다. 현재의 시각으로 본다면 공상과학소설이나 다름없을 50년 후의 세상에서 말이다.16 2050년까지 인간의 뇌에 상응하는 인공지능을 위한 운영체제가 만들어질 것이라는 기대도 해볼 수 있다. 그러나 어느 기업이, 어느 나라가 이 기술에 대한 통제권을 거머쥐게 될 것인가는 지금 얼마나 투자를 하며 얼마나 크게 판돈을 거느냐에 달려 있다.
_ 9장: 내부 정보

사람의 얼굴과 같이 수많은 유사한 객체들을 구별하는 데 얼마나 많은 피질 뉴런이 필요한가? 이미지 연구를 통해 우리는 인간의 뇌에서 다수의 영역이 얼굴에 대해 반응을 보인다는 것을 알게 되었다. 그중 일부는 매우 높은 민감도를 보이는 것으로 나타났다. 그러나 이들 영역들 사이에서도 하나의 얼굴에 연관된 정보는 수많은 뉴런들에 넓게 배분되어 있다. 캘리포니아공과대학교의 도리스 차오(Doris Tsao)는 얼굴에 선택적으로 반응하는 원숭이의 피질 뉴런 신호를 기록하고 200개의 얼굴 세포로부터 나오는 인풋을 조합해 얼굴을 재구성하는 것이 가능하다는 것을 보여준 바 있다. 이것은 얼굴에 선택적으로 반응하는 모든 뉴런의 하위집합 중 비교적 작은 규모라 할 수 있다.
_ 10장: 의식

오늘날의 시각에서 본다면, 촘스키는 중대한 사안이 무엇인지 이해하고 있었다는 것을 알 수 있다. 다만 촘스키는 학습의 힘을 간과했던 것이다. 딥러닝은 뇌의 뉴럴 네트워크와 마찬가지로 뉴럴 네트워크 모델이 촘스키가 ‘신비주의’라고 일축했던 ‘일반화’ 역량을 보유할 수 있다는 것을 입증했다. 또한 다양한 언어들 중에서 선택적으로 인지하도록 학습될 수 있고 서로 다른 언어를 번역하고 완벽한 구문론을 적용하여 이미지의 캡션을 생성할 수도 있음을 보여줬다. 궁극적인 아이러니는 머신러닝이 자동 문장 구문 분석의 문제를 해결했다는 것이다. 컴퓨터 언어학자들의 불굴의 노력에도 불구하고 촘스키가 말한 구문론의 ‘추상적 이론’이 해결하지 못했던 그것 말이다. 스키너가 개척한 동물실험 연구의 결과인 강화학습과 더불어 머신러닝은 목표 달성을 위한 일련의 선택에 의해 좌우되는 복잡한 문제들을 해결할 수 있다. 이것이 문제 해결의 정수이자 궁극적으로는 지능의 기반이 된다.
_ 11장: 자연은 인간보다 영리하다

돌이켜보면, 20세기 행동에 대한 정반대의 접근법을 취했던 행동주의와 인지과학은 뇌를 배제하는 똑같은 실수를 저지른 셈이다. 행동주의자들은 내적 검증에 의해 오도되기를 원치 않았기 때문에 지침을 얻기 위해 뇌의 내부를 들여다보지 않는 것을 명예롭게 생각했다. 그들은 블랙박스의 인풋과 아웃풋을 신중하게 통제함으로써 어떤 우발적 상황에서도 행동주의적 법칙을 발견할 수 있을 것이라 믿었다. 기능주의적 인지 과학자들의 입장은 정신의 내적 표상을 발견할 수 있을 것이라 믿으며 행동주의를 거부했다. 그러나 그들 또한 뇌가 내적 표상을 어떻게 이행하는지에 관한 세부 사항들은 무관하다고 믿었기 때문에 그들이 개발한 내적 표상의 기반은 신뢰할 수 없는 직관과 민족심리학이었다. 자연은 인간보다 영리하다.
_ 11장: 자연은 인간보다 영리하다

AI@50의 마지막 날에는 연회가 베풀어졌다. 저녁 식사가 끝날 무렵 1956년 인공지능에 관한 다트머스 여름 연구 프로젝트에 참가했던 5명의 원년 구성원들이 콘퍼런스와 인공지능의 미래에 대해 짤막하게 언급했다. 질의응답 시간에 나는 자리에서 일어나 민스키를 바라보며 이렇게 말했다. “뉴럴 네트워크 분야에서는 당신이 1970년대 뉴럴 네트워크가 동절기를 겪게 만든 악마라고 믿고 있습니다. 당신은 악마입니까?” 민스키는 우리가 어떻게 네트워크의 수학적 한계를 이해하지 못했는지에 대한 장황한 비판을 시작했다. 나는 그의 말을 가로채며 이렇게 물었다. “민스키 박사님, 저의 질문은 예 또는 아니오로 대답할 수 있는 간단한 것이었습니다. 당신은 악마입니까, 그렇지 않습니까?” 그는 잠시 망설이다가 이렇게 소리쳤다. “예, 나는 악
마입니다!”
_ 11장: 자연은 인간보다 영리하다

우리 인간은 가장 뛰어난 학습 능력을 보유하고 있다. 다른 어떤 생물 종보다 광범위한 주제에 대해 보다 빨리 학습할 수 있고 보다 많은 것을 기억하며 수세대를 거치며 더 많은 지식을 축적할 수 있다. 우리는 ‘교육’이라 불리는 기술을 창조해 평생 동안 학습할 수 있는 양을 증대시켰다. 어린이와 청소년들은 성장 기간 동안 교실에 앉아 살아가면서 결코 직접적으로 경험할 수 없는 것들을 학습할 수 있게 되었다. 비교적 최근에 인간이 발명한 읽기와 쓰기의 기술은 완전히 터득하기까지 수년간의 시간을 필요로 한다. 그러나 이들 발명품 덕분에 우리는 구전에 의한 것보다 더 많은 축적된 지식을 다음 세대로 전수할 수 있다. 누군가는 책을 쓰고 그것을 인쇄하거나 전시하고 많은 사람이 읽을 수 있기에 하는 말이다. 현대 문명의 발달이 가능했던 것은 음성 언어가 아니라 쓰기와 읽기 그리고 학습 덕분이다.
_ 12장: 심층 지능

우리는 여전히 고차원적 형태의 지능에 대한 비밀을 누설해줄 핵심 개념을 찾고 있다. 지금까지 몇몇 핵심 원리를 파악하기는 했지만 DNA가 생명의 본성을 구현하는 것만큼 고상한 방식으로 우리의 뇌가 어떻게 작동하는지 설명할 수 있는 개념적 틀은 갖추지 못하고 있다. 학습 알고리즘은 통합적 개념을 찾을 수 있는 훌륭한 장소다. 어쩌면 딥러닝 네트워크가 특정한 문제점을 해결하는 방법에 관한 연구를 통해 이뤄낸 진전으로 보다 많은 단서를 얻을 수 있을지도 모른다. 진화를 가능하게 만든 세포와 뇌의 운영 체계를 발견할 수도 있을 것이다. 만약 우리가 이 문제를 해결한다면 상상조차 어려운 혜택이 주어질지도 모른다. 자연이 한 개인보다 영리한 것은 사실이다. 그러나 우리 인간이 하나의 종으로서 언젠가 지능의 수수께끼를 풀지 못할 이유는 없다는 것이 나의 믿음이다.
_ 12장: 심층 지능

볼츠만 머신은 인풋과 아웃풋이 모두 고정된 지도 학습 버전과 인풋만 고정된 비지도 학습 버전 양쪽 모두로 이용할 수 있다. 힌튼은 비지도 학습 버전을 이용해 한 번에 한 층씩 심층 볼츠만 머신을 개발했다. 인풋 유닛과 연결된 숨겨진 유닛으로 이뤄진 층으로 시작해, 다시 말해 제한적 볼츠만 머신으로 분류되지 않은 데이터 세트를 학습하게 한 것이다. 분류되지 않은 데이터는 분류된 데이터에 비해 훨씬 쉽게 접할 수 있고, 학습 속도 또한 매우 빠르다(인터넷에는 수십억 개의 분류되지 않은 이미지와 오디오 기록들이 존재한다).
비지도 학습의 첫 번째 단계는 데이터로부터 모든 데이터에 공통으로 적용되는 통계적 규칙을 도출하는 것이다. 그러나 숨겨진 유닛의 첫 번째 층은 오직 단순한 특징만 추출할 수 있다. 퍼셉트론이 나타낼 수 있는 그런 단순한 특징 말이다. 그다음 단계는 첫 번째 층에 대한 가중치를 고정하고 그 위에 두 번째 층을 첨가하는 것이다. 볼츠만 머신의 비지도 학습이 많아질수록 보다 복잡한 특징의 집합으로 이어진다. 다층구조를 가진 심층 네트워크를 만들기 위해서 이 과정을 반복할 수 있다.
_ 14장: 홉필드 망과 볼츠만 머신

나는 힌튼, 데이비드 투어레츠키(David Touretzky)와 더불어, 뉴럴네트워크 관련 학과를 개설한 대학교가 극소수에 불과하던 1986년에 카네기멜론대학교에서 최초로 연결주의자 여름학교(Connectionist Summer School)를 개최했다. 학생들이 여러 층으로 줄지어 늘어서서 넷토크를 흉내낸 촌극을 공연하기도 했다. 줄지어 늘어선 학생들 각각이 네트워크의 유닛인 셈이었다. 여름학교에 참가한 학생들 중 상당수가 자신의 분야에서 중요한 성과를 거두며 화려한 경력을 구축했다. 1988년의 두 번째 여름학교 역시 카네기멜론대학교에서 개최되었다. 세 번째는 1990년 캘리포니아대학교 샌디에이고 캠퍼스에서였다. 새로운 아이디어는 주류에 편입되기까지 적어도 한 세대가 지나야 한다. 이 여름학교는 그런 초기 시절에 해당 분야의 연구를 활성화하기 위해 우리가 할 수 있는 최선의 투자였으며, 참가한 모두에게 강렬한 경험이 되었다.
_ 15장: 오류의 역전파

규칙화 기법 중에서 특히 기발한 것은 힌튼이 발명한 일명 ‘드롭아웃(dropout, 가중치를 전파할 때 무작위적으로 일부 노드를 끄는 방법-옮긴이)’이다. 훈련 사례의 수를 기반으로 경사도가 산출되고 가중치 공간에서 단계가 만들어졌을 때 학습이 이뤄지는 매 시기에 유닛의 절반이 무작위적으로 네트워크에서 떨어져나가게 만드는 기법이다. 이는 곧 매 시기마다 다른 네트워크도 학습이 이뤄진다는 의미다. 결과적으로 각 시기마다 훈련시켜야 할 매개변수가 적어지는 까닭에 매번 동일한 대규모 네트워크를 훈련시키는 경우보다 유닛 간 의존도를 낮출 수 있다. 드롭아웃으로 딥러닝 학습 네트워크의 오류 발생률을 10퍼센트 감소시킬 수 있었으며 이것은 상당한 개선이 아닐 수 없었다. 2009년 넷플릭스(Netflix)는 100만 달러의 상금을 수여하는 공개 대회를 개최하고 자사의 추천자 시스템의 오류 발생률을 10퍼센트 감소시키는 첫 번째 참가자를 찾았다. 머신러닝 분야의 거의 모든 대학원생들이 그 대회에 참가했다. 넷플릭스가 내건 100만 달러의 상금이 적어도 1,000만 달러의 가치를 갖는 연구 활동을 부추긴 셈이다. 현재 심층 네트워크는 온라인 스트리밍의 핵심 기술로 자리 잡은 상태다.
_ 15장: 오류의 역전파

머신러닝에서는 누구든 데이터를 가장 많이 보유하는 사람이 승자다. 페이스북은 다른 어느 곳보다 많은 사람들의 기호, 지인, 사진 데이터를 보유하고 있다. 이 모든 데이터로 페이스북은 나름의 마인드 이론을 창출해 우리가 무엇을 선호하는지 파악하고 정치적 성향은 어떠한지 예측하는 데 이용할 수 있었다. 언젠가 페이스북이 나 자신보다 나에 대해 더 많은 것을 알게 되는 날이 올지도 모를 일이다. 실로 페이스북은 오웰의 소설에 등장하는 빅 브라더의 화신이 될 것인가. 당신은 이것을 섬뜩한 전망이라고 생각하는가, 아니면 필요하면 언제든 시중을 들어주는 디지털 집사가 생겨 편리할 것이라 생각하는가? 과연 페이스북이 이런 힘을 가져도 되는 것인가? 이런 의문을 품는 것은 지극히 당연한 일이다. 그러나 우리는 이 문제에 대해 발언권을 갖지 못하게 될지도 모른다.
_ 18장: NIPS

추천사 006

감수자의 글 010

서문



1부 지능의 재해석

1장 머신러닝의 부상 024

2장 인공지능의 재탄생 061

3장 뉴럴 네트워크의 여명 076

4장 두뇌 방식의 컴퓨팅 093

5장 시각 시스템에서 얻은 통찰 112

· 연대표 133



2부 기술적 영향과 과학적 영향

6장 머신러닝의 미래

7장 알고리즘의 시대

8장 헬로, 미스터 칩스

9장 내부 정보

10장 인식

11장 자연은 인간보다 영리하다

12장 심층 지능

· 연대표



3부 다양한 학습 방법

13장 칵테일파티 문제

14장 홉필드 망과 볼츠만 머신

15장 오류의 역전파

16장 컨볼루션 러닝

17장 보상학습

18장 NIPS

· 연대표



헌사

용어 설명

주