빅 데이터가 만드는 세상 | 데이터가 말한다

빅 데이터가 만드는 세상. 빅토르 마이어 쇤버거&케네스 쿠키어.p369
Big Data: A Revolution That Will Transform How We Live, Work, and Think

구글의 독감확산 예측? 놀랍게도 구글의 방법은 샘플 채취용 면봉을 배포할 필요가 없었고, 동네 내과마다 연락할 필요도 없었다. 필요한 것은 ‘빅 데이터’뿐이었다!

이것은 ‘데이터를 어떻게 활용할 수 있는가’에 관한 사고방식의 변화였다(빅 데이터 사고방식!)

이제 데이터는 비즈니스의 원자재가 되었다

양적 변화는 질적 변화를 낳았다
빅 데이터란 큰 규모를 활용해 더 작은 규모에서는 불가능했던 새로운 통찰이나 새로운 형태의 가치를 추출해내는 일이다.
하지만 이것은 시작에 불과하다. 빅 데이터 시대는 우리가 사는 방식, 세상과 소탕하는 방식에 도전한다. 그중에서도 가장 두드러지는 부분은 사회가 인과성causality에 대한 그동안의 집착을 일부 포기하고 단순한 상관성correlation에 만족해야 할 것이라는 점이다. 즉, ‘이유’는 모른 채 ‘결론’만 알게 되는 것이다

진짜 혁명은 데이터를 계산하는 기계에서 일어난 것이 아니라 데이터 그 자체, 그리고 그것을 활용하는 방식에서 일어난다

양이 바뀌면 본질이 바뀐다? 초당 24프게임 이미지, 말이 달린다. 꼼짝하지 않는 사진과 영화는 본질적으로 다르다
작업하는 데이터량을 늘리면 작은 규모로는 할 수 없었던 새로운 일들이 가능해진다(스팸필터는 스팸 메일 유형이 바뀌어도 자동으로 적응할 수 있게 설계되어 있다)

빅데이터의 핵심은 예측에 있다. 빅 데이터의 핵심은 컴퓨터가 인간처럼 ‘생각’하도록 ‘가르치려는’ 데 있지 않다. 이런 시스템이 잘 작동하는 것은 예측에 필요한 많은 데이터를 공급받기 때문이다

#들쭉날쭉하지만 더 많아서 괜찮은 데이터
19세기 이래로 대량의 정보를 처리해야 할 때 사회는 샘플에 의존해왔지만 샘플링은 정보 부족 시대의 발명품이다!
전체 데이터를 사용하면 작은 규모의 데이터로는 파악할 수 없었던 세부 사항들을 볼 수 있다. 빅 데이터를 통해 우리는 날개 하나하나를 선명하게 볼 수 있고, 샘플로는 알아낼 수 없는 하위 범부와 하위 시장들을 찾을 수 있다
빅 데이터 세상에서는 인과관계에 얽매일 필요가 없어진다. 그 대신 우리는 패턴이나 상관성을 찾아내어 새로운 이해와 귀중한 통찰을 얻을 것이다. 상관성은 어떤 일이 정확히 왜 벌어지고 있는지 설명하지 못 할 수도 있다. 하지만 그 일이 지금 일어나고 있는 중이라고 경고해 줄 수는 있다.
빅 데이터에서 중요한 것은 결론이지 이유가 아니다.

빅 데이터 시때에는 새로운 원칙들이 필요하다! ‘충분한 겸손과 충분한 인간성’과 함께

데이터가 말하도록 해야 한다

통게학자들은 샘플링의 정확성을 극적으로 향상시키는 방법으로 샘플의 크기를 늘리는 것이 아니라 무작위로 샘플을 추출하는 것임을 밝혀냈다!

‘빅’은 절대적인 개념이라기보다 상대적인 개념이다
오랫동안 무작위 샘플링은 훌륭한 지름길이었다
‘N1=1all’, 전체 데이터 집합을 가지면 데이터를 다른 각도에서 관찰하고 탐구하거나 데이터의 특정 측면을 더 자세히 볼 수 있는 자유가 생긴다

태그tag! 기준에 비해 두서없는 방식이지만 융통성만큼은 훨씬 뛰어나기 때문에 진화하고 변화하는 세상에 훨씬 더 잘 적응한다!
포괄적 데이트 집합과 들쭉날쭉한 자료의 중요성을 강조하는 빅 데이터는 스몰 데이터 및 정확성에 의존하던 방식보다 우리를 현실에 더 가까이 데려다 줄 것이다.
궁극적으로 빅 데이터는 우리에게 변화를 요구할지 모른다. 무질서와 불확실성에 더 익숙해지라고 할지 모른다.
이런 근본적 사고방식의 변화는 세 번째 변화를 가져오는 데 이것은 사회의 근간이 되는 기본적 관습을 뒤엎을지도 모른다? 모든 현상에 대해 배후에 있는 원인을 알고자 하는 관습 말이다!

아마존 추천 시스템? 아이템 간 협업 필터링 알고리즘! (접근법의 변경은 많은 것을 바꿔놓았다? 개인별이 아닌 상품들 사이의 연관성만 찾으면 되었다!)

상관성에 기초한 예측은 빅 데이터의 핵심이다. 이유’가 아니라 ‘결론’을 아는 것으로도 충분하다!

정책입안자들의 과제? 행복과 소득의 비선형적 연관성? 부자 감세가 아니라 가난한 사람들의 소득을 증가시키는 데 집중하는 쪽으로 정책이 바뀌어야 한다고 데이터가 말한다!

디지털화 vs 데이타화, 전자책에 대한 아마존과 구글의 차이?
아마존은 콘텐츠를 디지털화하는 것의 가치를 이해하는 반면, 구글은 콘텐츠를 데이터화하는 것의 가치를 이해한다고 표현해도 부당하지는 않을 것이다!

모든 것의 데이타화!
스마트폰 떨림 측정 파킨슨병 환자 원격 실시간 모니터링? 약간의 들쭉날쭉함이 정밀함보다 나은 경우다!

공공 부문의 빅 데이터? 전세계 ‘정부 데이터 개방’ 운동
‘의심에 직면해서는 개방성이 답이다’-오바마 행정부의 오픈 데이터 정책, data.gov

#값을 매길 수 없는 가치
1,040억 달러 가치의 페이스북 자산 가치는 63억 달러? 정보의 장부가격은? 기본적으로 ‘제로’였다. 페이스북이라는 회사 자체가 데이터 빼고는 아무것도 아닌 회사였는데도 말이다!
무형자산? 보유하고 사용하는 데이터

‘데이터는 플랫폼이다’-Tim O’Reilly

새로운 재화와 비즈니스 모델을 만들어내기 위한 벽돌? 데이터

독일의 자동차 회사가 부품을 개선하는 데 있어 데이터의 중요성을 발견한 것처럼 어느 회사든지 데이터를 영리하게 이용한다면 혜택을 누릴 수 있다

마이너리티 리포트! 미래 범죄로 체포, 이런 식으로 이용된다면 빅 데이터는 우리를 말 그대로 확률이라는 감옥에 가둬버릴 것이다!
데이터의 독재, 빅 데이터는 사생활을 악화시키고 자유를 위협한다. 그리고 오래된 문제 하나를 악화시킨다. 바로 생각보다 훨씬 틀리기 쉬운 숫자에 의존하는 문제다. 데이터 분석이 잘못되었을 때의 결과를 (베트남 전쟁의) 로버트 맥나마라의 이야기보다 더 잘 보여주는 사례는 없을 것이다.
우리는 생각보다 ‘데이터 독재’에 취약하다

탁월한 생각은 데이터에 의존하지 않는다? 스티브 잡스! 아이폰이나 아이패드를 출시한 때 기초로 삼았던 것은 직관이지 데이터가 아니었다!
우리는 데이터에 대한 지나친 의존을 경계해야 한다

빅 데이터의 본질? N1=1all, 다량의 정보를 사용하자 더 적은 정보로는 찾아낼 수 없었던 연결점들을 찾을 수 있었다
상관성은 인과성보다 훨씬 빠르고, 저렴하게 찾아낼 수 있다
훨씬 더 포괄적인 데이터 집합을 얻는 대가로 어느 정도의 들쭉날쭉함은 수용할 수 있을 것이다
많은 용도에서는 ‘이유’가 아니라 ‘결론’을 아는 것으로 충분하다
빅 데이터가 일상이 되면 우리가 미래를 생각하는 방식도 당연히 큰 영향을 받을 것이다. 500여 년 전에 인류는 시간을 인식하는 방식에 큰 변화를 겪었다. 더 세속적이고 과학적이며 계몽된 유럽으로 가는 움직임의 일부였다. 그전에 시간은 순환적인 것으로 경험되었고 삶도 마찬가지였다.

우리가 처리할 수 있는 세상의 정보? 플라톤의 동굴 벽에 비쳤던 그림자!

데이터 수가 많아진 것이 변화가 아니다. 샘플링이 필요 없어진 것이 변화다. 인과관계란 오랜 신화일지도 모른다. 많은 경우 상관성이면 충분하다…확률이야말로 개인에게 닥칠 위협이다.”

알고리즘과 데이터가 지배하는 빅 브라더 세상의 도래? 부디 그전에 우리가 ‘충분한 겸손과 충분한 인간성‘을 꼭 갖게 되길 바란다