최신 데이터 분석 트렌드를 읽는 4가지 키워드

‘데이터 레이크’, 살아남으려면 비즈니스 가치 입증해야
몇 년 동안 아주 놀라운 속도로 데이터가 쌓였다. 데이터 소스가 웹에서 모바일과 머신으로 이동하는 가운데 사물인터넷(IoT)은 더욱 빠른 속도로 데이터가 생성되도록 유도할 전망이다.

실시간 스트리밍 데이터 플랫폼 공급업체인 데이터 토렌트(Data Torrent)의 CEO 가이 처치워드는 “이로 인해 비용 효과적으로 데이터 파이프라인을 확대할 필요성이 생겼다”고 말했다.

많은 기업이 아파치 하둡 같은 기술을 기반으로 데이터 레이크(data lakes)를 구현하는 것을 ‘해법’으로 여겼다. 데이터 레이크란, 기업의 모든 데이터를 원래 형식으로 저장하는 전사적인 데이터 관리 플랫폼이다. 데이터 레이크는 기업이 비즈니스 분석부터 데이터 마이닝까지 모든 곳에 활용할 수 있는 단일 데이터 레포지토리(저장소)를 제공해, 정보 ‘사일로(고립 및 분리)’를 무너뜨릴 잠재력이 있는 기술이다. ‘원본’ 그대로인 데이터 레이크는 빅데이터를 위한 기술이자 해법으로 홍보됐다.

그러나 데이터 레이크가 수많은 데이터를 저장하는 데 유용한 것으로 입증되기는 했지만, 데이터에서 실제 활용 가능한 인사이트를 얻기는 어려웠다.

처치워드는 “데이터 레이크가 ‘배치’와 ‘휴지’ 상태 데이터에는 아주 훌륭하게 기능했다. 2015년부터 이 아키텍처가 ‘과용’되고 있다는 점이 분명해지기 시작했으며, 지금은 실시간 데이터 분석의 ‘아킬레스건’이 된 상태다”고 지적했다. 이어서 “먼저 데이터를 저장한 후 분석을 하는 방식이 기업에 불리하게 작용한다. 컴퓨터 성능이 허용하는 한도에서 가능한 한 빨리 인사이트를 획득해 행동을 취해야 하는 경우, 한물간 데이터가 가시성, 행동, 심지어는 즉각적인 대응과 조치에 부정적인 영향을 초래한다. ‘충분히 좋은’ 정도로는 전략적으로 치명적인 결과가 초래될 수 있는 경우다”고 설명했다.

스플리스 머신(Splice Machine)의 몬테 즈웨벤도 처치워드의 의견에 동의했다.

그는 “2018년에는 하둡에 환멸을 느끼게 될 것이다. 데이터 레이크에 발목 잡힌 기업이 하둡 기반 컴퓨터 엔진의 복잡성 때문에 ROI를 달성하지 못하는 문제가 발생하기 때문이다”고 내다봤다.

데이터 카탈로그 전문회사인 에이레이션(Alation)의 전략 및 제휴 담당 VP인 켄 호앙에 따르면, 데이터 레이크는 2018년부터 비즈니스 가치를 입증하기 시작해야 살아남는다.

호앙은 “새로운 데이터 저장 창고인 데이터 레이크는 지난 몇 년간 실험적으로 배포되는 단계를 통과했다. 이제 가치를 전달할 수 있음을 입증해야 한다. 그렇지 않으면 살아남지 못할 것이다. 정보 탐색과 AI, 정보 관리가 결합돼 비즈니스에 새로운 가치를 전달하는 엔터프라이즈 카탈로그가 구현된 데이터 레이크가 유용한 데이터 레이크다”고 이야기했다.

그러나 호앙은 데이터 레이크가 무용지물이라는 주장에는 동의하지 않는다. 그는 데이터 레이크와 기타 대형 데이터 허브들이 머신러닝을 통해 ‘CaaS(Context as a Service)를 전달할 수 있는 ‘수퍼 허브’로 새 출발하게 될 것으로 예측했다.

호앙은 “지난 25년간 데이터 웨어하우스, MDM(Master Data Management), 데이터 레이크, 세일즈포스, ERP 등 대형 데이터 허브가 확산되면서 쉽게 이해, 연동, 공유할 수 없는 데이터 사일로가 증가했다. 그런데 ‘허브의 허브’는 이런 데이터 허브의 자산들을 연결해 CaaS를 구현한다. 그리고 관련성이 더 높고, 강력한 예측 인사이트를 획득하도록 도와 비즈니스 운영에서 효율성과 성과를 높일 것이다”고 강조했다.

맵알의 최고 애플리케이션 아키텍트 테드 더닝도 유사한 변화를 예상했다. 빅데이터 시스템이 저장과 접근, 운영의 중심으로 자리 잡으면서, 기업은 여러 소스(출처)의 데이터에 종합적으로 접근할 수 있고, 진짜 멀티테넌트 시스템용 컴퓨팅을 제공하는 데이터 패브릭을 구축할 계획을 세우고 있다.

더닝은 “컴퓨팅을 데이터 처리나 데이터의 데이터베이스 저장이 아닌 데이터 흐름으로 처리하는 기업들이 증가하는 추세다. 이런 데이터 흐름은 중요한 비즈니스 이벤트를 포착하고, 비즈니스 구조를 반영한다. 통합 데이터 패브릭은 이런 대형 플로우 기반 시스템 구축에 필요한 토대가 될 것이다”고 설명했다.

이런 데이터 패브릭은 여러 다양한 상황에 적절하게 여러 컴퓨팅을 지원한다. 그는 “쿠버네티스(Kubernetes) 같은 기술이 제공하는 멀티 클라우드 컴퓨팅에 필요한 ‘움직이는 데이터’, ‘정지 상태의 데이터’를 제공하는 데이터 패브릭 구현이 새로운 트렌드로 부상하고 있다”고 덧붙였다.

셀프서비스 데이터 분석 전문회사인 알테릭스(Alteryx)의 최고 전략 책임자 랭리 에이드는 “데이터 레이크의 가치 전달을 IT가 단독으로 책임지지 않는다. 현업 분석가와 최고 디지털 책임자(CDO)도 올 한 해 이를 책임져야 한다”고 강조했다.

그는 “데이터 레이크로 물밀 듯이 유입되는 클릭스트림 데이터, IoT 데이터, 로그 데이터 등 방대한 비정형 리소스를 활용하지 못하는 분석가가 대부분이다. 이렇게 하기 어렵기 때문이다. 그러나 솔직히 말해, 이런 데이터를 방치하는 분석가는 자신이 해야 할 일을 하지 않는 분석가이다. 자산이 제대로 활용되지 않는 데이터 레이크가 많다. 데이터 레이크에 들어있는 자산, 접근 방법, 데이터에서 인사이트를 획득하는 방법을 모르기 때문이다. 하지만 2018년에는 이것이 바뀔 전망이다. 데이터 레이크 ROI를 개선하기 원하는 기업과 CDO의 수가 증가하고 있기 때문이다”고 설명했다.

에이드는 2018년에는 분석가들이 엑셀과 SQL 같은 도구를 데이터 카탈로그같이 프로그래밍이 더 유리한 기법과 기술로 교체할 것이라고 내다봤다. 데이터에서 더 많은 가치를 발견해 획득하기 위해서이다.

CDO의 시대가 온다
에이드에 따르면, 데이터에서 더 효과적으로 인사이트를 도출하려는 노력 때문에 CDO의 역할이 더욱 독립적으로 자리 잡고, 그 입지가 강화될 전망이다.

에이드는 “데이터는 새로운 유전이나 다름없다. 여기에 더해, 기업들이 현재 직면한 가장 중요한 과제 중 하나는 데이터에서 가치를 끌어내는 것이다. CDO는 이런 도전과제를 극복하는 데 중추 역할을 하는 인물로 인식되기 시작했다. 예산이 1,000만 달러 미만인 조직에서 CDO가 직면한 가장 큰 도전과제와 기회 중 하나는 기업 데이터 자산을 현업 사용자에 더 가까이 두고 ‘셀프서비스’를 구현하는 것이다. 2018년, CDO가 중앙화 기능과 현업에 배치할 기술의 균형을 잡을수록 더 많은 예산을 지원받게 될 것이다”고 설명했다.

에디에 따르면 CoE(Centers of Excellence)와 현업 간을 빠르게 이동하는 기능, 기술력, 리소스를 구현하는 CDO가 가장 큰 성과를 일궈낼 전망이다. 이를 달성시키는 ‘열쇠’는 애자일 플랫폼과 기법이다.

데이터 큐레이터의 부상?
오픈소스 아파치 애로우 프로젝트를 견인한 분석 전문 신생업체 드레미오(Dremio)의 공동 창업자 토머 쉬란은 기업에 데이터 큐레이터라는 새로운 역할이 필요하게 될 것으로 내다봤다.

쉬란에 따르면, 데이터 큐레이터는 데이터 소비자(태블로나 파이썬 같은 툴을 사용해, 데이터로 중요한 질문의 답을 찾는 데이터 과학자와 분석가)와 데이터 엔지니어(스파크와 하이브, 맵리듀스 같은 스크립팅 언어를 사용해 시스템 간 데이터를 이동시키는 사람들) 중간에 위치한다. 유능한 데이터 큐레이터가 되려면 데이터의 의미는 물론 데이터에 적용되는 기술을 이해해야 한다.

쉬란은 “데이터 큐레이터가 회사 내 부서와 조직별로 수행해야 하는 분석의 종류, 여기에 적합한 데이터세트의 종류를 파악해야 하고, 원본 데이터를 데이터 소비자가 처리할 수 있는 형태로 바꾸는 프로세스를 책임진다. 데이터 큐레이터는 셀프서비스 데이터 플랫폼 등 시스템을 사용해, 데이터 소비자가 무수히 많은 데이터를 복제하지 않고도 필수 데이터에 접근할 수 있도록 지원한다”고 전했다.

C레벨 경영진이 중요하게 챙길 데이터 거버넌스 전략
EU GDRP(General Data Protection Regulation, 개인 정보 보호 규정)이 2015년 3월 8일부로 발효된다. 이는 분석과 관련된 분야에 많은 영향을 초래한다. 그러나 여기에 준비되지 않은 기업들이 존재하는 실정이다.

모리슨 앤 포스터(Morrison & Foerster) 산하 글로벌 프라이버시 및 데이터 보안 그룹의 변호사들에 따르면, GDPR은 모든 EU 가입국에 적용되며, EU 국민들을 대상으로 한 데이터 수집 및 처리 방식에 큰 변화를 가져올 전망이다. 글로벌 프라이버시 공동 책임자인 마리암 우그마이스터, 유럽 프라이버시 전문가인 로크 모에렐, 글로벌 리스크 및 위기 관리 책임자인 존 카를린(미국 법무부 국가안보부 차장 검사 역임)은 “과거에는 동의 아래 데이터를 처리할 수 있었다. 그러나 더 이상 그렇게 할 수 없다. 계약적인 필요성(Contractual Necessity)과 적법한 이해(Legitimate Interest) 등 다른 법적 근거가 필요하다. 고지와 동의에 있어 완전히 새로운 틀을 적용해야 한다”고 주장했다.

GDPR을 위반할 경우 많은 벌금이 부과될 수 있다. 최대 2,000만 유로, 또는 연간 글로벌 매출의 4% 중 높은 금액을 벌금으로 부과할 수 있다. 그러나 미국을 중심으로 GDPR 대비가 미흡한 기업들이 많다.

호튼웍스(Hortonworks)의 CTO 스캇 나우는 “Y2K 당시, 거의 모든 기업이 불확실하지만 Y2K에 대비했다. 그러나 2018년 3월 발효되는 GDPR에는 대비가 미흡한 것으로 판단된다. 이유가 무엇일까? 지금은 모든 기업이 내일을 대비하는 것과 동시에 당면한 문제를 해결해야 하는 시기기 때문이다. 최고 보안 책임자(CSO)가 규칙, 시스템, 파라미터(기준)를 규정하고, 글로벌 시스템을 지원해 최고의 방법과 접근법을 파악하는 기업들이 많다. 한 사람이 책임질 일이 아니기 때문이다”고 설명했다.

GDPR을 준수하려면 C레벨 경영진이 정보를 받고, 여기에 대비하며, 전사적으로 커뮤니케이션해야 한다. 기업과 기관은 보유한 데이터 자산을 더욱 효과적으로 관리 감독할 필요가 있다. 2017년 한 해 동안 에퀴펙스 사고 등 대형 침해 사고가 자주 발생했다. 직원들에게 셀프서비스 방식의 데이터 접근을 제공하면서, 동시에 이들 데이터를 위협과 위험으로부터 보호해야 하는 데, 여기에 애를 먹는 기업들이 많다.

나우는 2018년 한 해 기업과 기관이 데이터 거버넌스에 초점을 맞출 것으로 전망했다.

나우는 “데이터와 접근, 셀프서비스 분석, 규정 준수를 균형 있게 보장하는 시스템을 개발하는 것이 중요한 목표가 되어야 한다. 데이터 보안 설계 및 고안 방식은 미국과 해외의 고객, 미디어, 파트너 등 모두에 영향을 미친다”고 강조했다.

멀티 클라우드 데이터 관리 전문회사인 베리타스 테크놀로지스(Veritas Technologies)의 자카리 보신 솔루션 마케팅 디렉터는 GDPR 위반으로 벌금을 부과받는 첫 번째 기업은 미국 기업이 될 것으로 예상했다.

보신은 “발효가 눈앞이지만, 베리타스 조사 결과에 따르면, GDPR을 준수할 준비를 마쳤다고 대답한 비율이 31%에 불과하다. 아주 가혹한 벌금과 처벌이 부과된다. 이 규정은 EU 국민들과 거래하는 모든 기업에 영향을 초래한다”고 말했다.

dl-ciokorea@foundryco.com