“생성형 AI가 뜨거운 화두였던 지난 1년이었다. 기업들이 숨가쁘게 탐색하고 있는 가운데, 투자 효과 또한 빠르게 개선되고 있다. 그러나 생성형 AI를 활용하려는 기업이 직면하는 난제는 결코 만만치 않다. IBM은 ‘AI for Business’를 위해 고려할 사항으로 사람과 문화, 프로세스에 더해 플랫폼의 필요성을 강조한다.”
지난 21일 CIO Korea가 그랜드 인터콘티넨탈 호텔서 개최한 ‘IT Leader’s Summit: The Year Ahead 2024’에서 IBM AI SME(Subject Matter Expert)인 김지관 실장은 ‘비즈니스 혁신을 가속화하는 생성형 AI 활용 방안’을 주제로 발표했다.
한국IBM의 AI 관련 기술 영역을 이끄는 그는, AI 영역의 동향과 함께 생성형 AI 시대에 기업들의 공통적인 도전 과제를 진단하는 한편, 생성형 AI 비즈니스 활용 예시와 더불어 IBM의 기업용 생성형 AI 플랫폼인 ‘watsonx’ AI 플랫폼에 대해 소개했다.
파운데이션 모델이 새 패러다임을 만들고 있다
김지관 실장에 따르면 오늘날 생성형 AI는 ‘넷스케이프 모멘트’에 이른 단계다. 지난 1990년 대 넷스케이프 브라우저가 인터넷의 폭발적 성장을 이끌었던 것처럼, 챗GPT는 AI의 ‘소비자화’를 이끌고 AI에 대한 친숙성을 크게 높였다. 실제로 2016년까지만 해도 AI에 친숙하다고 응답한 임원 비율은 58% 정도였지만, 올해 생성형 AI에 친숙하다는 응답은 83%에 달했다.
이 뿐만이 아니다. 김지관 실장이 인용한 IBM 기업 가치 연구소(IBM Institute for Business Value)의 데이터에 따르면, AI에 대한 재정적 ROI도 빠르게 상승하고 있다. 생성형 AI에 대한 투자 수익률이 작년 7.1%에서 20225년 10.0%까지 증가될 전망이다. 팬데믹 시절 AI에 대한 재정적 ROI는 1% 남짓이었던 바 있다. 김지관 실장은 “이제 기업 리더들이 생성형 AI로부터 의미 있는 ROI를 기대하고 있다. 팬데믹 때 검증된 기존 AI의 효과성을 기반으로 효과에 대한 기대가 더욱 가속화될 전망”이라고 말했다.
AI, 특히 생성형 AI에 대한 관심과 기대는 지난해 챗GPT가 출현하면서 급증했다. 김지관 실장은 그러나 챗GPT와 LLM, 생성형 AI보다 큰 개념인 ‘파운데이션 모델’이 비즈니스 가치 창출을 도모하고 있으며, 비즈니스를 바꾸는 주역으로 바라볼 필요가 있다고 주문했다.
그는 “파운데이션 모델이 AI의 새로운 패러다임을 만들고 있다. 기존의 AI 모델은 특정 업무에 맞춰 데이터를 기반으로 훈련한 것이었다. 반면 거대 언어 모델(LLM)을 아우르는 파운데이션 모델이 거대 데이터 집합을 기반으로 다양한 유즈 케이스의 구현 가능성을 제시하고 있다”라고 말했다. 그리고 이로 인해 기업들이 자체 데이터를 기반으로 한 자체 파운데이션 모델을 구축해 비즈니스 가치를 창출하고 경쟁력을 차별화하려는 시도가 나타나고 있다는 진단이다.
파운데이터 모델이 엔터프라이즈 AI의 새로운 패러다임을 만들고 있다.
기업들의 고민 3가지
기업이 자체 파운데이션 모델을 구축하면 챗GPT와 같은 퍼블릭 서비스의 태생적 한계를 넘어설 수 있다. 데이터 유출 우려를 해소할 수 있으며, 데이터 최신성 문제도 해결할 수 있다. 또 IT 영역의 로그 데이터, 금융 영역의 고객 데이터, 설비에서 도출된 센서 데이터 등을 생성형 AI와 접목해 이용할 수 있게 된다.
그러나 자체 파운데이션 모델 구축은 물론, 시중의 생성형 AI를 활용함에 있어서도 기업들이 고민해야 할 요소가 다수 존재한다. 김지관 실장은 “먼저 데이터(보안, 품질, 최신성, 저작권 등)가 도전과제다. 챗GPT 출현 이후 여러 기업이 서비스를 차단한 이유다. AI가 산출한 데이터를 다시 훈련 데이터로 활용됨에 따라 모델이 오염되고 결과가 왜곡되기도 한다”라고 설명했다.
그가 언급한 두 번째 문제는 환각, 편향 등으로부터 완전히 자유롭기 어려운 AI 특성에 기인한다. 사소한 메시지 실수 하나가 기업에 큰 타격을 줄 수 있는 오늘날, 기업들로서는 AI의 산출물을 과연 믿고 활용할 수 있느냐는 문제를 고민할 수밖에 없다. 김지관 실장은 “이어 관련해 규제 환경도 감안해야 한다. 유럽과 북미를 중짐으로 AI에 대한 법제화 움직임이 거세다. 우리나라 또한 국회에 발의된 관련 법안이 10여 개에 이른다. 기업들이 감안해야만 하는 동향이다”라고 말했다.
마지막으로 ‘비용 문제’가 있다. 특히 파운데이션 모델의 직접 구축은 막대한 자원을 요구하며, 모델의 ‘fine tuning’ 또한 상당한 자원을 필요로 한다. 김진관 실장은 “라마 모델의 경우 2,048개의 고급 GPU를 활용해 3주간 학습을 했다. 수백 억 원에 이르는 막대한 비용이다. 클라우드 서비스를 이용한다고 할지라도 소액이나마 매 건별로 지불하자면 부담스럽다. 최적의 모델 아키텍처 선택 및 비용 효율화 전략이 필요한 상황이다”라고 말했다.
비즈니스를 위한 IBM의 AI 해법 ‘watsonx’
IBM은 이러한 고민에 대해 어떤 해법을 제시하고 있을까? 김진관 실장은 기업이 생성형 AI를 활용할 수 있는 유즈 케이스와 IBM의 접근법을 통해 이야기를 시작했다. 그는 먼저 IBM이 2016년부터 하이브리드 클라우드, 즉 프라이빗 클라우드와 퍼블릭 클라우드를 아우르는 접근법과 더불어 AI에 대한 방점을 찍어왔다는 사실을 언급했다.
김지관 실장은 “하이브리드 클라우드는 두 형태의 클라우드를 모두 지원하는 한편, 양자 간의 이동이 원활히 지원한다는 의미다. AI에 대해서도 유효하다. 전세계 기업 고객들과 다양한 업무에서의 다양한 유즈 케이스를 만들어가며 ‘비즈니스를 위한 AI(AI for Business)를 구현하고자 한다”라고 말했다.
IBM이 16가지로 분류한 비즈니스를 위한 AI 유즈 케이스. 고객 접점/고객 경험 관련, 내부 지원(HR, Finance, Legal 등), IT 개발/운영 효율화 관련, 핵심 비즈니즈 운영 지원의 4가지 범주로 나뉜다.
이어 김지관 실장은 4명의 페르소나를 나열했다. 보험 기업에서 보험 청구를 심사하는 담당자, 특정 업무를 고안하는 기획자, IT 개발자, 영업 담당자다. 일단 보험 심사 업무의 경우 AI가 사진을 판독하고 세부 정보 및 사고 경위를 추출하고 요약 및 문서화하는 한편, 다음 절차를 안내하는 등의 업무를 도울 수 있다. 인간 담당자가 40분 정도를 투입해 수행하던 업무를 1~2분 만에 할 수 있기에 놀라운 생산성 향상 효과를 기대할 수 있다는 설명이다.
세일즈 담당자의 업무와 관련해서는 이메일 업무가 사례로 제시됐다. 감사 메일, 초대 메일, 팔로우업 메일 등과 같이 정형화된 이메일을 AI를 활용하면 효율성을 극대화할 수 있다.
김지관 실장은 “그러나 이 정도는 챗GPT 수준에서도 가능한 업무다. 기업이 자체 파운데이션 모델을 구축하면 보다 세부적인 커스터마이징을 할 수 있다. watsonx.ai가 바로 이를 위한 도구다. 기존 ML은 물론 파운데이션 모델을 훈련, 검증, 튜닝 및 배치할 수 있는 차세대 엔터프라이즈 스튜디오다”라고 소개했다.
그러면서도 그는 기업이 이러한 서비스를 업무 유즈 케이스별로 구현하기란 많은 시간과 노력을 요구하는 어려운 과정일 수 있다고 귀띔했다. 다양한 파라미터 값, 토큰의 길이, 사례별 특성 등을 실험하고 안정화해야 한다는 것이다.
김지관 실장은 “파트너 벤더와 협업하는 과정이, 기업 내 부서간 협업하는 과정이 무척 중요한 이유다. 사람과 프로세스가 중요할 것이며 문화도 중요하다. 이어 더불어 강조하고 싶은 것은 이를 위한 ‘플랫폼’이 반드시 필요하다는 사실이다”라고 말했다.
차세대 ‘엔터프라이즈 레디’ AI 및 데이터 플랫폼 watsonx. AI-Data-Governance의 3개 영역으로 구성되며, 모듈화된 아키텍쳐 기반의 패키지로써, 기업 고객의 니즈에 맞추어 필요 영역만 유연하게 구성할 수 있도록 돕는다.
그는 watsonx가 차별화되는 지점이 여기에 있다고 강조했다. 기업의 여러 유즈 케이스를 위한 다양한 모델을 제공하면서 기업 컴플라이언스 요건을 충족하는 watsonx는 기업의 비용 부담을 덜어주는 경량화가 가능하다는 점, 전략적으로 오픈소스 및 개방형 구조가 적용되어 있어 특정 모델, 특정 클라우드에 국한되지 않는다는 점, 원할 경우 기업 방화벽 내에 파운데이션 모델을 구축하고 개별 업무에 맞게끔 튜닝할 수 있도록 지원한다는 점에서 차별화된다. ‘멀티-모델+멀티클라우드’를 지향한다고 표현할 수 있다.
김지관 실장은 “하이브리드 클라우드와 같은 접근법이다. 기업이 원하는 위치에 AI 플랫폼을 배치하고 배포할 수 있는 전략을 IBM은 지향한다. 이로 인해 AI 거버넌스나 규제에 대한 대응책을 가지고 있다. 이에 더해 모델을 경량화하고 최적의 오픈소스 모델을 검토할 수 있도록 지원해 비용효율성을 구현한다”라고 말했다. dl-ciokorea@foundryco.com
