“플랫폼팀 vs. 제품팀” 효과적인 AI 팀을 구성하는 핵심 전략

불과 몇 년 전까지만 해도, AI 프로젝트를 시작하는 데 가장 큰 걸림돌은 최고경영진의 지지 부족이었다. 하지만 오늘날에는 AI 솔루션에 대한 비즈니스 수요가 넘쳐나 CIO의 머리를 아프게 할 정도다. 이에 CIO는 전략적인 접근 방식과 함께 성과 중심의 AI 팀을 구축하며 이 과제에 대응하고 있다.

예를 들어, 전력 관리 기업 이튼(Eaton)의 CIO 카트리나 레드먼드는 비즈니스의 특정 영역과 연결된 ‘AI 팩토리’를 만들어 시급한 수요에 대응하고 있다. 이 팀의 도메인 전문가들은 IT 부서에 직접 보고하지 않지만 긴밀히 협업한다. 레드먼드는 “어떤 활동이 가장 큰 가치를 창출하는지를 함께 판단해 우선순위를 정하고 그에 따라 움직인다”라고 설명했다.

Eaton

이튼의 팀은 AI 리드, 제품 책임자, 머신러닝 엔지니어, 데이터 엔지니어, 클라우드 및 데브옵스 엔지니어로 구성되며, 이들은 비즈니스 도메인 전문가와 함께 일한다. 레드먼드는 AI 및 혁신 부문 부사장을 두는 것도 고성과 팀을 구성하는 데 핵심 요소라고 강조했다.

하지만 프린서플 파이낸셜 그룹의 부사장 겸 CIO 캐시 케이는 도메인 전문가가 AI 팀에 포함돼 있다고 해도, 비즈니스 문제를 기술팀이 이해할 수 있는 방식으로 설명하지 못하면 소용없다고 지적했다. 제품 책임자 역할을 할 사람이 필요하며, 이 역할은 비즈니스 문제를 정의할 수 있을 만큼 도메인 지식이 있는 사람이어야 한다고 강조했다. 케이는 “제품 책임자는 비즈니스 조직에 있을 수도, IT 조직에 있을 수도 있으며, 다른 사업부에서 유사한 프로젝트를 경험한 사람일 수도 있다”라고 설명했다.

EY 아메리카의 AI 자동화 및 분석 책임자 휴 버긴은 데이터 과학자와 AI 엔지니어가 중요하다고 강조하면서도, 가장 큰 ROI는 어느 한 기술이 아닌 모든 기술이 결합돼 비즈니스에 변화를 일으킬 때 나온다고 말했다.

AI 팀에 필요한 5가지 역할 범주

효과적인 AI 팀을 구성하려면 어떤 요소가 필요할까? 버긴은 각 AI 프로젝트마다 최고경영진의 후원이 필요하다는 점을 먼저 꼽았다.

간과하기 쉬운 또 다른 핵심 요소는 AI를 실제로 사용할 사람, 즉 최종 사용자와 초기부터 협력하는 것이다. 버긴은 “대부분의 AI 프로젝트는 기술적으로 구현 가능하지만, 최종 사용자가 이를 채택한다고 보장할 수는 없다”라고 경고했다.

변화 혁신 엔지니어링도 중요하다. 이들은 비즈니스 프로세스와 AI 솔루션 모두에 대한 도메인 전문가로, 제품 책임자, 제품 관리자, 또는 기능 부서 책임자 등으로 불리며, AI 애플리케이션을 개발하면서 조직을 변화시킬 수 있는 기능적 지식을 갖춘 사람들이다.

제품 전달과 변화 관리를 담당하는 인력도 별도로 필요하다. 이 범주에는 프로젝트 관리자, 변화 관리 전문가, 스크럼 마스터 등이 포함된다.

EY

마지막으로 IT 리더는 모든 AI 사용례에 걸쳐 책임 있는 AI, 거버넌스, 재무 운영의 일관성을 확보하기 위해 AI 지원 전문 인력을 둬야 한다. 버긴은 “이런 지원 역할은 이미 IT 조직 내에 존재하지만, AI 환경에 맞춰 역할이 변화하고 있으며 역량 강화가 필요하다”고 말했다.

AI 팀에 반드시 있어야 할 주요 역할

핵심 AI 팀 내에서 가장 중요한 역할은 데이터 과학자, 데이터 엔지니어, AI 엔지니어다. 그러나 가트너의 수석 부사장이자 애널리스트인 아룬 찬드라세카란은 이 외에도 AI 아키텍트, 모델 관리자, 검증 담당자, 테스터, 윤리 전문가 등이 필요할 수 있다고 설명했다. 가트너는 최근 AI 직무와 역할, 필요 역량에 대한 보고서를 발간했다.

찬드라세카란은 데이터 과학자의 역할이 바뀌고 있다는 점을 인식해야 한다고 강조하며, “요즘 모델은 대부분 사전학습돼 있어, 데이터 과학자는 모델을 조정하고 운영에 적용하는 데 더 많은 시간을 쓴다”라고 설명했다. 모델 관리자는 다양한 모델을 깊이 있게 이해하고, 정확도, 비용, 성능 면에서 최적의 모델을 선택해야 한다. AI 검증 담당자는 AI 애플리케이션의 공정성, 편향성, 투명성, 설명 가능성을 평가해 비즈니스 및 규제, 윤리 기준을 충족하는지를 확인한다. AI 테스터는 모델, API, 파이프라인 등 AI 구성 요소의 오류, 성능 문제, 예기치 않은 동작을 테스트한다.

Gartner

제품 책임자는 엔지니어링 팀과 최종 사용자 사이에서 중개자 역할을 한다. 찬드라세카란은 “제품 책임자는 사용자를 만나 요구사항을 파악하고, 제품이 사용자의 니즈를 충족하는지 확인한다”라고 설명했다. AI 윤리 전문가는 AI의 윤리적 사용을 위한 가이드라인을 만들고 이를 준수하게 한다. 찬드라세카란은 “이들은 편향성, 유해성, 유독한 결과물을 모니터링하며, 특히 규제 산업에서 매우 중요한 역할을 한다”고 말했다.

플랫폼팀 vs. 제품팀

글로벌 엔지니어링·컨설팅·건설 기업 블랙앤비치(Black & Veatch)의 AI 도입 전략은 두 가지 모델을 중심으로 진행되고 있다. 부사장 겸 최고 디지털 기술 책임자 마이크 애덤스에 따르면, 플랫폼팀은 마이크로소프트, 세일즈포스, 오라클, 서비스나우 등 전략적 플랫폼 업체가 제공하는 에이전트틱 AI와 생성형 AI 기능을 최대한 활용해 회사 전체가 이점을 누릴 수 있도록 지원한다. 반면 디지털 제품팀은 비즈니스 맞춤형 AI 기능을 개발해 지속적이고 차별화된 가치를 창출한다.

플랫폼팀은 전략적 플랫폼에 투자된 AI 기술을 일부 API 형태로 활용해 간접적 혜택을 얻는다. 애덤스는 마이크로소프트 팀즈와 코파일럿에 전략 플랫폼의 API를 연동하는 작업을 하고 있으며, 코파일럿이 회사의 에이전틱 AI용 사용자 인터페이스로 자리 잡고 있다고 설명했다. 또, “아직은 실험 초기 단계”라고 덧붙였다.

플랫폼팀의 주요 역할은 플랫폼 전담 아키텍트, 애플리케이션 포트폴리오 관리자, 일부 플랫폼 엔지니어 및 개발 인력 등이다. 애덤스는 “전략 플랫폼 생태계의 일부로서, AI 역량 확보를 위한 주요 작업과 투자는 플랫폼 업체에서 이뤄지고 있으며, 우리는 조직 변화 관리를 통해 적절한 도입을 유도하는 데 집중하고 있다”라고 밝혔다. 하지만 EY의 휴 버긴은 AI 솔루션을 비즈니스에 맞춰 조정하거나 조직에 맞게 학습시키려면, 모든 관련 역량을 갖춘 전문팀이 필요하다고 강조했다.

블랙앤비치에서 이와 같은 혁신은 디지털 제품팀의 몫이다. 애덤스는 “우리는 블랙앤비치 디지털 제품 운영 모델을 막 구축하기 시작한 단계”라고 설명했다. 이 팀에는 디지털 제품 관리자 또는 제품 책임자, 디지털 제품 전달 책임자가 포함된다. 전달 책임자는 스크럼 마스터, 품질 보증 엔지니어, 솔루션 및 제품 아키텍트, 소프트웨어 개발자, 그리고 반복 개발 및 구축, 릴리즈 프로세스를 관리하는 데브옵스 및 클라우드 엔지니어로 구성된 팀을 이끈다. 이 디지털 제품 소프트웨어에는 생성형 AI, 실제 문제에 적용된 AI(Applied AI), MLOps 구성 요소가 포함되는 경우가 많다.

Black & Veatch

제품에 생성형 AI 또는 어플라이드 AI가 포함된다면, 데이터 엔지니어와 데이터 아키텍트도 투입될 수 있다. 애덤스는 “성공적인 AI 제품팀은 디지털 제품팀과 유사하다. 차이점은 데이터, 분석, AI 엔지니어링 및 아키텍처와 관련된 도메인 특화 역량이 필요하다는 점”이라고 설명했다.

블랙앤비치의 디지털 제품 운영 모델은 아직 완전히 구축되지 않은 상태이며, 현재는 비즈니스 관계 관리자가 디지털 제품 관리 역할을 일부 대체하고 있다. 애덤스는 “궁극적으로 이 운영 모델은 자사의 첫 디지털 제품인 ‘BV Ask’를 지원할 수 있도록 확장될 것”이라고 밝혔다. ‘BV Ask’는 챗GPT의 자체 버전으로, 자사 엔지니어링 베스트 프랙티스, 지식 재산(IP), 프로젝트 실행 및 견적 관련 정보, 기타 비정형 데이터를 기반으로 학습된 시스템이다. 엔지니어는 자연어 기반 대화 인터페이스를 통해 이 정보를 검색할 수 있어, 엔지니어링 조직 전반에 정보 접근을 민주화할 수 있게 된다.

다른 기업과 마찬가지로, 블랙앤비치의 AI팀도 아직 진화 중이다. 애덤스는 “정식 제품 관리와 제품 책임 역량을 더욱 강화해야 한다. 이 영역에 좀 더 엄격한 기준이 필요하다”라고 지적했다. 특히, 이런 역할이 고객에 철저히 맞춰져야 한다고 강조했다. 애덤스는 “AI 기회가 너무 크기 때문에 고객의 필요사항을 중심에 두지 않으면, 모든 AI 기회를 조금씩만 건드리다가 비즈니스와 고객을 근본적으로 변화시키는 데 실패할 수 있다”라고 덧붙였다.

AI 팀을 키우는 방법 : 외부 채용 vs 내부 양성

핵심 AI 역할에 대한 수요가 높아지면서, 기존 IT 인력을 AI 관련 직무로 전환하는 전략이 점점 중요해지고 있다. 프린서플 파이낸셜 그룹의 캐시 케이는 “외부 인재는 찾기 어렵기 때문에 내부 인재를 육성하는 것이 중요하다”라고 강조했다. 프린서플은 IT 인력에게 새로운 역할을 익히도록 돕기 위해 경험 많은 직원과 짝을 이루게 하거나 ‘도전적인 과제(Stretch Assignment)’를 부여해 실무 경험을 쌓도록 한다.

블랙앤비치도 엔지니어링팀을 대상으로 AI 교차 교육을 진행 중이며, 이는 큰 부담 없이 진행되고 있다. 애덤스는 “이들은 기술 전문가이기 때문에 LLM이 그다지 생소하지 않다”라며, “이제 AI 역량은 소프트웨어 엔지니어링, 데이터 엔지니어링, 분석 업무에 자연스럽게 녹아 있다”라고 설명했다. 애덤스는 IT 인력이 인접한 역량을 실무에서 습득하도록 유도하는 전략을 택하고 있다.

이튼 역시 유사한 방향을 택하고 있다. 카트리나 레드먼드는 “이미 RPA를 수행하던 혁신팀을 전환해 AI 중심으로 재편했으며, 최고 데이터 책임자 조직 내 핵심 부서도 AI와 데이터 안정성 및 거버넌스 강화에 집중하고 있다”라고 설명했다. 이들 팀은 샌드박스 환경과 파일럿 프로젝트를 통해 실무 역량을 키우고 있다.

가트너의 아룬 찬드라세카란은 모든 CIO가 미래를 위한 역량 재정비 계획을 갖고 있어야 한다고 강조하며, “2~3년 후에 어떤 역량이 필요할지 먼저 파악하고, 조직 구성원이 그 방향으로 성장할 수 있도록 준비해야 한다”라고 조언했다.

하지만 조직 외부에서 일부 역할을 채워야 할 경우도 있다. 프린서플 파이낸셜 그룹의 케이는 AI 엔지니어를 채용할 때, 모델을 계속 실험하고 방식에 변화를 주는 데 흥미를 느끼는 인재를 찾는 것이 좋다고 조언했다. 현재 활용 중이거나 활용 예정인 모델에 익숙한 인재를 우선 고려하고, 직무 명칭을 지나치게 고정하지 말아야 한다. 케이는 “엔지니어는 유연성을 갖고 여러 역할을 수행할 수 있어야 한다”라고 강조했다.

Principal

프린서플 파이낸셜 그룹은 현재 CIO 리더십 그룹에서 전략적 채용 방안을 두고 고민 중이다. 케이는 “숙련된 개발자를 채용할 것인가, 아니면 개발 경험은 다소 적지만 창의성이 뛰어난 인재를 뽑을 것인가?”라고 반문하며, “창의성과 어느 정도의 AI 개발 경험이 결합되면 훨씬 나은 성과를 낼 수도 있지만, 그 결과는 아직 확신할 수 없다”라고 밝혔다.

아웃소싱이라는 선택지

물론 필요한 역량을 내부에서 양성하거나 직접 채용하는 것이 항상 가능한 것은 아니다. EY의 휴 버긴은 “데이터 과학자, 데이터 엔지니어, AI 엔지니어는 시장에서 매우 인기가 높아 빠르게 양성하기 어렵다”라며, 외부 파트너와 협업하는 것이 역량 격차를 줄이고 내부 팀에 실전 경험을 제공할 수 있다고 조언했다. 버긴은 “자신의 팀에 필요한 전문성을 갖춘 파트너를 찾고, 새로운 역량을 구축하려 한다면, 서드파티를 통해 기술력의 초석을 마련하고 팀의 능력을 확장하는 것이 좋다”라고 말했다.

찬드라세카란은 팀 내에 해당 분야 경험이 부족할 경우, 컨설턴트를 활용하라고 조언했다. 많은 조직이 딜로이트 같은 전통 컨설팅 업체에 의존하고 있지만, 허깅페이스와 오픈AI 같은 AI 모델  전문업체도 서비스 부문으로 진출하고 있다. 찬드라세카란은 “이들은 제품을 기반으로 구성 및 엔지니어링을 지원하는 형태로, 기존의 도메인 중심 컨설턴트가 아니라 소프트웨어 엔지니어로서 제품을 사용자 맞춤으로 최적화한다”라고 설명했다.

레드먼드는 내부 팀과 외부 팀을 활용하는 방식에는 분명한 차이가 있다고 강조하며, “내부 팀은 자사 시스템에 대한 깊은 이해, 빠른 반복 개발, 비즈니스 전략과의 정렬 등 장기적인 이점을 제공한다”라고 설명했다. 반면, “외부 인력은 빠른 프로토타이핑, 전문 기술, 인력 보강 측면에서 효과적”이라고 덧붙였다. 이튼은 내부 도메인 전문가와 AI 기술 인력, 외부 전문가를 혼합한 하이브리드 방식으로 접근하고 있다.

전략과 리더십의 결합이 핵심

어떤 팀이든 효과를 내려면 강력하고 집중된 리더십이 필요하다. 일부 조직은 대규모 데이터 및 AI 엔지니어링팀을 구성하는 데 공을 들이지만, 해결해야 할 실질적인 비즈니스 과제가 없다면 자원은 단순한 실험으로 흘러가기 쉽다.

마이크 애덤스는 “기술적 역량을 쌓아두고 나면 자연스럽게 활용처가 생길 것이라고 기대하지 말라”라고 경고했다. 먼저 명확히 정의된 몇 개의 프로젝트를 서드파티와 협력해 추진하면서, 팀의 역량을 키우고 모멘텀을 확보한 뒤 확장하는 것이 바람직하다고 조언했다.

카트리나 레드먼드는 “명확한 전략적 비전과, 영향력과 측정 지표를 기반으로 이를 실현할 수 있는 경로를 수립하고 공유하는 것이 필수”라고 강조했다.

팀이 시행착오를 통해 배울 기회를 주는 것도 중요하다. 프린서플의 한 AI팀은 프로젝트 초기에 데이터에 대한 이해가 부족했고, 결국 사용자에게 불필요한 정보를 요약하거나 관련 없는 문서를 끌어오는 결과를 낳았다. 캐시 케이는 “잘못된 결과를 피하려면 데이터를 이해하고, 그 데이터가 어떻게 관리되는지를 철저히 파악해야 한다”라며, “데이터 이해에 훨씬 더 많은 시간을 들여야 한다는 것을 깨달았다”라고 전했다.

보고 체계와 관련해 휴 버긴은 모두가 같은 관리자에게 보고할 필요는 없지만, 같은 목표와 비즈니스 혁신에 대한 헌신을 갖고 있다면 높은 성과를 낼 수 있다고 강조하며, “부서 간 기능이 통합된 팀을 구성하고, 혁신에 전념하는 구조가 필요하다”라고 조언했다.

하지만 많은 기업은 여전히 조직 내 벽이 견고하며, 이런 경우 AI는 데이터 분석팀의 전유물처럼 다뤄지기도 한다. 이런 상황에서는 다른 팀과 협업이 이뤄지기 어렵다. 찬드라세카란은 AI팀을 보다 분산형으로 운영할 것으로 권고했다. 중앙집중형 AI 및 데이터 엔지니어링팀은 많은 경우 효과적이지 않다는 것이다. 찬드라세카란은 “중앙화해야 할 부분도 일부 있지만, AI와 데이터 과학은 도메인 지식을 얻기 위해 AI팀 내부로 분산시키는 것이 바람직하다”라고 설명했다.

궁극적으로는 최고 경영진이 명확한 우선순위를 설정해야 한다. 버긴은 “AI로 변화시키고 싶은 비즈니스 영역 10가지를 정의하고, 그 프로세스를 AI 기반 기능으로 처음부터 재구상하라”라고 조언했다. 또, “각 프로세스별로 통합된 팀을 구성해, 서로 다른 부서에 속하더라도 매일 협업하면서 비즈니스를 혁신하는 데 집중해야 한다”라고 덧붙였다.

AI팀뿐 아니라 외부 인력에게도 교육 기회를 제공하는 것이 중요하다. 케이는 “우리는 전사적으로 AI 및 데이터 이해 교육을 시행하고 있으며, 일부 직무는 추가 교육도 진행 중”이라고 전했다. 무엇보다 중요한 것은 CIO가 AI팀을 구성하면서 구성원에 대한 투자를 아끼지 않는 것이다. 케이는 “AI가 조직 로드맵의 핵심이라면 구성원에게 투자하는 것이 매우 중요하다”라며, “팀은 빠르게 학습할 수 있고, 엄청난 성과를 낼 수 있다”라고 덧붙였다.
dl-ciokorea@foundryco.com