하이브리드 클라우드의 무분별한 확산과 솔루션 업체의 난립으로 인한 피로도가 불러온 아이러니는 “AI로 IT 문제를 해결하려 하지만, 정작 그 IT 문제가 AI 도입을 막고 있다”는 것이다.
프랙토(Fracto)의 헬스케어 클라우드 인프라부터 VM웨어의 하이브리드 클라우드 솔루션, 지금의 F5 BIG-IP 관리 플레인 설계까지 11년간 엔터프라이즈 시스템을 구축하면서 수많은 기술 혁신의 약속을 지켜봤다. 하지만 대부분은 혁신보다 복잡성을 안겨줬다. 그리고 2025년에 들어선 지금, 이전과는 다른 양상의 더 심각한 문제가 눈앞에 펼쳐지고 있다.
엔터프라이즈 기술 환경은 흥미로운 역설을 보여주고 있다. AI가 복잡한 운영 문제를 해결해줄 것이라 기대하는 바로 그 순간, 그 복잡성 자체가 AI를 제대로 도입하지 못하게 만들고 있다. F5의 최신 ‘애플리케이션 전략 현황 보고서(State of Application Strategy)’와 A10네트웍스의 ‘애플리케이션 로드밸런싱 현황 보고서(State of Application Load Balancing)’를 함께 분석해보니, 인프라 현실과 AI에 대한 기대 사이의 괴리가 뚜렷하게 드러났다. 그 괴리는 필자가 시스템을 직접 구축하며 느낀 현장 상황과 정확히 일치했다.
AI로 IT 문제를 해결하려 했지만, IT 문제가 AI 도입 자체를 가로막고 있는 아이러니가 발생한 것이다.
데이터가 던진 경고
이들 보고서에 담긴 수치는 지금 필자가 현장에서 기업 고객을 만나며 느끼는 현실과 너무도 닮아 있어 주목하지 않을 수 없었다. F5의 조사에 따르면, 전체 기업의 96%가 AI 모델을 도입하고 있으며, 73%는 애플리케이션 성능 최적화를 위해 AI를 활용하고자 하고 있다. 겉으로 보면 AI 도입이 대성공을 거둔 것처럼 보인다.
그러나 또 하나의 수치가 눈에 들어왔다. 전체 IT 담당자의 60%가 ‘수동 운영 작업에 발이 묶여 있다’는 응답이었다. 이 수치는 필자가 맡고 있는 F5 BIG-IP의 대규모 엔터프라이즈 관리 환경에서도 매일 마주하는 상황 그대로였다. AI 기반 자동화를 원하지만, 현업 이슈 대응에 바빠 정작 도입할 여력이 없다는 것이다.
AI 도입의 걸림돌이 바뀐 것도 눈에 띄는 변화다. 2024년까지만 해도 가장 큰 장애물은 데이터 품질이었다. 그런데 2025년 들어서는 인력의 역량 부족이 54%로 가장 높은 비율을 차지하고 있다. 필자는 이 문제의 양쪽을 모두 경험해본 입장에서, 진짜 문제는 ‘기술 부족’이 아니라, 그런 기술을 개발하고 적용할 ‘시간 부족’이라고 확신하고 있다.
A10의 조사에서 58%가 API 난립을 ‘심각한 문제’로 꼽았을 때, 이는 단순한 운영 효율성의 문제가 아니라고 판단했다. AI 도입을 막는 핵심 원인이 여기에 있었던 것이다. 복잡한 운영을 관리하는 데 치여, 정작 그 복잡성을 해결할 수 있는 AI 도입 자체를 할 수 없게 된 것이다.
복잡성의 양면에서 배운 교훈
VM웨어에서 F5로 이어지는 경력을 거치면서 필자는 지금의 복잡성 위기를 다른 시각에서 볼 수 있게 됐다. VM웨어에서는 하이브리드 클라우드 간소화를 약속하는 팀의 일원이었고, 지금 F5에서는 그 약속이 만든 복잡성을 관리하는 역할을 맡고 있기 때문이다.
VM웨어에서 보낸 4년 동안, 온프레미스와 클라우드 환경 간의 워크로드를 매끄럽게 운영할 수 있는 하이브리드 클라우드 솔루션을 개발했다. vSphere, NSX 같은 VM웨어 핵심 기술을 퍼블릭 클라우드와 통합했다. 문서상으로는 우아한 설계였다. 하나의 관리 인터페이스, 일관된 정책, 환경 간 워크로드 이동성까지 구현했다. 이 솔루션은 실제로 포레스터로부터 하이브리드 클라우드 관리 부문 리더로 선정될 정도로 인정받았다.
하지만 실제 구현 과정에서 ‘매끄럽다(seamless)’와 ‘간단하다(simple)’는 전혀 다른 개념이라는 사실을 배웠다. 클라우드마다 API, 보안 모델, 운영 방식이 달랐고, 우리가 ‘통합 관리’라고 부른 기능도 실상은 여러 플랫폼의 특성을 모두 이해해야만 가능했다. 기술 통합에는 성공했지만, 운영 복잡성은 제거하지 못하고 중앙화했을 뿐이었다.
지금 F5에서 BIG-IP 관리 플레인의 기술 리더로 일하며 그 반대편 상황도 직접 보고 있다. 하이브리드 솔루션을 도입한 기업은 바로 우리가 해결하는 운영 부담으로 고전하고 있다. 다양한 클라우드에서 애플리케이션을 운영하고 환경별로 다른 로드밸런싱 요구사항을 맞춰야 하며, 같은 방식으로 설계되지 않은 플랫폼에서 보안 정책을 일관되게 유지하려 애쓰고 있다.
F5 보고서에 따르면, 전체 기업의 94%가 여러 환경에 걸쳐 애플리케이션을 배포하고 있으며, 퍼블릭 클라우드만 평균 4곳을 사용 중이라고 한다. 이 수치는 필자가 지원하는 고객사의 일상이다. 또, 79%는 퍼블릭 클라우드에 올렸던 애플리케이션을 다시 온프레미스로 되돌렸다고 응답했다. 이 수치에서 느껴지는 좌절감도 매우 익숙한 현실이다. 하이브리드 클라우드의 유연성이라는 약속은, 관리 불가능한 복잡성이라는 그림자로 돌아왔다.
가장 인상 깊은 것은 복잡성이 점차 누적된다는 점이다. 클라우드 업체 하나를 추가하는 것은 단순히 플랫폼 하나를 더 다루는 문제가 아니다. 통합 지점, API 연결, 장애 가능성이 기하급수적으로 늘어난다. 운영 유연성을 주겠다고 설계된 솔루션이 오히려 운영 역량을 갉아먹는 상황이다.
AI 도입의 역설
이 복잡성이 초래하는 가장 큰 문제는 단순히 운영 부담이 아니다. 기회를 놓치고 있다는 점이 더 큰 문제다. AI 기반 인프라 자동화의 혜택을 크게 누릴 수 있는 기업이 업체의 API 관리에 발목이 잡혀 자동화 도입 자체에 나서지 못하는 장면을 자주 목격하고 있다.
이런 상황은 반복적으로 발생한다. 한 기업이 로드밸런싱 장비, 클라우드 플랫폼, 모니터링 도구를 API로 연동해 잘 작동하는 자동화 환경을 구축한다. 그런데 업체가 API를 업그레이드하면서 기존 연동이 호환되지 않게 된다. 그러자 수동 작업을 줄이려 만든 자동화가 되레 긴급 수동 대응을 요구하는 원인으로 바뀌고, 담당 팀은 연동을 다시 맞추느라 고군분투하게 된다.
상황을 악화시키는 것은 같은 기능이라도 업체마다 접근 방식이 제각각이라는 점이다. 예를 들어 AWS의 로드밸런싱 API는 인증 방식, 데이터 구조, 오류 처리 방식이 애저 클라우드와 전혀 다르며, 온프레미스 솔루션과는 또 완전히 다르다. 특정 업체의 API에 맞춰 AI 기반 트래픽 최적화 기능을 몇 달 동안 개발해도, 새로운 플랫폼으로 확장하려는 순간 모든 기능을 처음부터 다시 만들어야 할 수도 있다.
이것이야말로 AI 도입의 역설이다. 복잡한 인프라 운영을 AI로 관리하고 싶지만, 복잡한 인프라를 관리하느라 AI를 도입할 여유가 없는 것이다. F5의 조사에서 서비스 업체 API 연동이 자동화 관련 작업 중 가장 많은 시간을 소모한다는 결과는 단순한 통계가 아니다. AI 도입을 가로막고 있는 현장의 현실 그 자체다.
벼랑 끝에 선 업체 관계 관리
F5와 A10 보고서를 분석하는 과정에서 업체 관계 관리에 대한 불편하지만 직시해야 할 인사이트를 얻을 수 있었다. A10 보고서의 수치는 특히 충격적이다. EMEA 지역 IT 담당자의 47%, 미국 기업 임원의 55%가 지원 부족 또는 지원 품질 저하로 애플리케이션 딜리버리 컨트롤러(ADC) 솔루션 업체를 바꾸고 싶다고 응답했다.
주요 업체 중 한 곳에서 일하는 사람으로서, 이 데이터는 단순한 불만이 아니라 실질적인 문제를 반영한다고 인정할 수밖에 없다. 보고서에 따르면, 전체 조직의 44%가 최근 솔루션 업체의 라이선스 정책 변경으로 문제를 겪었고, 임원의 29%는 보안보다도 높은 ‘라이선스 비용 상승’을 가장 큰 불만이라고 지적했다.
가장 우려되는 건 그 ‘시점’이다. 지금은 기업이 하이브리드 클라우드 복잡성이라는 미궁에서 벗어나기 위해 솔루션 업체의 도움이 절실한 시기다. 퍼블릭 클라우드만 4곳 이상 사용하는 기업은 애플리케이션 운영에 어려움을 겪는 상황에서, 인프라 솔루션 업체와의 관계까지 불확실해지면 문제는 더 커질 수밖에 없다.
필자는 양쪽 상황을 모두 보고 있다. 솔루션 업체는 치열한 경쟁 시장에서 성과와 가치를 입증하라는 압박을 받고 있고, 기업은 복잡성에 허덕이며 부담을 줄여줄 ‘진짜 파트너’를 원하고 있다.
A10의 데이터에 따르면, 기업은 솔루션 업체를 교체할 때, 통합 보안 기능(52%), 인프라 비용 절감(45%), 그리고 뛰어난 업체 지원(33%)을 주요 기준으로 삼는다. ‘뛰어난 업체 지원’이 이렇게 높은 순위를 차지한 사실은 지금의 생태계가 기본적인 지원조차 제대로 충족하지 못하고 있음을 보여주는 경고 신호다.
달라져야 할 기업의 대응 방식
10여 년간 이런 시스템을 구축하고 운영하면서 얻은 교훈은 분명하다. 복잡성의 함정을 벗어나는 길은 더 많은 기술이 아니라, 더 높은 운영 원칙 준수다. AI 도입에 성공한 기업은 예산이 가장 많거나 인프라가 가장 앞선 기업이 아니다. 운영 기반을 먼저 단순화한 기업이 성공한다.
F5의 조사에 따르면, 디지털 애플리케이션을 통해 수익을 창출하는 기업의 비율이 2년 전 79%에서 지금은 93%로 크게 늘었다. 단순한 통계가 아니라 명백한 비즈니스 과제다. 매출이 디지털 인프라에 의존하는 구조에서는 복잡성이 곧 비즈니스 연속성을 위협하는 요인이 된다.
VM웨어에서 하이브리드 솔루션을 구축하고, 지금은 F5에서 ADC 도입을 지원하면서 필자가 확신하게 된 실행 방안은 다음과 같다.
첫째, 기존 솔루션 업체가 기대에 미치지 못한다고 해서 새 업체를 추가하려는 충동을 억제해야 한다. A10의 보고서에서도, 주 업체에 실망한 조직이 ADC 업체를 중복으로 관리하고 있다는 내용이 나온다. 그러나 솔루션 업체가 늘어나면 복잡성도 같이 늘어난다. 스택에 새 솔루션을 더하는 대신, 기존 업체와의 관계를 개선하거나 전략적으로 업체를 통합하는 선택에 시간을 투자해야 한다.
둘째, API 환경을 철저하게 점검해야 한다. 전체 조직의 58%가 API 난립에 어려움을 겪고 있고, 업체 API 연동이 자동화 작업 중 가장 많은 시간을 차지하는 현실을 보면, 시스템에 낭비 요소가 분명히 존재한다. 현장에서 보면, 단지 애플리케이션 전달과 보안을 위해서만도 수십 개의 API를 관리하는 팀이 있다. API 하나하나가 곧 운영 부담이다. 그 API가 정말 필요한 것인지 냉정히 검토해야 한다.
셋째, 자동화를 도입하기 전에 표준화부터 해야 한다. F5 조사에 따르면, 전체 조직의 95%가 오픈텔레메트리(OpenTelemetry) 같은 관측 가능성 툴로 표준화를 추진하고 있다. 이런 표준화는 자동화를 위한 토대를 만든다. 혼란을 자동화할 수는 없다. 먼저 체계를 잡아야 한다.
마지막으로, 업체 선택을 인프라 설계의 일부로 다뤄야 한다. 새로운 도구나 업체를 평가할 때, 다음 한 가지 질문을 던져야 한다. ‘이 도구는 우리의 운영 복잡성을 줄이는가, 늘리는가?’ 답이 명확히 ‘줄인다’가 아니라면, 도입해서는 안 된다. 단기적 이득은 장기적인 운영 부채에 비하면 아무 의미가 없다.
복잡성의 악순환을 끊는 견고한 운영 원칙
필자는 F5 BIG-IP 관리 플레인 아키텍처 설계 업무에도 이런 실행 방안을 적용하려 한다. BIG-IP는 전 세계 엔터프라이즈의 핵심 인프라로 자리잡고 있기 때문에, F5가 변경하는 어떤 것도 이미 복잡성을 안고 있는 고객 환경을 반드시 고려해야 한다.
필자가 중점을 두는 부분은 하이브리드 환경에서 BIG-IP 플랫폼을 운영하는 팀의 부담을 줄이는 것이었다. 단순히 더 많은 기능을 추가하기보다 운영자가 수동으로 결정해야 할 항목을 줄이기 위한 지능형 기본값 설정과 정책 자동화에 집중하고 있다.
운영 데이터 수집(텔레메트리)의 주요 사용례가 자동화라는 F5 보고서의 결과는 매우 고무적이다. 경고 알림을 위한 데이터 활용에서 벗어나 자동화된 대응에 데이터를 활용하려는 기업이 늘고 있다. 수동 대응에서 능동 운영으로의 전환이야말로 복잡성 악순환을 끊기 위해 반드시 필요한 변화다. 필자 역시 API 난립 문제에 주목하고 있으며, 아키텍처 설계 과정에서도 ‘이건 팀이 또 새로 배워야 할 API인가, 아니면 기존 API를 단순화하는가?’를 끊임없이 자문하고 있다. 이 질문이 개발 우선순위를 결정한다.
앞으로 AI 도입에 성공할 수 있는 기업은 운영 복잡성부터 해결한 기업일 것이다. 데이터를 보면, 기업은 AI가 애플리케이션 성능을 최적화하고 보안 대응까지 자동화해 주길 바란다. 하지만 제대로 통제하지 못하고 이해하지 못하는 시스템을 자동화하는 일은 결코 가능하지 않다.
AI 워크로드를 뒷받침하는 인프라를 개발하는 필자의 입장에서는 앞으로 기업의 미래는 두 갈래로 나뉠 것으로 보인다. AI 역량을 가능케 할 만큼 인프라를 단순화한 기업과 복잡성의 덫에 계속 갇혀 있는 기업이다. AI가 비즈니스 중심으로 자리잡을수록 이 간극은 더 벌어질 것이다.
우리가 직면한 이 시기의 역설은, 운영 문제를 해결할 도구는 이미 갖고 있지만, 운영 문제가 그 도구의 활용을 가로막고 있다는 데 있다. 이 악순환을 끊기 위해 필요한 건 더 많은 기술이 아니라, 더 견고한 운영 원칙을 실천하는 것이다. 이를 깨달은 기업만이 AI의 잠재력을 현실로 만들 수 있을 것이다.
dl-ciokorea@foundryco.com
