AI는 다양한 측면을 가진 분야로, 엔비디아 GPU 외에도 수많은 다른 칩이 사용될 여지가 있다는 것이 컨설팅 업체인 J 골드 어쏘시에이츠의 연구 결과이다.
데이터센터, 클라우드, 엣지 등 AI의 다양한 사용처와 작업 조건을 고려할 때 AI 지원 시스템용 프로세서 시장은 방대하고 매우 다양하다. 현재 어떤 공급업체도 이 모든 것을 충족할 수 없으며, 향후 1~2년 내에 전문 공급업체가 등장해 사용 가능한 솔루션이 더욱 다양해질 것이다.
제이 골드 어쏘시에이츠의 사장 잭 골드는 현재 선두를 달리고 있는 소수의 솔루션 업체를 넘어 더 많은 업체가 등장할 것으로 예상한다. AI 지원 시스템에 대한 변화하는 요구와 높은 성장은 특정 AI 시스템 유형과 처리 영역에 집중하는 전문 업체에 큰 기회를 제공할 것으로 보인다.
골드는 “말하자면 시장에는 모든 배를 띄울 수 있을 만큼 폭과 범위가 넓다”라며, “2~3년 후를 내다보면 AI 워크플로우 대부분이 고성능 머신러닝 시스템인 엔비디아 H100을 사용하지 않을 것이다. 대다수는 추론 워크로드가 될 것이다. 주로 엣지에서 사용되겠지만, PC와 모바일 디바이스에서도 사용하게 될 것이다. IoT에도 일부가 있을 것이다. 따라서 AI는 하이엔드 엔비디아 칩에만 배포되는 것이 아니라 다양한 워크로드가 존재하게 될 것이다”라고 설명했다.
특히 클라우드와 하이퍼스케일러를 시작으로 다양한 시장을 세분화하면서, AWS를 비롯한 여러 업체가 자체 맞춤형 칩 기술을 통해 엔비디아에 가까운 수준의 성능을 더 저렴한 가격으로 제공할 것으로 보고 있다.
골드는 “하이퍼스케일러 시장은 점점 더 다양해지는 AI 학습 요구사항과 일부 고급 추론 기반 워크로드를 충족할 수 있는 다양한 프로세서를 제공할 것으로 예상한다. 단기적으로는 이 부문에서 엔비디아의 지배력이 여전하겠지만, 장기적으로(2년 이상) 시장 점유율이 크게 희석될 것으로 예상한다”라고 말했다.
데이터센터에서는 기존 데이터센터 서버가 추론 기반 워크로드로 전환하고 기존 모델의 미세 조정 및 RAG 최적화를 통해 AI 워크로드를 실행하는 경우가 늘어날 것으로 예상한다. 추론은 학습보다 프로세스 집약도가 훨씬 낮으며 고가의 GPU 대신 기존 CPU에서 수행할 수 있다.
이는 주요 클라우드 서비스 업체가 제공하는 서비스형 AI에는 기회가 될 것이며, 기업은 고가의 하드웨어에 큰 자본을 투자할 필요 없이 한 번만 필요한 하드웨어에서 AI를 학습시킨 후, 업데이트나 추론은 자체 장비로 할 수 있다.
또한 “더 새롭고 효율적인 모델링 방법이 개발됨에 따라 비용 대비 성능의 이점뿐만 아니라 컴퓨팅 가용성을 높이기 위해 기존 서버에서 실행되는 경우가 점점 더 늘어날 것으로 보인다. 이는 데이터센터 비즈니스를 잘 구축한 기존 업체에 도움이 될 것이다”라고 덧붙였다.
골드는 향후 2~3년 동안 AI 워크로드가 대부분 엣지 기반 시스템으로 마이그레이션될 것으로 예상한다. 이런 엣지 시스템에는 센서 어레이의 소규모 내부 처리부터 중장비, 자율 주행 차량, 의료 진단에 이르기까지 다양한 시스템과 처리 능력이 포함된다.
개발 플랫폼 역시 엔비디아 CUDA와 같은 독점 솔루션에 대응해 오픈소스 플랫폼과 개발 환경이 핵심적인 역할을 할 것이다. 골드는 “Arm 및 x86과 같은 개방적이고 호환 가능한 생태계는 소규모 컴퓨팅 요구사항부터 대규모 환경까지 호환성을 제공해 상당한 이점이 있다. 컴퓨팅 요구사항에 따라 확장 또는 축소가 가능하고 솔루션 이식과 재사용이 용이하기 때문이다”라고 설명했다.
IoT 분야는 엣지 컴퓨팅과 겹치는 부분이 많기 때문에 엣지처럼 확장 가능한 솔루션을 제공하기 위한 개방형 생태계를 필요로 한다. 다만 IoT의 경우 디바이스가 더 작고 저전력인 경향이 있지만, 그만큼 관련 솔루션 업체의 수도 많다.
AI를 둘러싼 많은 과대광고로 인해 지난 몇 년 동안 AI 프로세서 시장에는 수많은 스타트업이 등장했으며, 향후 몇 년 동안 더 많은 스타트업이 등장할 것이다. 하지만 이들은 시장 입지와 검증된 역량이 부족한 비교적 신생 업체이기 때문에 특정 틈새 시장을 효과적으로 공략하기는 쉽지 않다. 골드는 “신생 업체 중 일부는 결국 성공하겠지만, 나머지 대부분은 향후 2~3년 내에 사라지거나 인수될 것”이라고 전망했다. dl-ciokorea@foundryco.com
