마이크로소프트(MS)가 환각 현상을 비롯한 AI 취약점을 감지하는 도구를 애저 스튜디오 AI에 추가한다고 28일 밝혔다.
애저 AI 스튜디오는 생성형 AI 솔루션 및 맞춤형 코파일럿 개발을 지원하는 플랫폼이다. 이번 업데이트로 애저 AI 스튜디오에 안정성과 보안성을 높이는 기능이 강화됐다.
눈에 띄는 기능은 프롬프트 인젝션 공격 방어에 특화된 ‘프롬프트 쉴드’다. 프롬프트 인젝션 공격은 악의적인 공격자가 조작된 AI 프롬프트(명령어)를 입력해 유해한 콘텐츠를 제작하거나 사내 기밀 데이터를 유출하는 공격을 말한다. 프롬프트 쉴드는 자체 ML 알고리즘과 자연어 분석 기능을 통해 문제 있는 입력어나 외부 데이터를 감지한다.
환각으로 대표되는 AI 출력물의 문제점을 파악하는 기능도 추가됐다. MS는 공식 블로그를 통해 “근거 없는 출력은 생성형 AI 모델에서 보이는 고유한 특징이지만, 지속적인 모니터링과 개선 활동으로 환각 수준을 크게 줄일 수 있다”라며 “수동으로 환각을 검사하는 방식이 아닌 시스템적으로 근거 없이 만드는 AI 출력물을 감지하는 기능을 만들었다”라고 소개했다.
이번에 MS에서 공개된 환각 감지 기능은 구체적으로 다음과 같은 방법을 활용한다.
- 사전 배포 단계에서 AI 구현물을 자체 지표에 따라 테스트 실시
- 사용자에게 근거 없는 결과물을 따로 표시하여 사실 확인을 요청하거나 더 나은 근거 데이터를 만들기 위해 메타프롬프트 개선 또는 참고 문서 개선을 요청
- 최종 사용자에게 AI 결과물을 보여주기 전에 근거 없는 결과물의 재작성 요청
- 합성데이터 수준을 평가하여 모델 파인튜닝 과정에서 보다 고품질 데이터가 쓰이도록 지원
이외에도 MS는 AI 모델 및 출력 결과물의 안정성을 평가하고, 위험성 높은 결과물을 사전에 필터링하고, 문제 상황을 지정하고 시스템 메시지를 보내는 기능을 애저 AI 스튜디오에 추가했다. MS는 이러한 기능으로 유해 콘텐츠를 감지하거나 모니터링하면서 AI 기술의 안전성을 높일 수 있을 것으로 기대했다. 또한 새로 추가된 기능은 애저 AI 스튜디오 외에도 AI 오픈AI 서비스, 애저 AI 콘텐츠 세이프티 같은 서비스에도 추가될 예정이다.
MS의 책임 있는 AI 부문 최고 제품 책임자인 사라 버드는 “레드팀(모의 훈련 과정에서 사이버 보안 공격을 주도하는 팀)을 보유하지 않은 기업이 AI 서비스를 테스트하려 할 때 이번 기능은 유용한 역할을 할 것”이라며 “모든 고객이 프롬프트 인젝션 공격이나 유해 콘텐츠에 대한 깊은 전문 지식을 갖고 있는 것은 아니기에 평가 시스템은 관련 공격을 시뮬레이션할 때 특히 유용할 것”이라고 IT 매체 더버지를 통해 밝혔다.
jihyun_lee@idg.co.kr
