미국 국립표준기술연구소(NIST)가 AI 개발자와 사이버 보안 전문가를 위한 새 가이드를 발표했다. 지난해 공개했던 'AI 위험 관리 프레임워크(AI RMF)'가 다루는 위험 요소에 대해 자세히 살펴볼 수 있는 4가지 가이드다.
초안으로 발행된 가이드는 지난해 10월 조 바이든 미국 대통령의 행정 명령으로 정부가 기술 업계에 다양한 유형의 AI 위험을 완화하도록 요청한 뒤 연방 기관이 마련한 최신 구성 요소를 담고 있다.
가이드는 기술 분야의 의사 결정권자에게 유용한 배경 지식이 될 수 있지만, 앞의 3개 항목은 사이버 보안에 종사하는 사람들이 더 심각하게 우려하는 분야를 다루고 있다.
생성형 AI 위험 요소
NIST의 생성형 AI 워킹 그룹을 기반으로 작성된 ‘AI RMF 생성형 AI 프로파일(NIST AI 600-1)’에는 멀웨어 코딩, 사이버 공격 자동화, 허위 정보의 확산, 사회 공학, AI 환각, 생성형 AI의 리소스 과다 사용 가능성 등 생성형 AI와 관련된 13가지 위험 요소가 소개됐다. 이 문서는 위험을 완화하기 위해 개발자가 채택할 수 있는 400가지 권장 사항을 제시한다.
악성 학습 데이터
NIST의 ‘보안 소프트웨어 개발 프레임워크(SSDF)’에 추가되는 가이드는 ‘생성형 AI 및 이중 사용 기반 모델을 위한 보안 소프트웨어 개발 관행(NIST 특별 간행물 800-218A)’은 AI가 데이터를 어디서 얻는지, 이 데이터와 가중치를 부여하는 모델이 변조에 취약한지에 대해 광범위하게 다루고 있다.
NIST는 “일부 모델은 쉽게, 철저하게 검사할 수 없을 정도로 복잡하다. 임의 코드의 실행을 탐지하지 못할 수도 있다”라고 밝혔다.
합성 콘텐츠 위험 요소
오늘날 1세대 AI 시스템은 이미지, 사운드, 동영상을 진짜 콘텐츠와 구별하기 어려울 정도로 악의적으로 합성할 수 있다. ‘합성 콘텐츠로 인한 위험 감소(NIST AI 100-4)’ 가이드에서는 개발자가 워터마킹과 같은 기술을 사용해 콘텐츠의 출처를 인증, 라벨링 및 추적할 수 있는 방법을 살펴본다.
네 번째이자 마지막 가이드인 ‘AI 표준에 대한 글로벌 참여 계획(NIST AI 100-5)’에서는 글로벌 맥락에서 AI 표준화 및 조율이라는 광범위한 문제를 살핀다. 지금은 덜 걱정스럽지만 결국에는 큰 문제가 될 수 있다. 미국은 비록 주요 관할권이지만 하나의 국가일 뿐이며, 글로벌 표준에 대한 합의가 이뤄지지 않는다면 결국 AI가 질서 없는 ‘자유의 몸’이 될 수 있다는 우려가 있다.
지나 라이몬도 미국 상무부 장관은 “바이든 대통령이 AI에 관한 역사적인 행정 명령을 제정한 이후 6개월 동안 상무부는 AI의 잠재력을 안전하게 활용하는 동시에 관련 위험을 최소화하는 데 필요한 지침을 연구하고 개발하고자 노력해 왔다. 오늘 발표하는 내용은 투명성과 모든 이해관계자 피드백에 대한 상무부의 노력과, 짧은 시간 동안 이룬 눈부신 진전을 보여준다”라고 설명했다.
사이버 보안의 필독서가 될 가능성이 높은 NIST 가이드
올해 말 가이드가 완성되면 중요한 기준점이 될 전망이다. NIST의 AI RMF는 조직이 준수해야 할 일련의 규정은 아니지만, 무엇이 모범 사례로 간주되는지에 대해 명확한 경계를 제시한다.
하지만 2023년 노르웨이 정부의 AI 윤리 위원회에 참여한 프랙시스 시큐리티랩스의 CEO이자 설립자인 카이 로어는 NIST의 산업 표준 사이버 보안 프레임워크(CSF)를 기반으로 새로운 지식을 흡수하는 것이 전문가들에게 여전히 어려운 과제라고 지적했다.
로어는 “CISO는 이미 NIST 사이버 보안 규정에 많은 관심을 기울이고 있으며, 충분한 리소스를 확보한 기업도 AI를 검토하기 시작할 수 있다. 하지만 대부분 실제로 필요한 만큼 집중할 수는 없을 것”이라고 말했다.
그는 규제가 도입되면 규정 준수에 대한 새로운 불안감이 생길 수 있다면서 “CISO를 밤잠 못 이루게 하는 것은 구현이 불가능할 수도 있는 새로운 규제 요구다”라고 언급했다.
여기에는 직원이나 공급망 파트너가 정당한 이유 없이 승인을 구하거나 규정 위반 여부를 평가하지 않고 AI를 도입할 가능성도 포함된다. 이 모든 것이 범죄자들이 자동화와 공격 규모를 개선하기 위한 수단으로 AI를 활용할 것이 분명한 상황에서 벌어지는 일이다.
로어는 “CISO는 이미 많은 분야에서 뒤처지고 있으며, AI가 이를 완벽히 개선하기란 불가능하다. 하지만 AI는 더 나은 효과적인 도구를 제공할 수 있다. 문제는 허울뿐인 도구를 걸러내고 실질적인 가치를 제공하는 도구와 벤더를 식별하는 일이다”라고 덧붙였다. dl-ciokorea@foundryco.com
