틱톡 개발사 바이트댄스가 20일 오픈소스 대규모 언어모델(LLM) ‘시드-OSS-36B’를 허깅페이스에 공개했다.
Credit: Claudio Schwarz / Unsplash
이번 모델은 바이트댄스 AI 연구조직인 시드팀(Seed Team)이 개발했다. 세부 모델은 합성 데이터를 포함한 시드-OSS-36B-Base(Synthetic), 합성 데이터를 제외한 시드-OSS-36B-Base(Non-Synthetic), 명령 수행에 최적화된 시드-OSS-36B-Instruct 등 세 가지다.
시드팀은 시드-OSS가 국제(i18n) 환경에서 활용될 수 있도록 최적화됐다고 설명했다. 특히 최대 512K 토큰 길이의 문맥을 네이티브로 지원해 대규모 텍스트 입력 처리에 강점을 보인다고 밝혔다.
또한 주요 기능으로는 ▲추론 과정의 길이를 조절할 수 있는 ‘Thinking Budget’ 제어 ▲추론 작업 최적화 ▲도구 활용 및 문제 해결과 같은 에이전트 작업 지원 ▲합성 데이터 포함 여부에 따라 선택 가능한 두 가지 베이스 모델 등이 제시됐다.
해당 모델은 아파치 2.0 라이선스로 공개돼 연구자와 기업 개발자가 별도의 비용 없이 활용, 수정, 재배포할 수 있으며 상업적 활용도 가능하다.
벤처비트는 20일 보도를 통해 “시드-OSS 36에서 주목할 만한 부분은 유연한 추론 예산 제어 기능”이라며 “사용자는 필요에 따라 추론 길이를 동적으로 조정할 수 있어, 실제 응용 시나리오에서 추론 효율성을 크게 향상시킬 수 있다”라고 분석했다. 또한 “이번 모델은 강화된 추론 능력을 위해 특별히 최적화되었으면서도, 균형 잡힌 범용 능력을 유지하고 있다”라고 분석했다.
jihyun.lee@foundryco.com
