Tether는 1914억 개의 Token STEM 데이터 세트를 발표하며, 지역 소형 모델의 "설명 능력"에 베팅합니다

안정성 코인 대기업 Tether 산하 Tether AI Research가 오늘 QVAC Genesis III를 발표했습니다. 이는 과학, 기술, 공학 및 수학 분야를 위한 합성 훈련 데이터 세트로, 규모는 1914.3억 토큰에 달하며 1.596억 개 문서를 포함합니다.

Tether는 이를 통해 소형 AI 모델의 추론 및 교육 능력을 향상시켜 더 많은 AI 도우미가 노트북, 휴대폰 및 로컬 서버에서 직접 실행될 수 있도록 하여 대형 클라우드 모델에 대한 지속적인 의존도를 줄이기를 희망하고 있습니다.

Genesis III는 Genesis I 및 Genesis II의 데이터 경로를 이어가며, 내용은 생물학, 화학, 물리학, 수학, 컴퓨터 과학, 의학, 전기 공학 및 기계 학습 등 19개 과정 시스템 관련 분야를 포함하여 고등학교, 대학 및 전문 수준의 응용 프로그램을 대상으로 합니다. Tether는 데이터 세트가 모델이 문제 해결 경로를 설명하고, 잘못된 추론을 식별하며 수정안을 제시하는 데 중점을 두고 있으며, 단순히 최종 답변만 출력하는 것이 아님을 강조했습니다.

Tether가 공개한 테스트 결과에 따르면, Genesis III 옵션 수준 데이터로 훈련된 17억 매개변수 모델은 관련 기준 테스트에서 유효 응답률이 99.45%에 달했습니다. 토큰 규모가 비슷한 Cosmopedia-v2 훈련 모델과 비교했을 때, Genesis III는 ARC-Easy, ARC-Challenge 및 MMLU STEM 기준에서 각각 28.57, 21.35 및 15.03 포인트 향상된 점수를 기록했습니다.