공연
비교
세부사항
이 콘텐츠는 RD AI가 생성했으며, 참고용으로만 제공됩니다
Pluralis AI는 기초 모델의 분산형 교육 및 소유권을 위한 프로토콜입니다. 블록체인 기술을 통해 AI 모델의 공동 개발 및 공유 소유권을 가능하게 합니다. 이 프로젝트는 여러 당사자가 AI 모델에 기여하고 일부를 소유할 수 있는 시스템을 만드는 데 중점을 두고 있으며, 토큰화 또는 스마트 계약을 사용하여 기여와 권리를 관리할 가능성이 있습니다.
모금 활동
업데이트 따라가기
팔로우 목록
인물
Pluralis Research 소개
Pluralis Research는 대규모 AI 모델을 훈련하기 위한 분산 프로토콜을 구축하고 있습니다. 핵심 사업은 프로토콜 학습(Protocol Learning)으로, 모델을 여러 독립적인 참여자로 분할하여 인터넷을 통해 협력적으로 훈련시키는 방법입니다. 전체 모델 가중치를 공유하는 대신, 노드는 작은 그래디언트 또는 활성화 텐서만 교환하므로 단일 주체가 완전한 모델을 추출하거나 복사하는 것이 불가능합니다. 이러한 '비실체화 가능 모델' 속성은 최종 가중치를 누구도 가져갈 수 없도록 보장하면서도, 개방적 기여와 집단적 소유권을 가능하게 합니다. 이 프로토콜이 해결하는 주요 문제점은 AI 개발의 중앙집중화입니다. 최첨단 모델을 훈련하려면 일반적으로 대규모 집중형 컴퓨팅 클러스터가 필요하며, 이는 대부분의 개인과 소규모 조직을 배제합니다. 기존의 분산 접근 방식은 고대역폭 연결(데이터 병렬 처리)을 요구하거나 훈련된 모델이 도난당하는 것을 방지하지 못합니다. Pluralis는 저대역폭 모델 병렬 훈련을 가능하게 하고, 모델을 본질적으로 배제 불가능하면서도 복사 불가능하게 만들어 신뢰할 수 있는 조정자 없이도 기여자에게 경제적 인센티브를 제공함으로써 두 가지 문제를 모두 해결합니다. 지난 6개월 동안 Pluralis는 이론에서 실천으로 나아갔습니다. 4개국(파리, 취리히, 더블린, 토론토)에 분산된 14개의 Apple Silicon Mac을 사용하여 공개 훈련 실험을 진행했으며, 36B 토큰에 대해 3주 동안 7.5B 파라미터 모델을 훈련했습니다. 최종 손실은 2.75로 중앙집중식 기준선과 비슷했습니다. 이 실행에는 303개의 활성 노드가 참여했으며, 78명의 기여자가 각각 1 exaFLOP 이상의 컴퓨팅을 제공했지만, 많은 기여자가 100Mbps 미만의 연결로 운영되었습니다. 이는 이질적이고 신뢰할 수 없으며 저대역폭인 소비자 하드웨어로도 경쟁력 있는 모델을 훈련할 수 있음을 입증했습니다. 팀은 또한 상세한 기술 문서를 발행하고 GitHub 저장소를 열었지만, 프로젝트는 아직 개념 증명 단계에 있으며 프로덕션 배포는 이루어지지 않았습니다.
Pluralis Research는 2024년 1월, 전 FAANG 연구원인 Alexander Long이 설립했으며, 분산 학습을 통해 진정한 오픈소스 AI를 개발하는 것을 목표로 합니다. 2025년 3월, 회사는 USV와 CoinFund가 공동 주도하고 Balaji Srinivasan과 HuggingFace 공동 창업자 Clem Delangue가 참여한 760만 달러의 시드 라운드를 발표했습니다. 이 회사는 어떤 단일 주체도 전체 가중치를 보유하지 않는 분산 네트워크에서 모델을 학습할 수 있는 방법인 Protocol Learning을 개척했습니다. 주요 이정표는 300개 이상의 글로벌 분산 소비자 GPU를 사용하여 7.5B 파라미터의 OLMo 스타일 모델을 3주 이상 인터넷을 통해 공개 학습 실행한 것으로, 분산 학습의 대규모 실현 가능성을 입증했습니다. 이는 그들의 접근 방식을 검증하고 향후 오픈 모델 개발을 위한 기반을 마련했습니다.
Pluralis Research는 지난 6개월간 분산형 AI 분야에서 큰 진전을 이루었습니다. 2026년 3월, 대규모 모델의 허가 없는 인터넷 규모 사전 학습을 가능하게 하는 시스템인 Agora를 공개했습니다. 이는 330개의 이기종 소비자용 GPU를 사용해 40일 동안 500B 토큰으로 학습된 86억 개의 파라미터 모델인 Pluralis-8B로 이어졌으며, 중앙 집중식 H100 기준 효율성의 63%를 달성했습니다. 6월에는 팀이 Stoa를 도입했는데, 이는 분리된 RL 사후 학습 프레임워크로, 4개국에 걸친 14대의 소비자용 Mac을 활용해 LFM2.5-8B-A1B를 미세 조정하여 PaperSearchQA에서 pass@1을 29%에서 63%로 향상시켰습니다. 또한 회사는 Protocol Learning에 관한 ICML 워크숍을 개최하여 경제적 인센티브를 갖춘 저대역폭, 이기종, 다자간 모델 학습이라는 비전을 공식화했습니다. 앞으로 Pluralis는 Agora와 Stoa를 통합된 RL 학습 루프로 통합하고, 비동기 최적화와 비잔틴 견고성의 미해결 문제를 해결하며, 첫 번째 완전 개방형 프로토콜 기반 학습 실행을 시작할 계획입니다. USV와 CoinFund가 주도한 760만 달러의 시드 라운드를 통해 팀과 컴퓨팅 파트너십을 확장하여 최첨단 개방형 모델로 확장해 나가고 있습니다.
공동 창립자 및 핵심 경영진: - 알렉산더 롱 (창립자)
- 길 아브라함
- 옌 쭈오
- 사미라 라마싱게
- 아잔탄 탈라이야싱감