공연
비교
세부사항
이 콘텐츠는 RD AI가 생성했으며, 참고용으로만 제공됩니다
Inference는 Solana 기반의 LLM 추론을 위한 분산 GPU 클러스터입니다. Inference.net은 DeepSeek V3 및 Llama 3.3과 같은 모델을 위한 빠르고 확장 가능하며 토큰당 지불하는 API를 제공하는 글로벌 데이터 센터 네트워크입니다.
업데이트 따라가기
팔로우 목록
인물
Inference 소개
Inference.net는 LLM 추론을 위해 특화된 분산 GPU 클러스터를 운영하며, 장기 계약 없이 온디맨드 컴퓨팅을 제공합니다. 핵심 사업은 동기식, 배치 및 비동기식 추론 모드를 제공하는 것이며, 비동기식 모드는 유휴 GPU 용량을 활용하여 동기식 요금의 약 10% 수준으로 책정됩니다. 이 플랫폼은 관찰 가능성, 평가 및 미세 조정을 위한 제품군인 Catalyst와 워크플로 자동화를 위한 CLI 도구도 포함합니다. 경쟁력은 유휴 용량 활용을 통한 비용 절감과 추적, 평가, 모델 튜닝을 결합한 통합 워크플로에 있습니다. 핵심 내러티브는 특히 대량 처리 또는 지연 시간에 덜 민감한 워크로드에 대해 LLM 추론을 최대한 저렴하고 효율적으로 만드는 것입니다. 시장의痛点은 명확합니다. GPU 비용이 여전히 높고, 업계 평균 활용률은 15~40%에 불과하며, 기존 도구는 여러 공급업체에 분산되어 있습니다. 지난 6개월(2026-03-01 ~ 2026-09-01) 동안 Inference.net는 3월에 Catalyst 플랫폼을 출시하고, 4월에 CLI를 도입했으며, 5월에 비동기 요청을 출시하고, 7월에 미세 조정 기능을 추가했으며, 8월에 일부 구성 요소를 오픈소스화했습니다. 한 가지 주목할 부정적 사항은 2025년에 일부 사용자가 GPU 공급 변동으로 인해 추론 지연 시간이 급증했다고 보고했지만, 이는 광범위하게 발생한 것은 아닙니다.
2023년에 설립되어 샌프란시스코에 본사를 둔 Inference는 LLM 추론 및 맞춤형 모델 훈련을 위한 분산 GPU 인프라 구축에 주력하고 있습니다. 2025년 10월, 회사는 Multicoin Capital과 a16z CSX가 주도하고 Topology Ventures, Founders, Inc. 및 여러 엔젤 투자자가 참여한 1,180만 달러 규모의 시드 라운드를 완료했습니다. 이 자금은 AI 네이티브 기업이 더 작고 작업별 모델을 배포하여 유사한 성능을 훨씬 낮은 비용과 지연 시간으로 달성함으로써 프론티어 연구소에 대한 의존도를 줄이도록 돕는 사명을 지원합니다. Inference의 플랫폼은 훈련, 배포, 관찰 가능성 및 평가를 포함한 종단 간 모델 라이프사이클 관리를 가능하게 하며, 범용 API에 비해 최대 90%의 비용 절감과 2~3배 빠른 추론을 제공한다고 주장합니다. 회사는 고객이 통제하는 환경에서 데이터 프라이버시를 유지하며 실행되는 인프라를 제공하여 프로덕션 워크로드를 대상으로 합니다. 이번 시드 라운드는 특화된 추론 인프라 시장을 검증하는 중요한 이정표로, Inference가 빠르게 진화하는 AI 인프라 계층에서 경쟁할 수 있는 위치를 확보했습니다.
Inference(inference.net)는 지난 6개월(2026-03-01~2026-09-01) 동안 공식 커뮤니케이션과 제품 출시를 통해 상당한 진전을 이루었습니다. 주요 개발 사항으로는 프로덕션 트래픽을 사용하여 LLM 성능을 자동으로 평가하고 비교하는 도구인 AutoEvals 도입이 있습니다. 이를 통해 데이터 기반 모델 선택이 가능해졌습니다. 또한 플랫폼은 HTML-to-JSON 추출을 위한 특화된 모델군인 Schematron V2를 출시하여 이전 버전과 비교해 향상된 정확도와 처리량(단일 H100에서 초당 4.14건의 요청)을 제공합니다. 특히 Gravity Ads의 고객 사례 연구에서는 프로덕션 데이터로 1B 모델을 파인튜닝하여 범용 70B 모델을 대체함으로써 추론 비용을 10배 절감하고 p99 지연 시간을 5.7배 개선한 것으로 나타났습니다. 향후 로드맵에서 Inference는 지속적 개선 루프를 강화하는 데 중점을 두고 있습니다. 자동 학습 및 평가를 위한 프로덕션 데이터 활용 확대, 종합 모델 수명주기 관리를 위한 Catalyst 플랫폼 고도화, 처리량을 유지하면서 더 높은 추출 품질을 제공하는 Schematron Pro 개발 등이 포함됩니다. 또한 회사는 학습 루프를 더욱 비용 효율적이고 접근 가능하게 만드는 데 주력하고 있으며, 실시간 트래픽과 모델 개선 사이의 거리를 더욱 줄일 계획입니다.
샘 호이트메이커(창립자 겸 CEO): 이전에 Leap(CTO, 12만 명 사용자 확보)과 Ultramail(공동 창립자, 10만 명 사용자 확보) 등 여러 스타트업을 창업했습니다. Crowe에서 시니어 소프트웨어 엔지니어로 근무했으며, AI 네이티브 제품 및 분산 시스템 구축 경험을 보유하고 있습니다. 이브라힘 아메드(공동 창립자 겸 CTO): 이전에 Founders, Inc.에서 파운딩 엔지니어 및 스튜디오 설립자로 활동했습니다. AI 스타트업 인큐베이팅 경험이 있는 기술 리더이며, 모델 훈련 및 특화 언어 모델 분야의 전문가입니다.