IT 소식/AI
스탠포드 MAST의 오픈소스 프로젝트, BLAST로 웹 브라우징 AI 효율적으로 서빙하기
화니.
2025. 5. 12. 09:57
스탠포드 대학교 MAST 연구팀이 개발한 BLAST(Browser-LLM Auto-Scaling Technology)는 웹 브라우징 기능을 갖춘 대규모 언어 모델(LLM)을 효율적으로 서빙하기 위한 오픈소스 엔진입니다.
BLAST의 주요 특징:
- OpenAI API 호환성: 기존 OpenAI API를 사용하는 애플리케이션을 별도의 수정 없이 BLAST로 전환할 수 있습니다.
- 고성능 처리: 자동 병렬 처리와 프리픽스 캐싱을 통해 빠른 응답 속도를 제공합니다.
- 스트리밍 응답: 웹 브라우징 결과를 실시간으로 스트리밍하여 사용자에게 즉각적인 피드백을 제공합니다.
- 리소스 효율성: 메모리와 LLM 비용을 효율적으로 관리하여 비용을 절감할 수 있습니다.
BLAST - Browser-LLM Auto-Scaling Technology
blastproject.org
https://github.com/stanford-mast/blast
GitHub - stanford-mast/blast: Browser-LLM Auto-Scaling Technology
Browser-LLM Auto-Scaling Technology. Contribute to stanford-mast/blast development by creating an account on GitHub.
github.com
반응형