스탠포드 MAST의 오픈소스 프로젝트, BLAST로 웹 브라우징 AI 효율적으로 서빙하기

스탠포드 대학교 MAST 연구팀이 개발한 BLAST(Browser-LLM Auto-Scaling Technology)는 웹 브라우징 기능을 갖춘 대규모 언어 모델(LLM)을 효율적으로 서빙하기 위한 오픈소스 엔진입니다.

 

BLAST의 주요 특징:

 

• OpenAI API 호환성: 기존 OpenAI API를 사용하는 애플리케이션을 별도의 수정 없이 BLAST로 전환할 수 있습니다.
• 고성능 처리: 자동 병렬 처리와 프리픽스 캐싱을 통해 빠른 응답 속도를 제공합니다.
• 스트리밍 응답: 웹 브라우징 결과를 실시간으로 스트리밍하여 사용자에게 즉각적인 피드백을 제공합니다.
• 리소스 효율성: 메모리와 LLM 비용을 효율적으로 관리하여 비용을 절감할 수 있습니다.

https://blastproject.org/

BLAST - Browser-LLM Auto-Scaling Technology

https://github.com/stanford-mast/blast

GitHub - stanford-mast/blast: Browser-LLM Auto-Scaling Technology