Cactus는 스마트폰·스마트워치 같은 모바일 기기에서 LLM/VLM/TTS 등 다양한 AI 모델을 로컬(오프라인)으로 구동할 수 있게 해주는 오픈소스 프레임워크입니다. Flutter, React-Native, C/C++ 등 여러 플랫폼을 지원하며, GGUF 포맷을 사용하는 최신 오픈소스 모델들을 즉시 가져다 쓸 수 있는 것이 특징입니다 .
주요 기능
- 다중 모달 지원: 텍스트 완성, 이미지 인식, 음성 합성 등 다양한 AI 기능 탑재 .
- 경량화 및 양자화 대응: FP32부터 2-bit 양자화 모델까지 효율적으로 처리 .
- 클라우드 백업 옵션: 기기에서 실패 시 원격 API로 대체 실행을 선택할 수 있음 .
- 일관된 API 제공: Flutter, React-Native, C/C++에서 동일한 사용법으로 호출 가능
https://github.com/cactus-compute/cactus
GitHub - cactus-compute/cactus: Cross-platform framework for deploying LLM/VLM/TTS models locally on smartphones.
Cross-platform framework for deploying LLM/VLM/TTS models locally on smartphones. - cactus-compute/cactus
github.com
반응형
'IT 소식 > AI' 카테고리의 다른 글
| Chatterbox TTS — 오픈소스 최고 수준의 감정 제어 음성 합성 모델 (2) | 2025.06.12 |
|---|---|
| AgenticSeek – 완전한 로컬 AI 비서, 클라우드 없이 자율적으로 작업 수행 (2) | 2025.06.02 |
| 스탠포드 MAST의 오픈소스 프로젝트, BLAST로 웹 브라우징 AI 효율적으로 서빙하기 (0) | 2025.05.12 |