스마트폰에서 직접 AI 구동하기: ‘Cactus’ 프레임워크 소개

Cactus는 스마트폰·스마트워치 같은 모바일 기기에서 LLM/VLM/TTS 등 다양한 AI 모델을 로컬(오프라인)으로 구동할 수 있게 해주는 오픈소스 프레임워크입니다. Flutter, React-Native, C/C++ 등 여러 플랫폼을 지원하며, GGUF 포맷을 사용하는 최신 오픈소스 모델들을 즉시 가져다 쓸 수 있는 것이 특징입니다  .

 

 

주요 기능

 

• 다중 모달 지원: 텍스트 완성, 이미지 인식, 음성 합성 등 다양한 AI 기능 탑재  .
• 경량화 및 양자화 대응: FP32부터 2-bit 양자화 모델까지 효율적으로 처리  .
• 클라우드 백업 옵션: 기기에서 실패 시 원격 API로 대체 실행을 선택할 수 있음 .
• 일관된 API 제공: Flutter, React-Native, C/C++에서 동일한 사용법으로 호출 가능

 

https://github.com/cactus-compute/cactus

GitHub - cactus-compute/cactus: Cross-platform framework for deploying LLM/VLM/TTS models locally on smartphones.