화니의 세상

gemma-tuner-multimodal은 Apple Silicon 환경에서 Gemma 모델을 텍스트, 이미지, 오디오 데이터로 파인튜닝할 수 있도록 만든 오픈소스 프로젝트입니다. CUDA나 NVIDIA GPU 없이도 동작하며, LoRA 기반 학습을 지원하는 것이 특징입니다.

이 저장소는 텍스트 전용 학습뿐 아니라 이미지+텍스트, 오디오+텍스트 같은 멀티모달 학습까지 지원합니다. 또한 GCS나 BigQuery에서 데이터를 스트리밍해 대용량 데이터셋도 로컬 저장공간 부담 없이 활용할 수 있도록 설계되었습니다.

실시간 학습 시각화 기능도 제공해 loss curve, attention heatmap, 메모리 사용량 등을 브라우저에서 바로 확인할 수 있어 실험 과정을 직관적으로 살펴볼 수 있습니다. Gemma 4와 Gemma 3n 계열 모델을 대상으로, 맥 기반 로컬 AI 개발 환경을 구축하려는 분들에게 특히 눈에 띄는 프로젝트입니다.

https://github.com/mattmireles/gemma-tuner-multimodal

Always-On Memory Agent는 Google ADK와 Gemini 3.1 Flash-Lite를 활용해 만든 상시 실행형 AI 메모리 에이전트입니다. 일반적인 AI 에이전트가 대화가 끝나면 맥락을 잊어버리는 것과 달리, 이 프로젝트는 정보를 계속 읽고 정리하며 연결해 주는 “지속형 기억 레이어”를 목표로 합니다. 특히 벡터 DB나 임베딩 없이, LLM이 직접 구조화된 메모리를 읽고 쓰는 방식이 눈에 띕니다.

구성은 꽤 직관적입니다. 먼저 Ingest 단계에서 텍스트, 이미지, 오디오, 비디오, PDF 등 다양한 파일을 받아 핵심 정보와 엔티티, 주제를 추출합니다. 이후 Consolidate 단계에서 일정 주기마다 메모리 간 연결점을 찾고, 관련 내용을 압축해 인사이트를 만듭니다. 마지막으로 Query 단계에서는 누적된 메모리와 통합 결과를 바탕으로 질문에 답변합니다.

실무 활용성도 좋습니다. ./inbox 폴더 감시, HTTP API, Streamlit 대시보드를 제공해 파일 업로드, 질의, 메모리 조회·삭제, 수동 통합까지 지원합니다. 저장소 구조를 보면 agent.py, dashboard.py, requirements.txt와 함께 SQLite 기반의 memory.db를 사용해 비교적 가볍게 실행할 수 있도록 설계되어 있습니다.

한마디로 정리하면, 이 프로젝트는 “AI가 정보를 저장하는 수준”을 넘어 “스스로 기억을 재구성하는 구조”를 실험해 볼 수 있는 예제입니다. 지속적으로 학습 맥락을 쌓아야 하는 개인 비서, 리서치 봇, 스마트 인박스 같은 서비스에 특히 잘 어울리는 오픈소스라고 볼 수 있습니다.

https://github.com/GoogleCloudPlatform/generative-ai/tree/main/gemini/agents/always-on-memory-agent