화니의 세상

Always-On Memory Agent는 Google ADK와 Gemini 3.1 Flash-Lite를 활용해 만든 상시 실행형 AI 메모리 에이전트입니다. 일반적인 AI 에이전트가 대화가 끝나면 맥락을 잊어버리는 것과 달리, 이 프로젝트는 정보를 계속 읽고 정리하며 연결해 주는 “지속형 기억 레이어”를 목표로 합니다. 특히 벡터 DB나 임베딩 없이, LLM이 직접 구조화된 메모리를 읽고 쓰는 방식이 눈에 띕니다.

구성은 꽤 직관적입니다. 먼저 Ingest 단계에서 텍스트, 이미지, 오디오, 비디오, PDF 등 다양한 파일을 받아 핵심 정보와 엔티티, 주제를 추출합니다. 이후 Consolidate 단계에서 일정 주기마다 메모리 간 연결점을 찾고, 관련 내용을 압축해 인사이트를 만듭니다. 마지막으로 Query 단계에서는 누적된 메모리와 통합 결과를 바탕으로 질문에 답변합니다.

실무 활용성도 좋습니다. ./inbox 폴더 감시, HTTP API, Streamlit 대시보드를 제공해 파일 업로드, 질의, 메모리 조회·삭제, 수동 통합까지 지원합니다. 저장소 구조를 보면 agent.py, dashboard.py, requirements.txt와 함께 SQLite 기반의 memory.db를 사용해 비교적 가볍게 실행할 수 있도록 설계되어 있습니다.

한마디로 정리하면, 이 프로젝트는 “AI가 정보를 저장하는 수준”을 넘어 “스스로 기억을 재구성하는 구조”를 실험해 볼 수 있는 예제입니다. 지속적으로 학습 맥락을 쌓아야 하는 개인 비서, 리서치 봇, 스마트 인박스 같은 서비스에 특히 잘 어울리는 오픈소스라고 볼 수 있습니다.

https://github.com/GoogleCloudPlatform/generative-ai/tree/main/gemini/agents/always-on-memory-agent

LiteLLM은 OpenAI 형식의 인터페이스로 100개 이상의 LLM을 호출할 수 있도록 도와주는 오픈소스 프로젝트입니다. OpenAI, Azure, Bedrock, Vertex AI, Anthropic, Groq 등 다양한 AI 모델 제공자를 하나의 방식으로 연결할 수 있어, 여러 모델을 함께 운영해야 하는 개발팀과 플랫폼팀에 특히 유용합니다.

이 도구는 크게 두 가지 방식으로 사용할 수 있습니다. 첫 번째는 Python SDK로, 애플리케이션 코드 안에서 여러 LLM을 통합 호출할 수 있습니다. 두 번째는 AI Gateway(Proxy Server) 방식으로, 중앙에서 인증, 권한 관리, 비용 추적, 로깅, 캐싱, 모니터링까지 관리할 수 있습니다.

LiteLLM의 강점은 단순한 모델 호출에 그치지 않는다는 점입니다. 채팅, 응답 생성, 임베딩, 이미지, 오디오, 배치, 리랭크 등 다양한 엔드포인트를 지원하며, A2A 에이전트 연동과 MCP 도구 연결까지 지원해 AI 애플리케이션 확장성이 높습니다.

또한 라우팅, 재시도, 폴백, 로드 밸런싱, 예외 처리, 관측성 도구 연동 등 실무에서 필요한 기능을 폭넓게 제공해 운영 효율성을 높여줍니다. 여러 LLM을 일관된 방식으로 관리하고 싶은 조직이라면 LiteLLM은 매우 실용적인 선택지가 될 수 있습니다.

https://github.com/BerriAI/litellm

ParadeDB는 PostgreSQL 확장(Extension) 형태로 동작하는 현대적 Elasticsearch 대안을 표방하는 오픈소스 프로젝트입니다. “검색과 분석을 Postgres 안으로 가져오자”는 방향이 분명해서, 실시간 업데이트가 잦은 워크로드에서 특히 매력적입니다.

어떤 기능을 노리나?

• Postgres 안에서 텍스트 검색 + 하이브리드 검색 + 패싯/집계(aggregates) 같은 “검색엔진스러운” 기능을 제공하는 것을 목표로 합니다.
• 특히 pg_search 확장을 통해 BM25 기반 검색(및 하이브리드 검색)을 핵심 축으로 내세웁니다.

운영 관점에서 좋은 점(Zero ETL 지향)

외부 검색엔진을 붙이면서 생기는 동기화(ETL)·데이터 불일치 문제를 줄이기 위해,

• 자체 운영 Postgres에는 “확장 설치”로,
• 매니지드 Postgres(RDS 등)에는 “논리 복제(replica)” 형태로 가져가는 시나리오를 안내합니다

https://github.com/paradedb/paradedb