화니의 세상

LiteLLM은 OpenAI 형식의 인터페이스로 100개 이상의 LLM을 호출할 수 있도록 도와주는 오픈소스 프로젝트입니다. OpenAI, Azure, Bedrock, Vertex AI, Anthropic, Groq 등 다양한 AI 모델 제공자를 하나의 방식으로 연결할 수 있어, 여러 모델을 함께 운영해야 하는 개발팀과 플랫폼팀에 특히 유용합니다.

이 도구는 크게 두 가지 방식으로 사용할 수 있습니다. 첫 번째는 Python SDK로, 애플리케이션 코드 안에서 여러 LLM을 통합 호출할 수 있습니다. 두 번째는 AI Gateway(Proxy Server) 방식으로, 중앙에서 인증, 권한 관리, 비용 추적, 로깅, 캐싱, 모니터링까지 관리할 수 있습니다.

LiteLLM의 강점은 단순한 모델 호출에 그치지 않는다는 점입니다. 채팅, 응답 생성, 임베딩, 이미지, 오디오, 배치, 리랭크 등 다양한 엔드포인트를 지원하며, A2A 에이전트 연동과 MCP 도구 연결까지 지원해 AI 애플리케이션 확장성이 높습니다.

또한 라우팅, 재시도, 폴백, 로드 밸런싱, 예외 처리, 관측성 도구 연동 등 실무에서 필요한 기능을 폭넓게 제공해 운영 효율성을 높여줍니다. 여러 LLM을 일관된 방식으로 관리하고 싶은 조직이라면 LiteLLM은 매우 실용적인 선택지가 될 수 있습니다.

https://github.com/BerriAI/litellm

CodexBar는 macOS(14+ Sonoma) 메뉴바에 작은 아이콘을 띄워서 OpenAI Codex, Claude, Cursor, Gemini, Copilot, OpenRouter 등 여러 AI 코딩/에이전트 도구의 세션·주간 한도(및 리셋 시간)를 실시간으로 확인할 수 있게 해주는 오픈소스 앱입니다. 작업하다가 “갑자기 제한 걸려서 끊기는 상황”을 줄이는 데 딱 좋아요. 

핵심 포인트

• 프로바이더별 한도/리셋 카운트다운 표시(필요한 것만 설정에서 켜기) 
• 메뉴바 전용: Dock 아이콘 없이 미니멀 UI, 프로바이더별 아이콘(또는 아이콘 합치기 모드) 
• 일부 서비스는 브라우저 쿠키/ OAuth / 로컬 CLI 등을 통해 사용량을 가져오고, 쿠키가 없으면 로컬 CLI 기반으로 동작하기도 합니다. 
• Linux는 CLI 중심으로도 제공됩니다. 

설치 방법(간단)

• Homebrew(추천): brew install --cask steipete/tap/codexbar 
• 또는 GitHub Releases에서 다운로드 후 실행 

여러 AI 도구를 병행하는 분이라면, “오늘은 어디까지 써도 안전한지”를 메뉴바에서 바로 확인할 수 있어서 생산성이 꽤 올라갑니다. 

https://github.com/steipete/CodexBar

Open WebUI는 로컬 및 원격 LLM(대형 언어 모델)과 상호작용할 수 있는 오픈소스 웹 UI입니다.

OpenAI API, Ollama, OpenRouter, LocalAI 등의 다양한 백엔드를 지원하며, 자체 호스팅이 가능해 보안성과 확장성이 뛰어납니다.

주요 기능:

• 쉬운 설치 및 설정

• 여러 모델 지원(OpenAI, Ollama 등)

• 사용자 친화적인 대시보드

• 플러그인 및 커스터마이징 가능

https://github.com/open-webui/open-webui

최근 NVIDIA는 AI 모델의 신뢰성과 안전성을 평가할 수 있는 오픈소스 프레임워크인 Garak을 공개했습니다. Garak은 언어 모델과 같은 대규모 AI 모델이 다양한 환경에서 어떻게 반응하는지 테스트하고, 잠재적인 취약점을 탐지하기 위해 설계된 도구입니다. 이를 통해 개발자는 모델의 성능뿐 아니라 신뢰성과 윤리적 관점에서도 검토할 수 있습니다.

Garak의 주요 기능

1. 테스트 자동화 및 확장성

Garak은 테스트 자동화를 지원하며, 다양한 테스트 케이스를 쉽게 확장할 수 있는 구조를 제공합니다. 이를 통해 모델의 다양한 시나리오에서의 반응을 체계적으로 평가할 수 있습니다.

2. 다양한 모델 지원

OpenAI, Hugging Face, NVIDIA NeMo 등 다양한 플랫폼에서 제공하는 모델과 호환됩니다. 이를 통해 특정 플랫폼에 제한되지 않고 활용할 수 있습니다.

3. 취약점 탐지

모델의 성능만 측정하는 데 그치지 않고, 윤리적 문제, 바이오스, 보안 취약점과 같은 잠재적 문제를 점검할 수 있습니다.

4. 오픈소스 기반

누구나 자유롭게 활용하고 기여할 수 있는 오픈소스 프로젝트로, AI 커뮤니티의 협력을 통해 지속적으로 개선될 수 있습니다.

Garak이 왜 중요한가?

AI 모델은 점점 더 많은 실생활 응용 사례에 도입되고 있습니다. 그러나 높은 성능에도 불구하고 윤리적 문제, 바이오스, 안전성 문제로 인한 우려는 여전히 존재합니다. Garak은 이러한 문제를 사전에 탐지하고 해결할 수 있도록 지원함으로써, AI 개발자가 보다 신뢰할 수 있는 모델을 만들 수 있도록 돕습니다.

어떻게 시작할 수 있을까?

Garak은 GitHub을 통해 소스 코드와 문서를 제공합니다. 설치 방법부터 다양한 예제까지 상세히 안내되어 있어, 개발자는 즉시 프로젝트에 도입해 활용할 수 있습니다.

NVIDIA의 Garak은 AI 모델의 품질과 신뢰성을 높이는 데 중요한 역할을 할 수 있는 도구입니다. AI 기술이 점점 더 발전하고 있는 지금, Garak과 같은 프레임워크는 AI의 책임 있는 개발과 활용을 위한 필수적인 요소가 될 것입니다.

OpenAI의 Swarm은 여러 AI 모델이 협력하여 작업을 수행할 수 있도록 설계된 새로운 프레임워크입니다. Swarm은 다양한 모델이 각자의 강점을 활용해 복잡한 문제를 해결할 수 있도록 돕습니다. 이 프레임워크는 모델들이 독립적으로 작동하는 것이 아니라, 하나의 팀으로 협력하며 더 나은 결과를 만들어내는 역동적인 시스템을 제공합니다.

Swarm의 주요 기능:

1. 모델 간 협업: Swarm은 다양한 AI 모델이 실시간으로 지식을 공유하고 상호작용할 수 있도록 지원합니다.

2. 작업 할당: 각 모델의 강점을 기반으로 작업을 최적화하여 적절한 모델이 해당 작업을 수행하도록 배분합니다.

3. 확장성: Swarm은 소규모 문제부터 대규모 복잡한 시스템까지 다양한 작업에 적합하도록 확장 가능한 구조를 가지고 있습니다.

4. 커스터마이징 가능: 개발자는 Swarm을 자신들의 요구에 맞게 구성하고 조정할 수 있어, 맞춤형 AI 협업을 구현할 수 있습니다.

Swarm 프레임워크는 여러 AI 모델이 협력해 단일 모델보다 더 효과적으로 문제를 해결할 수 있는 가능성을 열어줍니다.

자세한 내용은 Swarm GitHub 리포지토리를 참조하세요.