LiteLLM 소개: 100개 이상의 LLM을 하나의 OpenAI 형식으로 연결하는 통합 게이트웨이

 

 

LiteLLM은 OpenAI 형식의 인터페이스로 100개 이상의 LLM을 호출할 수 있도록 도와주는 오픈소스 프로젝트입니다. OpenAI, Azure, Bedrock, Vertex AI, Anthropic, Groq 등 다양한 AI 모델 제공자를 하나의 방식으로 연결할 수 있어, 여러 모델을 함께 운영해야 하는 개발팀과 플랫폼팀에 특히 유용합니다.

이 도구는 크게 두 가지 방식으로 사용할 수 있습니다. 첫 번째는 Python SDK로, 애플리케이션 코드 안에서 여러 LLM을 통합 호출할 수 있습니다. 두 번째는 AI Gateway(Proxy Server) 방식으로, 중앙에서 인증, 권한 관리, 비용 추적, 로깅, 캐싱, 모니터링까지 관리할 수 있습니다.

LiteLLM의 강점은 단순한 모델 호출에 그치지 않는다는 점입니다. 채팅, 응답 생성, 임베딩, 이미지, 오디오, 배치, 리랭크 등 다양한 엔드포인트를 지원하며, A2A 에이전트 연동과 MCP 도구 연결까지 지원해 AI 애플리케이션 확장성이 높습니다.

또한 라우팅, 재시도, 폴백, 로드 밸런싱, 예외 처리, 관측성 도구 연동 등 실무에서 필요한 기능을 폭넓게 제공해 운영 효율성을 높여줍니다. 여러 LLM을 일관된 방식으로 관리하고 싶은 조직이라면 LiteLLM은 매우 실용적인 선택지가 될 수 있습니다.

 

https://github.com/BerriAI/litellm

GitHub - BerriAI/litellm: Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tr