화니의 세상

LiteLLM은 OpenAI 형식의 인터페이스로 100개 이상의 LLM을 호출할 수 있도록 도와주는 오픈소스 프로젝트입니다. OpenAI, Azure, Bedrock, Vertex AI, Anthropic, Groq 등 다양한 AI 모델 제공자를 하나의 방식으로 연결할 수 있어, 여러 모델을 함께 운영해야 하는 개발팀과 플랫폼팀에 특히 유용합니다.

이 도구는 크게 두 가지 방식으로 사용할 수 있습니다. 첫 번째는 Python SDK로, 애플리케이션 코드 안에서 여러 LLM을 통합 호출할 수 있습니다. 두 번째는 AI Gateway(Proxy Server) 방식으로, 중앙에서 인증, 권한 관리, 비용 추적, 로깅, 캐싱, 모니터링까지 관리할 수 있습니다.

LiteLLM의 강점은 단순한 모델 호출에 그치지 않는다는 점입니다. 채팅, 응답 생성, 임베딩, 이미지, 오디오, 배치, 리랭크 등 다양한 엔드포인트를 지원하며, A2A 에이전트 연동과 MCP 도구 연결까지 지원해 AI 애플리케이션 확장성이 높습니다.

또한 라우팅, 재시도, 폴백, 로드 밸런싱, 예외 처리, 관측성 도구 연동 등 실무에서 필요한 기능을 폭넓게 제공해 운영 효율성을 높여줍니다. 여러 LLM을 일관된 방식으로 관리하고 싶은 조직이라면 LiteLLM은 매우 실용적인 선택지가 될 수 있습니다.

https://github.com/BerriAI/litellm

Pangolin은 WireGuard 기반 터널과 Traefik 리버스 프록시를 결합한 셀프 호스팅 터널형 리버스 프록시 서버입니다. 대시보드 UI와 ID 관리 기능을 통해 인터넷에 내부 리소스를 안전하게 노출할 수 있는 솔루션입니다.

주요 기능

• 구성: WireGuard 터널 및 Traefik 리버스 프록시 자동 설정, Docker 기반 손쉬운 배포 
• 인증 및 권한 관리: SSO/OAuth2/OIDC 지원(무료), 역할 기반 접근 제어, 핀코드/패스워드, 일회용 공유 링크 
• 보안:
  • 내부 리소스의 외부 포트 개방 불필요
  • Let’s Encrypt로 자동 SSL 인증서 발급 
• 대시보드 & 사용자 경험: UI 리프레시, 글로벌 테이블 검색, 리소스 가시성 설정 
• 고급 설정:
  • 멀티 도메인 지원, IP/CIDR/URL 경로 기반 접근 규칙 
  • CrowdSec 통합 설치 스크립트로 보안 강화 

구성 요소

• Newt: WireGuard 터널을 설정 + TCP/UDP 프록시 역할을 수행하는 user-space 클라이언트 
• Gerbil: WireGuard 인터페이스 관리 서버
• Badger: Traefik 인증용 미들웨어 플러그인

https://github.com/fosrl/pangolin

mitmproxy2swagger는 REST API의 트래픽을 캡처하여 자동으로 OpenAPI 3.0 스펙으로 변환하는 도구입니다. 이 도구를 사용하면 앱 실행 중 캡처된 HTTP 트래픽을 기반으로 API의 구조를 쉽게 분석할 수 있습니다.

주요 기능

• mitmproxy 통합: mitmproxy를 통해 HTTP 트래픽을 캡처하고 이를 기반으로 API 스펙을 생성합니다.

• HAR 파일 지원: 브라우저 개발자 도구에서 내보낸 HAR 파일도 처리할 수 있습니다.

• 유연한 스키마 병합: 기존 API 스펙과 새로 캡처한 데이터를 안전하게 병합할 수 있습니다.

활용 사례

• 내부 API 분석 및 문서화

• 타사 API 리버스 엔지니어링

https://github.com/alufers/mitmproxy2swagger