화니의 세상

LiteLLM은 OpenAI 형식의 인터페이스로 100개 이상의 LLM을 호출할 수 있도록 도와주는 오픈소스 프로젝트입니다. OpenAI, Azure, Bedrock, Vertex AI, Anthropic, Groq 등 다양한 AI 모델 제공자를 하나의 방식으로 연결할 수 있어, 여러 모델을 함께 운영해야 하는 개발팀과 플랫폼팀에 특히 유용합니다.

이 도구는 크게 두 가지 방식으로 사용할 수 있습니다. 첫 번째는 Python SDK로, 애플리케이션 코드 안에서 여러 LLM을 통합 호출할 수 있습니다. 두 번째는 AI Gateway(Proxy Server) 방식으로, 중앙에서 인증, 권한 관리, 비용 추적, 로깅, 캐싱, 모니터링까지 관리할 수 있습니다.

LiteLLM의 강점은 단순한 모델 호출에 그치지 않는다는 점입니다. 채팅, 응답 생성, 임베딩, 이미지, 오디오, 배치, 리랭크 등 다양한 엔드포인트를 지원하며, A2A 에이전트 연동과 MCP 도구 연결까지 지원해 AI 애플리케이션 확장성이 높습니다.

또한 라우팅, 재시도, 폴백, 로드 밸런싱, 예외 처리, 관측성 도구 연동 등 실무에서 필요한 기능을 폭넓게 제공해 운영 효율성을 높여줍니다. 여러 LLM을 일관된 방식으로 관리하고 싶은 조직이라면 LiteLLM은 매우 실용적인 선택지가 될 수 있습니다.

https://github.com/BerriAI/litellm

ParadeDB는 PostgreSQL 확장(Extension) 형태로 동작하는 현대적 Elasticsearch 대안을 표방하는 오픈소스 프로젝트입니다. “검색과 분석을 Postgres 안으로 가져오자”는 방향이 분명해서, 실시간 업데이트가 잦은 워크로드에서 특히 매력적입니다.

어떤 기능을 노리나?

• Postgres 안에서 텍스트 검색 + 하이브리드 검색 + 패싯/집계(aggregates) 같은 “검색엔진스러운” 기능을 제공하는 것을 목표로 합니다.
• 특히 pg_search 확장을 통해 BM25 기반 검색(및 하이브리드 검색)을 핵심 축으로 내세웁니다.

운영 관점에서 좋은 점(Zero ETL 지향)

외부 검색엔진을 붙이면서 생기는 동기화(ETL)·데이터 불일치 문제를 줄이기 위해,

• 자체 운영 Postgres에는 “확장 설치”로,
• 매니지드 Postgres(RDS 등)에는 “논리 복제(replica)” 형태로 가져가는 시나리오를 안내합니다

https://github.com/paradedb/paradedb

X-AnyLabeling은 이미지/비디오 데이터에 대해 AI 보조 자동 라벨링을 지원하는 강력한 어노테이션(라벨링) 도구입니다. Segment Anything(SAM) 계열 모델을 포함해 다양한 모델을 붙여서 검출·분할·포즈·추적·OCR·VLM 작업까지 폭넓게 다룰 수 있는 “올인원 라벨링 워크벤치”에 가깝습니다.

핵심 특징 한눈에 보기

• Auto-Labeling / Auto-Training 흐름을 지원해 반복 라벨링 시간을 크게 절약
• 다양한 어노테이션 도형(폴리곤/사각형/회전박스/원/포인트 등)과 편의 기능(예: 브러시 폴리곤, 마스크 반투명 표시, 비교 뷰) 제공
• 모델 연동 폭이 넓음: YOLO 계열(검출/분할/포즈/회전검출), SAM 1/2/3(세그멘테이션), 추적(ByteTrack 등), OCR(PaddleOCR 계열), 멀티모달/VLM(예: Qwen 계열, ChatGPT 등)까지 “모델 주(動) + 라벨러(靜)” 조합이 가능
• 이미지뿐 아니라 비디오 기반 검출·분할·트래킹 워크플로도 예시로 제공

함께 보면 좋은 구성: X-AnyLabeling-Server

로컬에서 모델을 돌리는 것뿐 아니라, 원격 추론(서버) 방식으로도 확장할 수 있게 별도 서버 프로젝트(X-AnyLabeling-Server)를 제공합니다. “가볍게 띄우고, 플러그인처럼 모델을 붙이는” 컨셉이라 팀 단위 운영에도 어울립니다.

https://github.com/CVHub520/X-AnyLabeling

https://github.com/CVHub520/X-AnyLabeling-Server