화니의 세상

Infinity는 텍스트 임베딩, 리랭킹 모델, CLIP, CLAP, Colpali 등을 고속으로 서빙할 수 있는 REST API 기반의 오픈소스 엔진입니다. Michael Feil이 개발하였으며, MIT 라이선스로 배포되어 자유롭게 사용할 수 있습니다.

주요 특징

• 다양한 모델 지원: HuggingFace의 임베딩, 리랭킹, CLIP, 문장 변환기 모델을 손쉽게 배포할 수 있습니다.
• 고속 추론 백엔드: PyTorch, Optimum(ONNX/TensorRT), CTranslate2 기반으로 NVIDIA CUDA, AMD ROCm, CPU, AWS INF2, Apple MPS 등 다양한 하드웨어를 지원합니다.
• 멀티모달 및 멀티모델 지원: 여러 모델을 동시에 운영하며, 텍스트와 이미지 등 다양한 입력을 처리할 수 있습니다.
• 간편한 사용법: FastAPI 기반으로 구축되어 있으며, CLI를 통해 환경 변수나 인자를 이용한 설정이 가능합니다.
• OpenAI API 호환: OpenAI의 API 사양에 맞춰져 있어 기존 시스템과의 통합이 용이합니다.

활용 예시

Infinity는 검색 엔진, 추천 시스템, 문서 분류 등 다양한 분야에서 활용될 수 있습니다. 특히, 고속의 텍스트 임베딩과 리랭킹 기능은 대규모 데이터 처리에 적합합니다.

시작하기

Infinity에 대한 자세한 정보와 설치 방법은 공식 GitHub 저장소에서 확인할 수 있습니다:

🔗 https://github.com/michaelfeil/infinity

또한, 문서화된 가이드는 다음 링크에서 확인할 수 있습니다:

📄 https://michaelfeil.github.io/infinity/

Infinity를 통해 고성능의 텍스트 임베딩 및 리랭킹 서비스를 손쉽게 구축해보세요!

Transformer Lab은 복잡한 코딩 없이도 누구나 대형 언어 모델(LLM)을 쉽게 활용할 수 있도록 도와주는 오픈소스 플랫폼입니다. 이 플랫폼은 macOS, Windows, Linux 등 다양한 운영체제에서 동작하며, 로컬 환경에서 모델 다운로드, 미세 조정, 평가, 실행까지 모두 가능합니다.

주요 기능으로는 클릭 한 번으로 Llama3, Mistral, Phi3 등 인기 모델 다운로드, Hugging Face와 Apple Silicon 기반의 미세 조정, RLHF 방식 학습(DPO, ORPO, SIMPO 등), RAG 기반 검색 및 임베딩 처리, 시각화 기반 모델 평가 도구 제공 등이 있습니다. 또한 REST API와 플러그인 시스템도 지원하여 다양한 외부 연동이 가능합니다.

Transformer Lab은 Mozilla의 후원을 받아 개발되었으며, 사용자는 공식 사이트에서 운영체제별 설치 파일을 받을 수 있습니다. 설치 가이드와 튜토리얼도 함께 제공되어, 누구나 쉽게 시작할 수 있습니다.

https://transformerlab.ai/

Uptime Kuma는 사용자가 직접 호스팅하여 웹사이트와 서버의 가용성을 모니터링할 수 있는 오픈 소스 도구입니다.

주요 기능:

• 다양한 프로토콜 지원: HTTP(s), TCP, Ping, DNS 레코드 등 다양한 방식으로 모니터링이 가능합니다.
• 알림 기능: Telegram, Discord, Slack 등 90여 가지의 알림 서비스를 통해 상태 변화를 즉시 통보받을 수 있습니다.
• 사용자 친화적인 인터페이스: 반응형 디자인으로 직관적이고 빠른 UI/UX를 제공합니다.
• 상태 페이지 생성: 여러 개의 상태 페이지를 생성하여 서비스 상태를 공유할 수 있습니다.
• 다국어 지원: 다양한 언어를 지원하여 전 세계 사용자가 편리하게 이용할 수 있습니다.

https://github.com/louislam/uptime-kuma