화니의 세상

SGLang은 대형 언어 모델(LLM)과 비전 언어 모델(VLM)을 빠르게 서빙할 수 있는 프레임워크입니다. 백엔드 런타임과 프론트엔드 언어를 함께 설계하여 모델과의 상호작용을 더욱 빠르고 효율적으로 만듭니다.

✅ 핵심 기능

• RadixAttention을 활용한 프리픽스 캐싱

• 오버헤드 없는 CPU 스케줄러

• 연속 배칭 및 토큰 주의(Paged Attention)

• DeepSeek V3/R1 모델 지원 (NVIDIA & AMD GPU 최적화)

• JSON 디코딩 속도 3배 향상

SGLang은 LLaMA, DeepSeek 등 다양한 최신 모델을 빠르게 서빙할 수 있도록 지원하며, 지속적인 업데이트를 통해 성능을 개선하고 있습니다.

https://github.com/sgl-project/sglang

Merlion은 Salesforce에서 개발한 시계열 분석을 위한 오픈소스 라이브러리입니다.

예측(Forecasting), 이상 탐지(Anomaly Detection), 데이터 전처리 등 다양한 기능을 제공하며, 통합된 평가 프레임워크를 통해 모델 성능을 쉽게 비교할 수 있습니다.

이 라이브러리는 딥러닝 및 전통적인 기법을 모두 지원하며, PyTorch 및 TensorFlow와 호환됩니다.

데이터 과학자와 엔지니어가 실무에서 활용하기 쉽게 설계되어 있어 금융, IoT, IT 모니터링 등 다양한 분야에서 사용할 수 있습니다.

https://github.com/salesforce/Merlion

Libredesk는 자체 호스팅이 가능한 오픈 소스 고객 지원 데스크 솔루션입니다.

단일 바이너리 앱으로 제공되며, 팀별 다중 인박스 지원, 세밀한 권한 관리, 자동화 기능, 고객 만족도 조사(CSAT), 매크로, SLA 관리, AI 기반 응답 수정 등의 기능을 제공합니다.

Docker를 이용한 간편한 설치가 가능하며, BI 도구와 연동하여 데이터 분석도 가능합니다.

https://libredesk.io/

https://github.com/abhinavxd/libredesk/