화니의 세상

KTransformers는 최신 대형 언어 모델(LLM) 추론 최적화를 쉽게 경험할 수 있도록 설계된 유연한 Python 기반 프레임워크입니다.

단 한 줄의 코드로 최적화된 모듈을 적용할 수 있으며, Transformers 호환 인터페이스, OpenAI 및 Ollama와 호환되는 RESTful API, 간단한 ChatGPT 스타일 웹 UI도 제공합니다.

최근 업데이트에서는 FP8 GPU 커널 지원, 139K 긴 컨텍스트 지원, 24GB VRAM에서 DeepSeek-V3 및 R1 모델 최적화 등이 포함되었습니다.

특히, 멀티 GPU 및 대용량 DRAM 환경에서 최대 28배의 속도 향상을 제공하며, LLM 추론 성능을 극대화할 수 있습니다.

https://github.com/kvcache-ai/ktransformers

RLAMA는 로컬 Ollama 모델을 활용한 강력한 문서 기반 질의응답(Q&A) 도구입니다. PDF, DOCX, 코드 파일 등 다양한 문서 형식을 지원하며, 모든 처리가 로컬에서 이루어져 데이터 유출 걱정 없이 사용할 수 있습니다.

• 주요 기능

• 문서 폴더를 색인화하여 RAG 시스템 생성

• 인터랙티브 질의응답 세션 지원

• 간편한 RAG 시스템 관리 (생성, 목록 조회, 삭제)

• macOS, Linux, Windows 지원

개발자를 위한 CLI 기반 인터페이스를 제공하며, 연구, 학습, 내부 문서 관리 등 다양한 활용이 가능합니다. RLAMA로 개인 또는 기업의 문서 활용을 최적화해 보세요!

https://rlama.dev/

SGLang은 대형 언어 모델(LLM)과 비전 언어 모델(VLM)을 빠르게 서빙할 수 있는 프레임워크입니다. 백엔드 런타임과 프론트엔드 언어를 함께 설계하여 모델과의 상호작용을 더욱 빠르고 효율적으로 만듭니다.

✅ 핵심 기능

• RadixAttention을 활용한 프리픽스 캐싱

• 오버헤드 없는 CPU 스케줄러

• 연속 배칭 및 토큰 주의(Paged Attention)

• DeepSeek V3/R1 모델 지원 (NVIDIA & AMD GPU 최적화)

• JSON 디코딩 속도 3배 향상

SGLang은 LLaMA, DeepSeek 등 다양한 최신 모델을 빠르게 서빙할 수 있도록 지원하며, 지속적인 업데이트를 통해 성능을 개선하고 있습니다.

https://github.com/sgl-project/sglang