화니의 세상

Chatterbox TTS는 Resemble AI가 개발한 오픈소스 음성 합성(TTS: Text-To-Speech) 모델입니다. MIT 라이선스 하에 공개되어 누구나 자유롭게 사용할 수 있으며, 상용 서비스 못지않은 높은 품질을 제공합니다. 특히 ElevenLabs 등 기존 상용 시스템과의 벤치마크에서도 경쟁력을 입증했습니다.

이 모델의 가장 큰 특징은 감정 과장 제어(emotion exaggeration control) 기능입니다. 이를 통해 목소리의 감정을 더 극적으로 조절할 수 있어, 밈 제작, 게임, 영상, AI 에이전트 등 다양한 콘텐츠 제작에 적합합니다.

주요 특징:

• 최첨단 Zero-shot TTS 지원
• LLaMA 기반 5억 파라미터 모델
• 감정 과장/강도 제어 기능
• 정렬 정보 기반 안정적 추론 (ultra-stable inference)
• 50만 시간의 정제된 음성 데이터로 학습
• 워터마크 삽입 기능으로 책임 있는 AI 구현
• 간편한 음성 변환 스크립트 제공

https://github.com/resemble-ai/chatterbox

genticSeek는 클라우드나 API 없이 사용자의 로컬 환경에서 완전히 작동하는 AI 비서입니다. 이 프로젝트는 웹 검색, 코드 작성, 작업 계획 등을 자율적으로 수행하며, 모든 데이터를 사용자의 기기 내에 저장하여 프라이버시를 보장합니다.

주요 특징:

• 완전한 로컬 실행: AgenticSeek는 인터넷 연결 없이도 작동하며, 사용자의 데이터를 외부 서버로 전송하지 않습니다.
• 자율적인 웹 탐색: 웹을 자동으로 검색하고, 정보를 추출하며, 웹 폼을 작성하는 등의 작업을 수행할 수 있습니다.
• 코드 작성 및 디버깅: Python, C, Go, Java 등 다양한 언어로 코드를 작성하고 디버깅할 수 있습니다.
• 음성 지원: 음성 명령을 인식하고, 음성으로 응답하는 기능을 제공합니다.
• 작업 계획 및 실행: 복잡한 작업을 계획하고, 여러 단계로 나누어 실행할 수 있습니다.

https://github.com/Fosowl/agenticSeek

스탠포드 대학교 MAST 연구팀이 개발한 BLAST(Browser-LLM Auto-Scaling Technology)는 웹 브라우징 기능을 갖춘 대규모 언어 모델(LLM)을 효율적으로 서빙하기 위한 오픈소스 엔진입니다.

BLAST의 주요 특징:

• OpenAI API 호환성: 기존 OpenAI API를 사용하는 애플리케이션을 별도의 수정 없이 BLAST로 전환할 수 있습니다.
• 고성능 처리: 자동 병렬 처리와 프리픽스 캐싱을 통해 빠른 응답 속도를 제공합니다.
• 스트리밍 응답: 웹 브라우징 결과를 실시간으로 스트리밍하여 사용자에게 즉각적인 피드백을 제공합니다.
• 리소스 효율성: 메모리와 LLM 비용을 효율적으로 관리하여 비용을 절감할 수 있습니다.

https://blastproject.org/

https://github.com/stanford-mast/blast

🧠 Void란?

Void는 오픈소스 기반의 코드 에디터로, AI 기능이 통합된 Cursor의 대안입니다. Visual Studio Code(VSCode)를 포크하여 개발되었으며, AI 에이전트와의 통합, 코드 변경 시각화, 다양한 LLM(Local Language Model) 지원 등을 특징으로 합니다.

🔧 주요 기능

• AI 에이전트 통합: GPT-4.1, Claude 3.7, Mistral 등 다양한 오픈소스 모델과 연동하여 코드 작성 및 보조 기능 제공.
• 변경사항 체크포인트: 코드 변경 이력을 시각적으로 확인하고 관리할 수 있는 기능.
• 로컬 및 원격 실행 지원: SSH 및 WSL 환경에서의 원격 실행을 지원하여 다양한 개발 환경에 대응.
• 자동 업데이트: 최신 기능과 보안 패치를 자동으로 적용하여 항상 최신 상태 유지.

https://github.com/voideditor/void

Infinity는 텍스트 임베딩, 리랭킹 모델, CLIP, CLAP, Colpali 등을 고속으로 서빙할 수 있는 REST API 기반의 오픈소스 엔진입니다. Michael Feil이 개발하였으며, MIT 라이선스로 배포되어 자유롭게 사용할 수 있습니다.

주요 특징

• 다양한 모델 지원: HuggingFace의 임베딩, 리랭킹, CLIP, 문장 변환기 모델을 손쉽게 배포할 수 있습니다.
• 고속 추론 백엔드: PyTorch, Optimum(ONNX/TensorRT), CTranslate2 기반으로 NVIDIA CUDA, AMD ROCm, CPU, AWS INF2, Apple MPS 등 다양한 하드웨어를 지원합니다.
• 멀티모달 및 멀티모델 지원: 여러 모델을 동시에 운영하며, 텍스트와 이미지 등 다양한 입력을 처리할 수 있습니다.
• 간편한 사용법: FastAPI 기반으로 구축되어 있으며, CLI를 통해 환경 변수나 인자를 이용한 설정이 가능합니다.
• OpenAI API 호환: OpenAI의 API 사양에 맞춰져 있어 기존 시스템과의 통합이 용이합니다.

활용 예시

Infinity는 검색 엔진, 추천 시스템, 문서 분류 등 다양한 분야에서 활용될 수 있습니다. 특히, 고속의 텍스트 임베딩과 리랭킹 기능은 대규모 데이터 처리에 적합합니다.

시작하기

Infinity에 대한 자세한 정보와 설치 방법은 공식 GitHub 저장소에서 확인할 수 있습니다:

🔗 https://github.com/michaelfeil/infinity

또한, 문서화된 가이드는 다음 링크에서 확인할 수 있습니다:

📄 https://michaelfeil.github.io/infinity/

Infinity를 통해 고성능의 텍스트 임베딩 및 리랭킹 서비스를 손쉽게 구축해보세요!

Transformer Lab은 복잡한 코딩 없이도 누구나 대형 언어 모델(LLM)을 쉽게 활용할 수 있도록 도와주는 오픈소스 플랫폼입니다. 이 플랫폼은 macOS, Windows, Linux 등 다양한 운영체제에서 동작하며, 로컬 환경에서 모델 다운로드, 미세 조정, 평가, 실행까지 모두 가능합니다.

주요 기능으로는 클릭 한 번으로 Llama3, Mistral, Phi3 등 인기 모델 다운로드, Hugging Face와 Apple Silicon 기반의 미세 조정, RLHF 방식 학습(DPO, ORPO, SIMPO 등), RAG 기반 검색 및 임베딩 처리, 시각화 기반 모델 평가 도구 제공 등이 있습니다. 또한 REST API와 플러그인 시스템도 지원하여 다양한 외부 연동이 가능합니다.

Transformer Lab은 Mozilla의 후원을 받아 개발되었으며, 사용자는 공식 사이트에서 운영체제별 설치 파일을 받을 수 있습니다. 설치 가이드와 튜토리얼도 함께 제공되어, 누구나 쉽게 시작할 수 있습니다.

https://transformerlab.ai/

Kodus는 개발 팀이 코드 품질을 향상시키는 데 도움을 주는 오픈 소스 AI 에이전트입니다.  이 도구는 팀의 Git 워크플로우에 통합되어 자동으로 코드 리뷰를 수행하며, 성능, 보안, 가독성 등 다양한 측면에서 피드백을 제공합니다.

주요 기능:

• 맥락 인식 지능: Kodus는 코드베이스와 팀의 코딩 표준을 학습하여 관련성 높은 피드백을 제공합니다.
• 맞춤형 리뷰 정책: 자연어로 리뷰 지침을 설정하여 팀의 엔지니어링 원칙과 실천 방침을 반영할 수 있습니다.
• 네이티브 Git 통합: 기존 Git 워크플로우와 원활하게 통합되어 풀 리퀘스트에서 직접 피드백을 제공합니다.
• 지속적인 학습: 팀의 피드백을 반영하여 시간이 지남에 따라 더욱 정교한 리뷰를 제공합니다.

Kodus는 클라우드 에디션과 자체 호스팅 에디션으로 제공되며, 팀의 필요에 따라 선택하여 사용할 수 있습니다.

https://github.com/kodustech/kodus-ai

최근 옥스퍼드 대학교 비주얼 지오메트리 그룹과 메타 AI 연구팀은 VGGT(Visual Geometry Grounded Transformer)를 발표했습니다. VGGT는 피드포워드 신경망으로, 하나 또는 여러 장의 이미지로부터 카메라 파라미터, 포인트 맵, 깊이 맵, 3D 포인트 트랙 등 주요 3D 속성을 직접 추론합니다.   

이 모델은 기존의 단일 작업에 특화된 모델과 달리, 다양한 3D 작업을 동시에 수행할 수 있습니다. 또한, 이미지 재구성 시간을 1초 이하로 단축하면서도 후처리 없이도 기존 최적화 기반 기법들을 능가하는 성능을 보입니다. 이를 통해 카메라 파라미터 추정, 멀티뷰 깊이 추정, 고밀도 포인트 클라우드 재구성, 3D 포인트 트래킹 등 여러 3D 작업에서 최신 성능을 달성했습니다.  

VGGT의 아키텍처는 입력 이미지를 DINO를 통해 토큰화하고, 카메라 예측을 위한 토큰을 추가합니다. 이후 프레임별 및 글로벌 셀프 어텐션 레이어를 번갈아 적용하며, 최종적으로 카메라 외부 및 내부 파라미터를 예측하는 카메라 헤드와 깊이 맵, 포인트 맵, 트래킹을 위한 특징 맵 등을 출력하는 DPT 헤드를 사용합니다.  

또한, 사전 학습된 VGGT를 특징 추출 백본으로 활용하면 비강체 포인트 트래킹이나 피드포워드 기반 새로운 뷰 합성 등 다양한 다운스트림 작업의 성능을 크게 향상시킬 수 있습니다. 

https://vgg-t.github.io/