화니의 세상

gemma-tuner-multimodal은 Apple Silicon 환경에서 Gemma 모델을 텍스트, 이미지, 오디오 데이터로 파인튜닝할 수 있도록 만든 오픈소스 프로젝트입니다. CUDA나 NVIDIA GPU 없이도 동작하며, LoRA 기반 학습을 지원하는 것이 특징입니다.

이 저장소는 텍스트 전용 학습뿐 아니라 이미지+텍스트, 오디오+텍스트 같은 멀티모달 학습까지 지원합니다. 또한 GCS나 BigQuery에서 데이터를 스트리밍해 대용량 데이터셋도 로컬 저장공간 부담 없이 활용할 수 있도록 설계되었습니다.

실시간 학습 시각화 기능도 제공해 loss curve, attention heatmap, 메모리 사용량 등을 브라우저에서 바로 확인할 수 있어 실험 과정을 직관적으로 살펴볼 수 있습니다. Gemma 4와 Gemma 3n 계열 모델을 대상으로, 맥 기반 로컬 AI 개발 환경을 구축하려는 분들에게 특히 눈에 띄는 프로젝트입니다.

https://github.com/mattmireles/gemma-tuner-multimodal

Go-Haystack는 애플의 “Find My” 네트워크를 OpenHaystack과 Macless-Haystack을 활용해 블루투스 장치를 추적할 수 있는 툴입니다.

이 프로젝트는 Go/TinyGo로 작성되었으며, 애플 하드웨어가 필요하지 않습니다.

TinyGo 기반 펌웨어와 다양한 하드웨어를 지원하며, Raspberry Pi와 같은 Linux 장치에서도 실행 가능합니다.

또한 TinyScan 기능으로 주변 장치를 스캔할 수 있습니다.

https://github.com/hybridgroup/go-haystack

FindMy.py는 애플의 FindMy 네트워크와 통합하기 위한 강력한 파이썬 라이브러리입니다.

이 프로젝트는 분산된 기존 코드들을 통합하고, 공통 빌딩 블록을 제공하여 AirTag 및 기타 FindMy 기기의 위치 데이터를 가져오고 해독할 수 있습니다.

주요 기능:

• 크로스 플랫폼 지원(맥 필요 없음)

• 공식 및 커스텀 AirTag의 위치 정보 디코딩

• 애플 계정 로그인 및 2단계 인증 지원

• 근처 FindMy 기기 스캔 및 정보 해독

현재 알파 단계로 API 변경 가능성이 있으며, PyPI를 통해 설치할 수 있습니다

pip install findmy

https://github.com/malmeloo/FindMy.py

컴퓨터 비전 분야가 발전함에 따라 깊이 추정은 증강 현실(AR), 로보틱스, 자율 주행과 같은 다양한 AI 응용 프로그램의 기능을 향상시키는 데 핵심적인 역할을 하고 있습니다. Apple은 최근 ML-Depth Pro라는 고정밀 깊이 추정 솔루션을 오픈소스로 공개했는데요, 이를 통해 연구자와 개발자들에게 새로운 가능성을 제시하고 있습니다.

ML-Depth Pro란?

ML-Depth Pro는 Apple에서 개발한 단일 이미지 또는 비디오에서 깊이를 추정하는 머신러닝 기반 프레임워크입니다. 딥러닝 모델을 활용하여 놀라울 정도로 정확한 깊이 예측을 수행하며, 저장소에는 소스 코드뿐만 아니라 사전 학습된 모델, 데이터셋, 모델을 미세 조정하거나 구현할 수 있는 도구까지 포함되어 있습니다.

ML-Depth Pro의 주요 특징

• 높은 정확도: 최첨단 딥러닝 모델을 사용하여 고정밀의 깊이 맵을 생성하며, 이는 AR 및 컴퓨터 비전 응용 프로그램의 성능을 크게 향상시킵니다.

• 엔드 투 엔드 파이프라인: 이 저장소는 데이터 전처리, 모델 학습, 평가 및 추론까지 완전한 워크플로를 제공하여 개발자가 특정 용도에 모델을 쉽게 적용할 수 있도록 합니다.

• 오픈 소스 및 커스터마이징 가능: 오픈 소스로 제공되어 개발자들이 자신만의 요구사항에 맞게 모델을 실험, 수정 및 개선할 수 있습니다. 다양한 유틸리티와 문서가 포함되어 있어 시작하기 쉽습니다.

ML-Depth Pro의 중요성

정확한 깊이 추정은 다양한 분야에서 매우 중요합니다. 현실적인 AR 경험을 개선하거나 자율 주행의 안전성을 높이는 것 등 깊이 맵은 핵심 역할을 합니다. ML-Depth Pro는 탁월한 성능, 적응성, 그리고 AI 연구의 경계를 확장하려는 Apple의 노력이 돋보이는 프로젝트입니다.

ML-Depth Pro 시작하기

GitHub 저장소에는 ML-Depth Pro를 설정하고 사용하는 데 필요한 모든 지침이 포함되어 있습니다. 환경 설정부터 직접 모델을 학습하는 방법까지 자세하게 다루고 있어 고품질의 깊이 추정에 관심 있는 분들이라면 꼭 한 번 살펴보시길 추천드립니다.

저장소 링크: Apple ML-Depth Pro on GitHub