Pyper는 Python 기반의 동시 및 병렬 데이터 처리 프레임워크로, ETL 시스템, 데이터 마이크로서비스, 데이터 수집 등의 작업에 적합합니다.

 

이 라이브러리는 함수형 프로그래밍 패턴을 활용하여 데이터 파이프라인을 효율적으로 작성할 수 있도록 설계되었습니다.

주요 특징

  • 직관적인 API: 스레드, 멀티프로세싱, 비동기 작업을 통합적으로 처리 가능.
  • 안정성: 리소스 정리와 오류 처리를 자동화.
  • 효율성: 지연 실행(lazy execution)과 워커 큐를 통해 성능 최적화.
  • 경량성: 의존성이 없는 순수 Python으로 제작.

설치 및 사용법

Pyper는 pip install python-pyper 명령어로 설치할 수 있습니다. 주요 기능은 task 데코레이터를 활용해 함수 기반 파이프라인을 구성하는 것입니다.

작업을 정의하고 이를 파이프(|) 연산자로 연결하여 병렬 작업 흐름을 구현할 수 있습니다.

 

https://github.com/pyper-dev/pyper

반응형

마리모는 반응형 파이썬 노트북으로, 재현 가능한 실험을 실행하고, 스크립트로 실행하거나 앱으로 배포할 수 있습니다.

셀 실행 시 의존 셀을 자동으로 업데이트하며, 순수 파이썬 형식으로 저장되어 깃(Git) 버전 관리에 용이합니다.

데이터 분석과 웹 애플리케이션 개발에 적합하며, 사용자는 슬라이더, 테이블 등 인터랙티브 UI 요소를 쉽게 연결할 수 있습니다.

 

https://github.com/marimo-team/marimo

 

GitHub - marimo-team/marimo: A reactive notebook for Python — run reproducible experiments, execute as a script, deploy as an

A reactive notebook for Python — run reproducible experiments, execute as a script, deploy as an app, and version with git. - GitHub - marimo-team/marimo: A reactive notebook for Python — run repr...

github.com

https://docs.marimo.io/

 

marimo

The next generation of Python notebooks

docs.marimo.io

 

반응형

+ Recent posts