mlops
10件のリポジトリ
PythonでDAGを書いて動かすワークフロー基盤 Airflow — Apache Airflowは、ワークフローをPythonコードとして記述・スケジューリング・監視できるプラットフォームです。ETLやMLOps、データ統合など幅広い用途で使われ、多数のプロバイダーと連携できる成熟したOSSプロジェクトです。
Rust製の高速ベクトル検索エンジンQdrant — Rustでフルスクラッチ実装された高性能ベクトルデータベースで、HNSWによる近似最近傍探索と高度なフィルタリングを両立します。埋め込みベースの類似検索やレコメンド、RAGなどAI応用に強く、セルフホストとクラウド版の両方で利用できる点が実用性の高さを支えています。
MLflowがML管理からエージェント/LLM向け基盤へ進化 — MLflowは実験管理ツールにとどまらず、エージェントやLLM、MLモデルを横断するAIエンジニアリング基盤へと拡張。トレーシングや評価、プロンプト管理・最適化、コストとアクセスを制御するAI Gatewayを備え、本番運用を担うチームに向けた機能を提供します。
実運用の再現なしでAIエージェントを強化学習する軽量フレームワーク — Microsoft製のAgentic RLフレームワークで、わずか3,500行というシンプルさが特徴です。既存のエージェント実装(ツールや制御フロー含む)を一切変更せずプロキシ経由で強化学習でき、Kubernetes上でジョブとして直接実行可能です。実際にSWE-bench Verifiedで41.8%→56.4%への改善例も公開されており、コーディングエージェントの訓練に興味がある研究者・エンジニアに刺さる内容です。
Kubernetesネイティブなワークフローエンジン、PythonユーザーにはHera SDKも — Argo WorkflowsはKubernetes上で各ステップをコンテナ化し、DAGとして複数ステップのジョブを実行するCNCF卒業プロジェクトです。機械学習パイプラインやデータ処理、CI/CD、インフラ自動化に広く使われており、Hera Python SDKによりPythonユーザーにも扱いやすくなっています。
マルチモーダルAI向けレイクハウス形式Lance — Lanceはベクトル検索・BM25全文検索・SQL分析を同一データセット上で扱えるオープンなレイクハウス形式です。Parquetから2行のコードで変換でき、高速ランダムアクセスとデータバージョニングを備え、Pandas・DuckDB・Polars・PyArrow・Ray・Sparkと連携できます。
生成AIと予測AIを統合するKubernetes推論基盤 — KServeはKubernetes上でLLM推論と従来の機械学習モデル推論を単一プラットフォームで扱えるCNCFプロジェクトです。vLLMによる高速化やOpenAI互換API、KVキャッシュオフロードなど生成AI向け機能に加え、TensorFlow/PyTorch/XGBoostなど多様なフレームワークのモデルサービングやCanaryデプロイ、説明可能性もサポートし、MLOps基盤を統一します。
数千億パラメータ級LLMを泣かずに学習するGPUオーケストレーション — Higgsfieldは巨大言語モデルの分散学習に特化したOSSフレームワークです。ZeRO-3やPyTorchのFSDPに対応し、GPUリソース管理・実験キュー・GitHub連携まで備えることで、Llama等のマルチノード学習を数行のコードで実現できます。MLOps基盤としての運用性も強みです。
vLLMをHuawei Ascend NPUで動かすプラグイン — vLLMのプラグイン機構を使い、GPUではなくHuawei AscendのNPU上でLLM推論を実行できるコミュニティ製プラグインです。Ascend環境でvLLMのサービング機能を使いたいチーム向けで、v0.30.0など頻繁なリリースで新しいvLLMへの対応が継続されています。
SemiAnalysis発、オープン推論ベンチマーク基盤 — vLLM・SGLang・TensorRT-LLM等、NVIDIA/AMD双方のGPU上でLLM推論性能を統一的に計測するOSSプラットフォームです。エンドツーエンド推論、通信、カーネルレベルまで階層的にベンチマークでき、OpenAIやMetaなど大手も活用。実運用に即した100万トークン超のマルチターンAgentXベンチマークも特徴です。