multimodal

Mintplex-Labs/anything-llm

ローカルLLMで自分だけの知能を所有する統合AIアプリ — ドキュメントとチャットしたりAIエージェントを動かしたりできる、自前ホスト可能なオールインワンAIアプリです。RAGやマルチユーザー対応など高度な設定が可能で、クラウドAIに依存せず「自分の知能を所有する」というコンセプトが特徴です。今後はAI Agent用のコンピュータ環境「Open Computer」との統合も進行中です。

bojieli/ai-agent-book

AI Agent実践本『深入理解AI Agent』全文＋実験コード無料公開 — 『Agent = LLM + 文脈 + ツール』を軸に、原理から実装まで10章で解説する書籍のオープンソース版です。全文・図解・109個の実験コードを無料公開し、実際に手を動かして学べます。RAGやマルチエージェント、強化学習、MCPなど最新トピックを網羅し、多言語版PDF/EPUBも配布されています。

bytedance/UI-TARS-desktop

The Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra

screenpipe/screenpipe

仕事画面を記録し自動化すべき業務を可視化するScreenpipe — Screenpipeは会社のPC作業を継続的に録画・録音し、ワークフローを可視化して自動化すべき業務を見つけ、AIエージェントへコンテキストを提供します。YC S26採択で、ローカルファーストかつプライバシー重視の設計です。業務改善を推進するチームに向いています。

rerun-io/rerun

物理AI向け、マルチモーダルデータの列指向データ層 — Rerunは画像・点群・座標変換・時系列・動画などマルチレートなロボティクスデータを、ログやシミュレーション、MCAP/LeRobot形式から取り込み、専用ビューアで同期再生、データフレームやSQLでクエリ、そのまま学習へストリーミングできます。Rust製でPython・Rust・C++のSDKを備え、物理AI開発者向けです。

apache/seatunnel

160超のコネクタを持つ統合データ統合基盤 — Apache SeaTunnelは構造化/非構造化データに加え動画・画像・埋め込みまで扱えるマルチモーダルなデータ統合ツールです。160以上のコネクタとバッチ/ストリーム統合、CDC対応、Zeta/Flink/Sparkのマルチエンジン実行により、大規模データ同期を高スループット・低レイテンシで実現します。

ARahim3/DigUp

Search your computer by what's in your files: photos, PDFs, documents, recordings, videos and code. On-device on Mac, Windows and Linux, built on Google DeepMind's EmbeddingGemma 2.

sgl-project/sglang-omni

音声・マルチモーダルAIを高速配信するSGLang派生フレームワーク — SGLang-OmniはTTSやASR、統合マルチモーダルモデルに特化した高性能サービングフレームワークです。SGLangの技術基盤を活かし、ストリーミングや分散推論、OpenAI互換APIに対応することで、音声・マルチモーダルAIの実運用を容易にします。

uclanlp/OpenVLHarness

Official Code for OpenVLHarness: Real-World Visual Agentic Tool‑Use with Multimodal Memory

OmniJev/Flide

厳密な状態分岐でvLLM比9.5倍速い意思決定モデル推論基盤 — FlideはJevスタイルの意思決定モデル向け推論基盤です。厳密な状態分岐（exact state forking）により、/v1/systemone APIをvLLMやSGLangより最大9.5倍高速に提供しつつ、各回答が質問単独で得られる結果と一致することを保証します。LLMによる判断・審査処理で速度と決定性の両方が必要なチームに向いています。