computer-use
16件のリポジトリ
LLMがブラウザを操作するAIエージェント基盤 — LLMを使ってWebブラウザを人間のように操作するAIエージェントを構築できるPythonライブラリです。Playwrightをベースに自然言語の指示だけでブラウジング・自動操作タスクを実行できる点が特徴で、ブラウザ自動化とLLMエージェントを組み合わせたいエンジニアに刺さります。
ローカルLLMで自分だけの知能を所有する統合AIアプリ — ドキュメントとチャットしたりAIエージェントを動かしたりできる、自前ホスト可能なオールインワンAIアプリです。RAGやマルチユーザー対応など高度な設定が可能で、クラウドAIに依存せず「自分の知能を所有する」というコンセプトが特徴です。今後はAI Agent用のコンピュータ環境「Open Computer」との統合も進行中です。
The Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra
AIエージェント用のPCを作るオープンソース基盤 — AIエージェントに実際に操作させるためのデスクトップ環境を提供するプロジェクトです。macOSローカルVMやクロスOSの隔離クラウドデスクトップ「Fleets」、専用の意思決定モデル、評価用ベンチマークまで一式揃っており、computer-useエージェントの開発・評価・データ生成を効率化できる点が特徴です。
ピクセルではなくUI構造を読むデスクトップ操作エージェント — agent-desktopはRust製で、OSのアクセシビリティツリーからアプリの実際のUI構造を取得してAIエージェントに操作させるツールです。画面のピクセル解析で位置がズレたり誤操作しがちな従来手法と違い、参照が安定し操作の再試行も安全に行えます。Slack等で巨大なUIスナップショットを圧縮するスケルトン表示にも対応しています。
自前のAIエージェント軍団とチャットできるGrok Bot代替 — OpenMausBotはGrok Bot、Meta Muse、OpenAI dots、Cue by Manusのオープンソース代替です。サイドバーの各ボットはClaudeやCodexで動く実エージェントで、独自の性格・モデル・クラウドマシン・連携アプリを持ち、セルフホストで手持ちのモデルを使えます。
Claude Code専用のオープンソースデスクトップワークスペース — macOS/Windows/Linuxで動く、Claude Codeやマルチエージェント開発向けのローカルファースト・デスクトップアプリです。Git Worktree起動やdiffレビュー、複数モデル対応、Computer Use、スキルマーケットプレイスなどを一つのアプリに統合し、WeChatやTelegramなどIM経由での遠隔操作にも対応しているのが特徴です。
Agent S: the state-of-the-art open source computer use agents
OSSなセルフホスト型AIエージェント基盤 — OpenAI DotsやManus Cueなど有料AIエージェントのOSS代替です。TelegramやWebからClaude Codeのコーディングタスクをサンドボックス実行し、リスクある操作は承認制、GitHub連携や定期実行も可能です。MITライセンスの早期プロトタイプです。
Let an AI model use a real iPhone with a $7 ESP32: AirPlay eyes, USB HID hands, any OpenAI-compatible vision model. No Mac, no developer account, no jailbreak.
macOS向けOSSコンテナ/VMランタイム、AIエージェント実行に最適 — Docker DesktopやOrbStackの代替を目指す、Rustでフルスクラッチ実装されたmacOS用オープンソースランタイムです。100ms未満で起動する隔離マイクロVMでAIエージェントを安全に動かせるほか、Docker互換、ネイティブKubernetes、Linux/macOSの本格VMまで単一デーモン・CLIで扱えます。ローカルとクラウドで同じサンドボックスを使い回せる点が特徴です。
名前と顔を持つOSSパーソナルAIエージェント — nanoMuseは、Android・iOS・Windows/macOS/Linux・ブラウザまで横断して動くオープンソースの個人向けAIエージェントです。スマホの画面やPCを「手」として操作し、アプリを閉じても作業を継続、ユーザーを記憶し、取り返しのつかない操作の前には確認を取る点が特徴です。
BAMA: Build Any Mac App. Agent skills to research, clone, design, build, optimize, and test native macOS apps with Swift and SwiftUI.
RustのWeb経由リモートデスクトップ、noVNCより高速 — voxlはX11・macOS・WindowsのデスクトップをH.264でWebSocket配信し、ブラウザ側はWebCodecsでデコードします。入力・クリップボード・音声・ファイル転送に対応し、ベンチマークではnoVNCの8FPS未満に対し60FPS・12〜99msの低遅延を実現。AIエージェントやサンドボックス環境での利用に適しています。
TypeSafeの判断特化モデルJevの実例を集めたキュレーションリスト — 文章生成ではなく確率ベースのYes/No判断やスコアリングに特化したモデル「Jev」に関する、デモ・SDK・スキル・ブラウザ操作ツールなどをまとめたAwesomeリストです。ブラウザ自動操作やコーディングエージェントへの組み込み例が多く、LLMエージェントに軽量な判断ロジックを足したい開発者に役立ちます。各事例にソースと出典情報が付いている点も特徴です。
Self-hosted, agentic AI you own — voice, vision-driven browser & computer control, visual workflows, human-in-the-loop approvals, multi-user RBAC, and a knowledge graph. Runs on your infrastructure. Your data. Your AI.