nlp

huggingface/transformers

最先端モデルを統一的に扱うTransformers — テキスト・画像・音声・マルチモーダルの最先端モデルを共通APIで推論・学習できるフレームワークです。Qwen・Gemma・DeepSeekなど主要LLM/VLMにも対応し、Hugging Face Hubの事前学習モデルを即活用できる点が強みです。研究者・実務者双方にとって事実上の標準ツールとなっています。

🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.

rohitg00/ai-engineering-from-scratch

523レッスンで学ぶAIエンジニアリング完全ガイド — 深層学習・LLM・エージェント・強化学習・コンピュータビジョンまでを20フェーズ523レッスンで体系的に学べる実践型カリキュラムです。学んで、作って、他人のために出荷するという理念のもと、Pythonを中心にRustやTypeScriptも扱い、多言語READMEも用意されています。AI Agent Memoryの作者による信頼性の高い教材です。

Learn AI Engineering! Learn it. Build it. Ship it for others.

google/langextract

Google製、LLMで文章から構造化データを抜き出すライブラリ — LangExtractはGeminiなどのLLMを使い、臨床記録やレポートなどの非構造テキストから構造化情報を抽出するPythonライブラリです。抽出結果を元テキストの正確な文字位置に紐づける「ソースグラウンディング」と、結果をインタラクティブに可視化できる点が特徴で、医療文書解析や大規模テキストの情報抽出を行う開発者に有用です。

A Python library for extracting structured information from unstructured text using LLMs with precise source grounding and interactive visualization.

NandhaKishorM/laya

単一フォワードパスで33msの型付き判定エンジン — Layaは選択・スコア・Yes/No判定をテキストに対し単一フォワードパスで33msで実行する非自己回帰型エンジンです。100以上の言語に対応し、厳密に適切なスコアリングルールに基づく強化学習で訓練され、リクエストごとに最適なチェックポイントを選ぶルーターも備えます。LangChainやCrewAI等と統合でき、エージェントの高速な意思決定に向きます。

Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per request.

huggingface/tokenizers

Rust製の超高速トークナイザー — Hugging FaceによるRust実装のトークナイザーで、BERTやGPT、Llamaなど主要モデルの事前学習済みトークナイザーをそのまま読み込んで高速に処理できます。Python等の言語バインディングも提供し、研究から本番運用まで業界標準を目指す設計が特徴です。

💥 Fast State-of-the-Art Tokenizers optimized for Research and Production

epoko77-ai/im-not-ai

AI가 쓴 한글을 사람 글처럼 윤문하는 Claude 스킬 — Korean AI-text humanizer: detects and rewrites translationese, mechanical parallelism, and 71 other AI tells

nanaism/yomiyasu

AI生成日本語の“不自然さ”を取り除くエージェントスキル — AIが書いた日本語特有のクセ（擬人化、比喩の濫用、主述の曖昧さなど）を分析し、情報密度を保ったまま自然な日本語へ推敲するClaude Code/Codex/Cursor向けAgent Skillです。禁止語置換に留まらず文構造レベルで改善する点が特徴で、技術記事やPR説明文を書くエンジニアに有用です。

AI生成の日本語を自然な日本語へ推敲するAgent Skill / Agent Skill for Refining AI-Generated Japanese into Natural Japanese

coji/natural-japanese

AI臭い日本語を書く前に防ぐClaude Agent Skill — AIが書く文章特有の「AI臭さ」を、事後修正ではなく執筆前の骨組み設計と12箇条の文体憲法で防ぐAgent Skillです。sudachipyによる形態素解析で紋切り型フレーズや単調な文リズムを機械的に検出し、最終判断は人間やエージェントに委ねる設計が特徴です。議事録やレポート、企画書などの仕事文書に向いています。

仕事の日本語を、読みやすくわかりやすく書く・直すための Agent Skill です。

pulse-energy-eu/slopshape

AI生成B2Bブログ記事を見抜く検証用リリース — 論文「SlopShapeもAI生成商用Web文章を構造的特徴だけで検出する研究の再現パッケージです。2,250件の実記事と5モデルによる11,250件のAI生成記事を比較し、構造特徴のみでmacro-F1 97.0を達成。フィクション検出研究StoryScopeの知見がB2Bブログでも成立することを検証コード・プロンプト付きで追体験できます。

Release package for SlopShape: Identifying AI-Generated Commercial Web Content (verification artifacts, instrument, prompts, code)

0227lia/data-science-portfolio

根拠を明示するデータサイエンス学生のポートフォリオ — Astro/TypeScript製の静的サイトで、データエンジニアリング・地理空間分析・予測・オペレーションズリサーチ・NLP・MLの6つの再現可能な公開データ事例を紹介します。実測値とモデル予測を明確に区別し、掲載指標は各リポジトリの実行結果に基づいています。

Six reproducible public-data case studies in data engineering, geospatial analytics, forecasting, operations research, NLP and ML.