llms.txtは本当に機能するのか

創世記

大規模な言語モデルは、アーキテクチャ上の重大な制限に直面しています。コンテキスト ウィンドウが小さすぎるため、Web サイト全体を処理できません。ナビゲーション、広告、JavaScript、CSS を含む複雑な Web サイトを LLM に適したクリーン テキストに変換することは困難であり、不正確です。

ジェレミー・ハワード氏、共同創設者 Fast.ai クイーンズランド大学とスタンフォード大学の講師である彼は、サイト上の HTML のほとんどがメニュー、トラッキング スクリプト、反復セクション、広告で構成されており、これらの要素は実質的な価値に貢献することなく、LLM コンテキスト ウィンドウ内の貴重なトークンを使い果たしていることに気づきました。 robots.txt のシンプルさに触発されて、Howard は、サイト所有者が LLM に構造化された専門知識を単一のアクセス可能な場所で提供できるようにする標準を作成しました。

技術仕様

llms.txt 標準は、人間の可読性とプログラムによる解析機能を組み合わせた正確な Markdown ベースの構造を定義します。ファイルは、次のルート パスに存在する必要があります。  /llms.txt  サイトに含まれており、次のセクションが特定の順序で含まれています。

必要なコンポーネント:

• H1ヘッダー - プロジェクトまたはサイトの名前 (唯一の必須セクション)

オプションですが推奨される項目:

• ブロッククォート - ファイルの残りの部分を理解するために必要な重要な情報を含むプロジェクトの簡潔な概要
• 説明セクション - ヘッダーのないゼロ個以上のマークダウン セクション (段落、リスト)。プロジェクトに関する詳細情報と、提供されたファイルの解釈方法が含まれます。
• ファイルリストを含む H2 セクション - H2 ヘッダーで区切られた 0 個以上のセクション。追加の詳細を含む URL のリストが含まれます。
• オプション」セクション - 特別な意味を持つセクション。より短いコンテキストが必要な場合は、そこに含まれる URL を省略できます。

リンク仕様:

各ファイル リストには、必要なハイパーリンク マークダウン名が含まれている必要があります。(URL) 、その後にオプションで続きます  :  そしてファイルメモ。

拡張子 .md


この提案は、LLM に役立つ情報を含むサイトは、同じ URL でマークダウンのクリーン バージョンを提供する必要があることも示唆しています。  .md  (または  インデックス.html.md  ファイル名のない URL の場合）。

実装例

以下は、カスタマイズと実装の準備ができたプロフェッショナルな llms.txt テンプレートです。

# [Your Company or Project Name]
> A concise description of your business, one or two sentences explaining the specialization, offering, or purpose of the project. This section helps LLMs understand the context of the remaining resources.
Key contextual information:
- First important note about the nature of the business or technology
- Second note specifying scope or limitations
- Third note clarifying the target audience
## Main Resources
- [Home Page](https://example.com): Introduction and latest announcements
- [API Documentation](https://example.com/api): Complete technical documentation with examples
- [Quick Start Guide](https://example.com/quickstart): Step by step onboarding for new users
- [Best Practices](https://example.com/best-practices): Proven patterns and recommendations
## FAQ and Support
- [Frequently Asked Questions](https://example.com/faq): Answers to the most common user questions
- [Troubleshooting](https://example.com/troubleshooting): Diagnostic guide for common issues
- [Contact](https://example.com/contact): Contact form and company details
## Developer Resources
- [API Reference](https://example.com/api-reference): Full endpoint documentation
- [Code Examples](https://example.com/code-examples): Practical implementations and case studies
- [Changelog](https://example.com/changelog): History of changes and updates
## Optional
- [Company History](https://example.com/history): Project evolution and milestones
- [Blog Archive](https://example.com/blog-archive): Older blog posts
- [Privacy Policy](https://example.com/privacy): Detailed information on data protection

包括的なガイドラインは次の場所にあります。 https://llmstxt.org

重要なガイドライン:

• 最適なパフォーマンスを得るには、ファイル サイズを最大 100 KB に制限する必要があります
• エンコード: UTF-8
• 形式: HTML を含まない純粋な Markdown
• すべての URL は絶対である必要があります (絶対、例: https://example.com/url),、相対ではありません)
• リンクはアクティブなリソースにつながる必要があります (404 エラーを回避します)

オプションの llms-full.txt

標準ではオプションのファイルも提供されています  llms-full.txt 、単一のファイルに開発された完全なドキュメントが含まれています。その間  llms.txt  目次として機能し、  llms-full.txt  は、リンクされたすべてのドキュメントの完全なコンテンツを提供し、AI システムが 1 回のリクエストでナレッジ ベース全体にアクセスできるようにします。

llms.txt および llms-full.txt のインスピレーションと地図のリストについては、以下を参照してください。 https://llmstxt.site

検証とテスト

確認してください:

• 場所と到達可能性 (HTTP 200、リダイレクト ループなし)
• HTTP ヘッダー (Content-Type: text/plain または text/markdown、文字セット UTF-8)
• Content-Length と GZIP/Brotli 圧縮
• コンテンツの鮮度と正規 URL
• ライセンスと AI 関係の属性、または AI モデルがコンテンツをどのように使用できるか
• たとえば、ページ上の Markdown 構文、構造 (H1、H2、リンクの正確さ) の正確さ: https://markdownlivepreview.com

手動アクセシビリティテスト:

curl -I https://yourwebsite.com/llms.txt
# Check: HTTP/1.1 200 OK
# Content-Type: text/plain; charset=utf-8
# Content-Length: [size]
curl https://yourwebsite.com/llms.txt
# Verify content and formatting

LLM を使用したテスト

• llms.txt から ChatGPT、クロード、Gemini モデルへの URL を提供します
• サイトの重要な情報について質問する
• AI が指定されたリソースとリンクを正しく使用していることを確認する

GA4 のログ監視とトラフィック分析:

ユーザー エージェントからのトラフィックを監視します。

• GPTBot (OpenAI)
• クロードウェブ (人類)
• Googleその他 (Google AI)
• PerplexityBot (Perplexity)
• その他のAIボット

llms.txt の実装後のこれらのボットへのアクセスの増加は、有効性の指標です。研究 インサイトランド 実証済み GPTBot の訪問数が 600% 増加 llms.txt 実装後。

最も一般的な 10 の間違い

エラー 1: ファイルの場所が正しくありません

問題: ファイルがルート ディレクトリではなくサブディレクトリに配置される
解決策: ファイルは常に次の位置に正確に配置します。  https://yourwebsite.com/llms.txt 、ではありません  /seo/llms.txt  どちらでもない  /ai/llms.txt .

エラー 2: 必要な H1 ヘッダーがありません

問題: レベル 1 ヘッダーなしでファイルを開始する

解決策: 最初の行には次の内容を含める必要があります  # プロジェクト名。

エラー 3: エンコーディングが正しくありません

問題: UTF-8以外のエンコードで保存されたファイル。

解決策: 明示的な UTF-8 エンコードを使用してファイルを保存します。ほとんどのエディタでは、[ファイル] → [エンコーディングで保存] → [UTF-8] を選択します。

エラー 4: サイズ制限を超えました

問題: 100KBを超えるファイル

解決策: コンテンツを最も重要なリソースに限定します。使用する llms-full.txt 完全な文書化のために。

エラー 5: 不正な Markdown リンク構文

問題:  タイトル (https://url)  タイトルの代わりに(https://url)  (括弧の前のスペース)

解決策: 間にスペースが入っていないことを確認してください  ]  a  ( .

エラー 6: 説明付きのブロック引用符がありません

問題: プロジェクトの文脈上の説明を省略します。

解決策: 追加  > 簡単な説明  LLM を理解するために H1 ヘッダーの後に追加します。

エラー 7: リンク切れと 404 エラー

問題: 存在しないリソースへのリンク。

解決策: リンク切れチェッカーなどのツールを使用して、すべての URL を定期的にテストします。

間違い 8: 無関係なコンテンツが多すぎる

問題: 優先順位を付けていないすべてのサブページのリスト。

解決策: 最も重要なリソースを 5 ～ 15 個選択します。質＞量。

エラー 9: 「オプション」セクションを使用していません

問題: すべてのリソースの重要性が同等

解決策: 二次リソースをセクションに配置します  ## オプション 、限られた文脈で見落とされる可能性があります。

エラー 10: デプロイ後の検証も更新もありません

問題: ファイルはテストなしで動作し、コンテンツは更新されないと仮定します。
解決策: 変更のたびに検証とアクセシビリティ テストを実施します。地図に更新情報を追加する -> 最終更新

効果ありますか？

データによると で構築 2025 年 10 月、 844,473 サイト llms.txt 標準を実装しました。 SE ランキングによる 300,000 ドメインの分析では、採用率が次のとおりであることがわかりました。 10.13%導入の大部分は、AI コーディング アシスタントがビジネスにとって不可欠である開発者ツール セクター、技術文書プラットフォーム、テクノロジー企業からのものです。

llms.txt 標準は、Anthropic (Claude ドキュメント)、Cloudflare、Stripe、Perplexity、Cursor、Solana、イレブンラボ、Hugging Face、Raycast、Yoast、DataForSEO、Zapier、Mintlify などの大手テクノロジー企業によって採用されています。

ケーススタディ 1: インサイトランド

結果:

• GPTBot への訪問数の増加 600% (数百件からほぼ 2,000 件の訪問)
• Perplexity-ユーザーが出現しました 3日間で7回
• TikTok、Moz、Amazon、Petalbot、Bytedance、Bing ボットが llms.txt ファイルにアクセスしました
• サイト全体のトラフィックの増加
• 従来の SEO ランキングに悪影響はありません

ケーススタディ 2: ワードリフト

結果:

• オーガニックトラフィックの増加 ~25% llms.txt実装後
• AI によるインデックス作成の改善、ナレッジパネルとスニペットの可視性の向上

ケーススタディ 3: ミントリファイ

結果:

• LLM による文書処理の時間の短縮 40%
• AIの応答精度を向上させることで、 30%
• 数千の技術文書サイトが llms.txt ファイルを自動的に受信

ケーススタディ 4: クラウドセンシャル

結果:

• AI の可視性が大幅に向上
• Cloudsential が ChatGPT SEO 関連のクエリのトップソースとして浮上

GEO の有効性の証拠

生成エンジンの最適化 (GEO) の調査 研究チームが実施した調査では、生成エンジンにコンテンツ最適化戦略を使用すると、ソースの可視性が向上することがわかりました。 最大40% AIによって生成された応答で。

最も効果的な GEO 方法:

• 引用符の追加 - 視認性が 40% 以上向上
• 統計の追加 - 視認性が 30% 以上向上
• コンテンツの流動性の最適化 - 大幅な増加
• 出典の引用 - 大幅な改善
• 専門用語 - 中等度の改善

この調査では、ベンチマークに関する体系的な評価が行われました。 GEO-BENCH 複数のドメインからの 10,000 の多様なクエリで構成されます。

GEO/AEO エコシステムとの統合

llms.txt 標準は、より広範な生成エンジン最適化 (GEO) および応答エンジン最適化 (AEO) 戦略の基本コンポーネントです。完全かつ総合的なアプローチのハイライトは次のとおりです。

1. SEO はもはや「必須」ではなく、GEO/AEO に賭けます

従来の SEO は引き続き重要ですが、それ自体では LLM モデルでの可視性が保証されません。分析の結果、SEO が十分に開発されたブランドであっても、必ずしもモデルの応答に現れるわけではないことが示されています。同時に、実質的に SEO の取り組みを行っていないにもかかわらず、LLM によって引用されているブランドの例もあり、AI における可視性が標準の検索エンジンの権威以外の要因に依存していることを示しています。

2. 構造データ（Schema.org)

スキーママークアップの実装 FAQ, 記事, 製品 他のタイプのコンテンツは引用される可能性を高めます。完全な構造化データを含むページは、AI によって引用される可能性が大幅に高くなります。

3. AI に適したコンテンツ アーキテクチャ

• フロントローディング: コンテンツの冒頭にある重要な情報
• 階層構造: H1 ～ H6 の見出しをクリアします
• 文字と箇条書き: AI による抽出可能性の向上、つまり、データを抽出、呼び出し、または再現する言語モデルの能力
• 短い段落: 1 文あたり 25 単語未満、段落あたり 100 単語未満

https://semly.ai の代わりにアドレスを入力して、AI モデル ボットがサイトをどのように認識しているかを確認してください。 https://r.jina.ai/https://semly.ai

4. 権限と内容

• 外部からの引用: 権威ある第三者についての言及
• ドメイン権限: 業界全体の可視性
• コンテンツの新鮮さ: 過去 12 か月以内に更新されたページは引用される可能性が 2 倍になります

5. ブランド可視性スコアの指標

デザイン: (あなたのブランドについて言及した回答数 ÷ 回答の総数) × 100

サポートする指標:

• 引用率: LLM の回答のうち、あなたのブランドに言及またはリンクしている割合
• 感情スコア: (肯定的な言及 + 0.5 × 中立的な言及) ÷ すべての言及
• 声のシェア: 競合他社と比較した総引用数の割合 (%)

AI可視性監視ツール

AI 可視性監視ツールの市場は急速に成長しており、企業は ChatGPT、Gemini、Perplexity、またはその他のモデルが自社のブランドや製品をどのように表現しているかを理解する方法を模索しています。以下の概要は、Semly、Profound と Searchable を比較しています。競合他社とは異なり、Semly は AI の可視性を測定するだけでなく、この比較における唯一のツールです 正しい製品データを積極的に作成する LLM とデータ アグリゲーターの下にあるため、AI レコメンデーションにブランドが表示される可能性が現実的に高まります。

両方 奥深い、同様に 検索可能 は高度な分析ツールですが、ブランドの知名度と評判を監視することに重点を置いています。 Semly 動作は異なります。可視性の監視と LLM の下にデータを作成する機能が組み合わされているため、どのモデルが表示および使用できるかに影響します。同時に、Semly の参入コストは、外国のエンタープライズ プラットフォームよりも何倍も低くなります。その結果、Semly は、レポートを作成するだけでなく、新しい AI チャネルでの販売の可能性を積極的に高める、電子商取引およびブランド向けに設計された最初の本格的な GEO ツールとして機能します。

スタンダードの未来

llms.txt 標準は実験的ではありますが、より広範な採用に向けて進化しています。 Google はエージェント間 (A2A) プロトコルに llms.txt を含めており、少なくとも実験的な関心を示しています。 Mintlify は 2024 年 11 月に、ホストするすべてのドキュメント サイトで llms.txt の自動生成を有効にし、数千の技術ドキュメントをエコシステムに即座に追加しました。

ジェレミー・ハワード 2025 年 3 月、同氏は、このビジョンは現在の現実を超えて拡張されると述べました。言語モデルが冗長な HTML でトークンを無駄にせず、関連する知識に集中できる AI ファーストの Web 標準です。

概要

llms.txt ファイルは、Web コンテンツを AI システムで利用できるようにする方法の根本的な変更を表しています。この標準は実験的ではありますが、大規模な導入 (844,000 サイト以上) を達成し、AI 応答の可視性が 20% ～ 40% 向上、AI ボットの訪問数が 600% 増加、応答精度が 30% 向上するという目に見える成果を上げています。

主な調査結果:

実装は簡単ですが、精度が必要です。 マークダウン構造、UTF-8 エンコーディング、ルート ディレクトリ内の場所、および正しいセクション階層が効果の鍵となります。

検証は必須です: たとえば、公開前にマップを検証するには、ChatGPT を使用します。

最もよくある 10 の間違いを避ける: 不適切な配置、H1 の欠落、不適切なコーディング、サイズ制限の超過、不正なリンク構文、ブロック引用符の欠落、無効なリンク、過剰なコンテンツ、オプション セクションの無視、およびテストの欠如。

GEO/AEO と統合します。 llms.txt は、SEO、構造化データ、AI に適したコンテンツ アーキテクチャ、ブランド オーソリティの構築を含む、より広範な戦略の一部です。

有効性を監視します: Semly.ai などのツールを使用して、ブランドの可視性スコア、引用率、シェア オブ ボイスを追跡します。

定期的に更新します: コンテンツの鮮度は非常に重要です。過去 12 か月以内に更新されたページは、引用される可能性が 2 倍高くなります。

AI が主要な情報検出インターフェースに進化している時代では、言語モデルがブランドをどのように解釈し、提示するかを制御することが戦略的必須事項となります。 llms.txt 標準は、経験的な証拠と採用の増加によって裏付けられており、AI ファーストの Web に向けた基本的な一歩を表しています。

FAQ - よくある質問

llms.txt は正式な規格ですか?
いいえ、llms.txt は Jeremy Howard によって作成された標準案です。主要な LLM プロバイダーは、これらのファイルを読み取ることを正式に確認していませんが、経験的証拠 (AI ボットの訪問数の増加、ケーススタディ) は、この標準が実際に使用されていることを示唆しています。

llms.txt の実装は AI による引用を保証しますか?
いいえ、llms.txt は引用を保証するものではありません。ただし、AI が主要なコンテンツにアクセスしやすくなるため、引用の可能性と関連性が高まります。研究によると、実装後は可視性が 20 ～ 40% 向上します。

llms.txt は robots.txt または sitemap.xml を置き換えますか?
いいえ。これらのファイルにはそれぞれ異なる目的があります。

• robots.txt - インデックス作成ボットのアクセス制御
• サイトマップ.xml - 検索エンジンのインデックス可能なすべてのページのリスト
• llms.txt - AI の主要なリソースの厳選されたマップ

llms.txt はどのくらいの頻度で更新する必要がありますか?
少なくとも四半期ごと、またはサイト構造の大幅な変更、主要コンテンツの追加、ブランド変更後に。 12 か月以上更新されていないコンテンツは、AI によって引用される可能性が 2 倍低くなります。

サイトの異なるセクションに複数の llms.txt ファイルを使用できますか?
はい、仕様では、次のようなサブパス内のファイルが許可されています。  https://docs.example.com/llms.txt  ドキュメントセクション用。メイン ファイルは常にドメインのルート ディレクトリに保存してください。

llms.txt ファイルの最適なサイズはどれくらいですか?
推奨される制限は最大 100 KB です。大きなファイルは LLM コンテキスト ウィンドウをオーバーロードする可能性があります。広範なドキュメントについては、補足として llms-full.txt を使用してください。

llms.txt は従来の SEO に影響しますか?
研究によると、SEO ランキングに悪影響はないことが示されています。このファイルは従来の検索エンジンに対して中立であり、サイトへのトラフィックを生成する AI でブランドの可視性を向上させることで、間接的に SEO をサポートできます。

llms.txt の有効性を測定するにはどうすればよいですか?
モニター:

• GA4 のログとボット トラフィック (AI ボットの訪問の増加)
• Semly.ai のようなツールは、AI におけるブランドの可視性を示します
• ブランド可視性スコアとシェア・オブ・ボイス
• Google Analytics の AI 検索エンジンからのトラフィック

中小企業は llms.txt を実装する必要がありますか?
AI エコシステムの可視性を重視する場合は、はい。導入は簡単 (1 ～ 4 時間) で、低コストで、最小限のリスクで大きな利益を得ることができます。

すべてのサイトの .md バージョンを作成するためのリソースがない場合はどうすればよいですか?
最も重要な 5 ～ 10 のリソースに焦点を当てます。品質と優先順位付けは完全性よりも重要です。 HTML に直接リンクすることもできますが、Markdown が推奨されます。

用語集

LLM (大規模言語モデル) - 膨大なトレーニング データセットからテキストを理解して生成できる大規模な AI 言語モデル

マークダウン - シンプルさと読みやすさを特徴とする、テキストをフォーマットするための軽量マークアップ言語

コンテキストウィンドウ - LLM が 1 つのクエリで処理できるトークン (テキスト単位) の制限

GEO (生成エンジンの最適化) - AI が生成した応答に表示される可能性を高めるためにコンテンツを最適化するプロセス

AEO (応答エンジンの最適化) - gEO 同義語; AI応答エンジンの最適化

解析中 - コンピュータプログラムによってデータの構造を分析するプロセス

ユーザーエージェント - HTTPヘッダー内のボットまたはブラウザID

Schema.org - Web サイトの共通構造データ辞書

ブランド可視性スコア - AI 応答におけるブランド言及の頻度を測定する指標

情報源

llmstxt.org - 規格の正式仕様

答え.AI (Jeremy Howard) - 規格の提案と正当性

llmstxt.site - すでに llms.txt または完全な llms.txt マップを実装している Web サイトのインデックス

r.jina.ai/https://semly.ai - AI ボットがあなたのサイトをどのように認識しているかを確認します

研究: GEO - 学術研究 (可視性 40% 向上)

Aggarwal P. 他、「GEO: 生成エンジンの最適化」、KDD '24、2024 - AI 生成システムの下でコンテンツの可視性を最適化するための新しい研究とフレームワーク。

共有:

リンクをコピー