テクニカルSEO

Disallow

別名: robotsdisallow

従うクローラーによる指定パス取得を制限するrobots.txt規則。

具体的な例

Disallowで絞り込み結果のディレクトリを指定。

知っておくべきことは?

人の訪問の防止やアクセス制御はできません。

テクニカルSEO 実践例

クロール・応答・処理を分けて確認後に登録と表示を評価。つながった各段階に別の診断が必要。

関連するSemlyの機能

Semlyでこの用語を使う場面を確認。

Google Search Console検索データをSemlyにつなぎ検索語句とページ成果から次の施策を計画。AI Agent LeonLeonと改善提案・行動計画・ブランド記事を作成。

関連用語

robots.txt対応クローラーに取得可能なパスを伝えるファイル。noindex対応システムに検索結果への登録をしないよう伝える指示。認可認証済みユーザーやアプリが使える情報・操作を決めること。

ドキュメントと参考資料

定義はSemlyが作成。仕様や動作は各開発元の説明をご覧ください：

Google - robots.txt

AIで確認あなたを認識

サイトを入力してAI可視性レポートを取得。