Robots.txt生成
検索エンジンクローラー用のrobots.txtファイルを簡単に生成
基本設定
検索エンジン別設定
AIクローラー設定
有効にすると、次のAIクローラーがブロックされます：
サイトマップ設定
クロール遅延
生成されたrobots.txt
# robots.txt generated by ブログツール # https://example.com/robots.txt User-agent: * Allow: /
robots.txt使用ガイド
- ファイル位置： robots.txtファイルは必ずウェブサイトのルートディレクトリに配置してください。（例：https://example.com/robots.txt）
- 大文字小文字： ファイル名は必ず小文字で作成してください。
- 適用時間： 検索エンジンが変更を反映するまで数日かかる場合があります。
- 注意事項： robots.txtは推奨事項であり、悪意のあるクローラーはこれを無視する可能性があります。
- 機密情報： 機密データはrobots.txtではなく認証で保護してください。
完了しました！
Robots.txt完全ガイド
robots.txtは検索エンジンクローラーにウェブサイトのどの部分をクロールできるか知らせるテキストファイルです。適切なrobots.txt設定はSEOの基本です。
robots.txtが重要な理由
クローリング制御
検索エンジンがアクセスできるページを制御します。
サーバー負荷軽減
不要なクローリングを防いでサーバーリソースを節約します。
機密情報保護
管理者ページなど公開したくないパスをブロックします。
AIクローラー管理
GPTBot、ChatGPTなどAIクローラーのアクセスを制御します。
重要なお知らせ
robots.txtは推奨事項です。善意のクローラーはこれに従いますが、悪意のあるクローラーは無視する可能性があります。機密情報は別途認証で保護してください。
主要ディレクティブ
| ディレクティブ | 説明 | 例 |
|---|---|---|
| User-agent | ルールを適用するクローラーを指定 | User-agent: Googlebot |
| Disallow | クローリングをブロックするパス | Disallow: /admin/ |
| Allow | クローリングを許可するパス | Allow: /public/ |
| Sitemap | サイトマップの位置を通知 | Sitemap: https://example.com/sitemap.xml |
robots.txt作成のヒント
- ファイルは必ずルートディレクトリに配置してください（example.com/robots.txt）
- ファイル名は必ず小文字で作成してください
- サイトマップURLを一緒に明記すると検索エンジンがサイト構造を把握するのに役立ちます
関連キーワード
robots.txt
ロボッツファイル
クローラー設定
SEO最適化
AIクローラーブロック
Googlebot