robots.txtの作成・整形
ローカル処理ルールからrobots.txtを作成、または貼り付けた内容を整形します。
使い方と処理基準
ルールからrobots.txtを作成、または貼り付けた内容を整形します。
ツールの処理はブラウザ内で行われます。計算・変換の共有リンクを作成すると値がURLに含まれます。アカウント・アクセス解析・広告の情報はプライバシーポリシーをご確認ください。
処理制限
- 最大入力文字数: 100,000文字
「作業」で作成または整理を選びます。管理画面や検索結果ページのように検索エンジンに出さないパスを指定し、サイトマップの場所を知らせるときに使います。
できること
- 作成
- エージェント・Disallow・Allow・Sitemapを規則どおりに書きます。
- 整理
- 大文字小文字・空白がばらばらなrobots.txtを標準の形に揃えます。
robots.txtの作成・整形の使い方
- 1作業を選ぶ作成または整理を選びます。
- 2ルールを入力パスを1行に1つずつ書きます。
- 3保存サイトのルートにrobots.txtとして上げます。
活用例
管理画面・一時フォルダのブロック
入力: User-agent *、Disallow /admin・/tmp、Sitemap https://example.com/sitemap.xml
結果: User-agent: *
Disallow: /admin
Disallow: /tmp
Sitemap: https://example.com/sitemap.xml
主な利用シーン
- 新しいサイトのrobots.txtを作るとき
- Search Consoleで警告が出たrobots.txtを整えるとき
よくある質問 (FAQ)
Disallowすると検索から完全に消えますか？
クロールを止めるだけです。他の場所からリンクされるとアドレスが検索に出ることがあるので、隠すならnoindexやログイン保護を使ってください。