Robots.txt ジェネレーター

チェックボックスから有効なrobots.txtを構築する無料のrobots.txtジェネレーター：ターゲットとするクローラー（Google、Bing、Yahoo、DuckDuckGo、Baidu）と含める許可/禁止パスを選択します。オプションでサイトマップURLを追加できます。結果をコピーして、robots.txtとしてサイトのルートにアップロードしてください。完全にブラウザ内で動作します。サーバーは不要です。

このRobots.txtジェネレーターを使用する理由

• 視覚的： 構文を覚える必要はありません。チェックボックスでクローラーとルールを選択します。
• 一般的なルール： /admin、/api、/private、/sitemap.xml などの事前定義済みパス。
• サイトマップ： サイトマップ行を追加するためのオプションフィールド。
• コピー： ワンクリックでrobots.txtの内容全体をコピー。

主な機能

• ユーザーエージェントブロック： Googlebot、Bingbot、Yahoo Slurp、DuckDuckBot、Baiduspider のいずれか1つ以上を含めます。
• 許可/不許可： 許可： /、不許可： /admin、/api、/private、許可： /sitemap.xml を切り替えます。
• サイトマップURL： オプションのサイトマップ： http://www.tiptinker.com/sitemap.xml
• ライブ出力： オプションを変更すると、テキストが更新されます。

仕組み

このツールは、選択された各クローラーに対して1つのユーザーエージェントブロックを構築します。各ブロックには、選択された許可行と不許可行がリストされます。サイトマップURLを入力すると、サイトマップ行が追加されます。結果は標準的なrobots.txt形式のプレーンテキストであり、ドメインルートにrobots.txtとして保存する準備ができています。

Robots.txt ジェネレーターを試す

必要なクローラーとルールを選択し、オプションでサイトマップURLを追加してください。オプションを変更すると、出力が更新されます。結果をコピーして、robots.txtファイルに貼り付けてください。