Robots.txt ジェネレーター
どの検索エンジンと AI クローラーがアクセスするかを制御する robots.txt ファイルを作成します。
- 無料
- サインアップはありません
- ブラウザで実行します
- モバイルでも動作します
{名前}の概要
- 入力
- ルール、パス、サイトマップ
- 出力
- robots.txt
- プライバシー
- すべてはデバイス上で行われます。何もアップロードされていません。
- 価格
- 無料、アカウントなし、ウォーターマークなし。
{名前}の使い方
- 1クローラーがサイトにアクセスできるかどうかを選択します。
- 2ブロックするパス、例外、サイトマップをリストします。
- 3robots.txt をダウンロードして、サイトのルートに置きます。
特徴
- ルールを禁止および許可します。
- サイトマップの行。
- ワンクリックで既知の AI トレーニング クローラーをブロックします。
- パスが検証されました。
{名前} よくある質問
ファイルはどこに行きますか?
ドメインのルート: https://example.com/robots.txt。
robots.txt はページを非表示にしますか?
いいえ。行儀の良いクローラーには訪問しないよう求めています。ブロックされたページでも、他の場所にリンクされている場合はインデックスを作成できます。ページを検索から除外するには noindex を使用します。
何か送られてきましたか?
いいえ。完全にブラウザ内で実行されるため、入力した内容はサーバーに送信されたり、どこにも保存されたりすることはありません。
関連ツール
もっと見る {カテゴリー}最終更新日