mtools.lol
id
EnglishDeutschEspañolFrançaisBahasa IndonesiaItalianoNederlandsPolskiPortuguêsTürkçe

Generator Robots.txt

Buat file robots.txt yang mengontrol apa yang dapat dikunjungi oleh mesin pencari dan perayap AI.

  • Gratis
  • Tanpa daftar
  • Berjalan di browser Anda
  • Bisa di ponsel

Sekilas tentang Generator Robots.txt

Input
Aturan, jalur, dan peta situs
Output
robots.txt
Privasi
Semua diproses langsung di perangkat Anda. Tidak ada data yang diunggah.
Harga
Gratis, tanpa akun, tanpa watermark.

Cara menggunakan Generator Robots.txt

  1. 1Pilih apakah perayap boleh mengunjungi situs.
  2. 2Cantumkan jalur yang akan diblokir, pengecualian, dan peta situs.
  3. 3Unduh robots.txt dan letakkan di root situs Anda.

Fitur

  • Larang dan izinkan aturan.
  • Garis peta situs.
  • Satu klik untuk memblokir crawler pelatihan AI yang dikenal.
  • Jalur divalidasi.

Tanya Jawab Generator Robots.txt

Kemana filenya pergi?

Di root domain Anda: https://example.com/robots.txt.

Apakah robots.txt menyembunyikan halaman?

Tidak. Ia meminta crawler yang berperilaku baik untuk tidak berkunjung; halaman yang diblokir masih dapat diindeks jika ditautkan di tempat lain. Gunakan noindex untuk menjaga halaman keluar dari pencarian.

Apakah ada yang terkirim?

Tidak. Ini sepenuhnya berjalan di browser Anda, jadi tidak ada yang Anda ketik yang dikirim ke server kami atau disimpan di mana pun.

Alat terkait

Pembuat Peta SitusUbah daftar URL halaman menjadi peta situs XML yang valid untuk Google dan Bing.Pemeriksa Metadata Situs WebPeriksa SEO halaman dan berbagi metadata: judul, deskripsi, kanonik, judul, data terstruktur, dan banyak lagi.Buka Pratinjau GrafikLihat tampilan tautan saat dibagikan di Facebook, LinkedIn, X, Slack, dan WhatsApp, serta tag mana yang hilang.Generator BarcodeJadikan EAN, UPC, Kode 128 dan barcode lainnya sebagai PNG atau SVG.

Alat url & web tools lainnyaTerakhir diperbarui