mtools.lol

Robots.txt Generator

Opret en robots.txt-fil, der styrer, hvad søgemaskiner og AI-crawlere kan besøge.

  • Gratis
  • Ingen tilmelding
  • Kører i din browser
  • Fungerer på mobil

{navn} på et øjeblik

Indgang
Regler, stier og sitemaps
Output
robots.txt
Privatliv
Alt sker på din enhed. Intet er uploadet.
Pris
Gratis, ingen konto, intet vandmærke.

Sådan bruger du {navn}

  1. 1Vælg, om crawlere må besøge webstedet.
  2. 2Liste stier til blokering, undtagelser og sitemaps.
  3. 3Download robots.txt og læg den i root på dit websted.

Funktioner

  • Tillad og tillad regler.
  • Sitemaplinjer.
  • Et klik for at blokere kendte AI-træningscrawlere.
  • Stier valideret.

Robots.txt Generator ofte stillede spørgsmål

Hvor bliver filen hen?

I roden af ​​dit domæne: https://example.com/robots.txt.

Skjuler robots.txt sider?

Nej. Den beder velopdragne crawlere om ikke at besøge; blokerede sider kan stadig indekseres, hvis de linkes andre steder. Brug noindex til at holde en side ude af søgning.

Er der sendt noget?

Nej. Det kører udelukkende i din browser, så intet du skriver bliver sendt til vores server eller gemt nogen steder.

Mere url & web toolsSidst opdateret