See abil saab igast olulisi asju teha ja blokeerida.

Robots.txt faili muutmisel on 2 põhilist määrajat:

  • User-agent – Näitab, millise otsingumootori jaoks see reegel kehtib
  • Disallow – Määrab ära, millist faili, lehte või kausta otsingumootori ei külastaks ega indekseeriks

Mõned näited robots.txt faili muutmise kohta:

User-agent: *
Disallow: /

Seda kasutada näiteks uue kodulehe arendamisel – see tähendab seda, et ükski otsingumootor ei tohi lehte indekseerida (User-agent: * – * ehk kõik Otsingumootorid / ning Disallow: / ehk kohe esimesest astmest).

nt soovite ära peita piltide kausta

(/ taga asuv kaust on peidetud – see ei pea olema /images vaid võib vabalt olla ka /admin või muu selline kaust):

User-agent: *
Disallow: /images/

Kui soovid konkreetse otsingumootori eest infot ära peita, siis nt:

User-agent: Googlebot-Image
Disallow: /images/

Populaarsemad otsingumootorid ja nende Bot’de koodid:

  • Bingbot – Bing
  • Googlebot – Google
  • Googlebot-Image – Google Images
  • Googlebot-News – Google News
  • Teoma – Ask