See abil saab igast olulisi asju teha ja blokeerida.
Robots.txt faili muutmisel on 2 põhilist määrajat:
- User-agent – Näitab, millise otsingumootori jaoks see reegel kehtib
- Disallow – Määrab ära, millist faili, lehte või kausta otsingumootori ei külastaks ega indekseeriks
Mõned näited robots.txt faili muutmise kohta:
User-agent: *
Disallow: /
Seda kasutada näiteks uue kodulehe arendamisel – see tähendab seda, et ükski otsingumootor ei tohi lehte indekseerida (User-agent: * – * ehk kõik Otsingumootorid / ning Disallow: / ehk kohe esimesest astmest).
nt soovite ära peita piltide kausta
(/ taga asuv kaust on peidetud – see ei pea olema /images vaid võib vabalt olla ka /admin või muu selline kaust):
User-agent: *
Disallow: /images/
Kui soovid konkreetse otsingumootori eest infot ära peita, siis nt:
User-agent: Googlebot-Image
Disallow: /images/
Populaarsemad otsingumootorid ja nende Bot’de koodid:
- Bingbot – Bing
- Googlebot – Google
- Googlebot-Image – Google Images
- Googlebot-News – Google News
- Teoma – Ask