User-Agent: *




Autoriser tous les robots à accéder à tout le site :
User-agent: *
Disallow:

Empêcher tous les robots d'accéder au site :
User-agent: *
Disallow: /

Pour empêcher tous les robots sauf Googlebot d'accéder à un dossier en particulier (http://omnia.be/folder/)

User-agent: *
Disallow: /folder
User-agent: googlebot
Disallow: