# Robots.txt # Dla strony http://cyo.pl # Zablokuj następujące boty: User-agent: Alexa User-agent: GigaBot User-agent: Grub\'s User-agent: Grub\'s distributed crawler User-agent: Inktomi User-agent: INKTOMI-BLK-4 User-agent: INKTOMI-BLK-5 User-agent: Inktomi Slurp User-agent: Looksmart # User-agent: msnbot User-agent: Slurp User-agent: Slurp/2.0 User-agent: Slurp/si (slurp@inktomi.com; http://www.inktomi.com/slurp.html) User-agent: Surveybot User-agent: WISENutbot User-agent: WISENutbot (Looksmart) Disallow: / # Zablokuj następujące katalogi: User-agent: * Disallow: /cgi-bin/ Disallow: /download/ Disallow: /test/ Disallow: /wazne/ Disallow: /images/ # Disallow: /portal/ Disallow: /prezenty/ Disallow: /magazyn/ Disallow: /forum/ Disallow: /fmambo/ Disallow: /port/ Disallow: /porta/ Disallow: /wazne/