User-agent: * # disallow all files in these directories Disallow: /competencias/wp-admin Disallow: /competencias/wp-includes Disallow: /competencias/wp-content/plugins Disallow: /competencias/wp-content/cache Disallow: /competencias/wp-content/themes Disallow: /competencias/cgi-bin/ Disallow: /competencias/z/j/ Disallow: /competencias/z/c/ Disallow: /competencias/stats/ Disallow: /competencias/dh_ Disallow: /competencias/about/ Disallow: /competencias/contact/ Disallow: /competencias/tag/ Disallow: /competencias/wp-admin/ Disallow: /competencias/wp-includes/ Disallow: /competencias/contact Disallow: /competencias/manual Disallow: /competencias/manual/* Disallow: /competencias/phpmanual/ Disallow: /competencias/category/ Disallow: /competencias/trackback Disallow: /competencias/*trackback Disallow: /competencias/*trackback* Disallow: /competencias/*/trackback Disallow: /competencias/*?* Disallow: /competencias/*.html/$ Disallow: /competencias/*feed* Disallow: /nieve/administrator/ Disallow: /nieve/cache/ Disallow: /nieve/components/ Disallow: /nieve/editor/ Disallow: /nieve/help/ Disallow: /nieve/images/ Disallow: /nieve/includes/ Disallow: /nieve/language/ Disallow: /nieve/mambots/ Disallow: /nieve/media/ Disallow: /nieve/modules/ Disallow: /nieve/templates/ Disallow: /nieve/installation Disallow: /nieve/*?* User-agent: Googlebot # disallow all files ending with these extensions Disallow: /competencias/*.php$ Disallow: /competencias/*.js$ Disallow: /competencias/*.inc$ Disallow: /competencias/*.css$ Disallow: /competencias/*.gz$ Disallow: /competencias/*.wmv$ Disallow: /competencias/*.cgi$ Disallow: /competencias/*.xhtml$ # disallow all files with ? in url Disallow: /competencias/*?* Disallow: /nieve/*?* # disable duggmirror User-agent: duggmirror Disallow: / # allow google image bot to search all images User-agent: Googlebot-Image Disallow: Allow: /* # allow adsense bot on entire site User-agent: Mediapartners-Google Disallow: Allow: /* # block print and email User-agent: * Disallow: /competencias/*/*/email/$ Disallow: /competencias/*/*/print/$ Disallow: /competencias/*/*/#$ Disallow: /competencias/page/ # block all folders with broken links User-agent: * Disallow: /competencias/20$