#
# robots.txt d'Ex-Libris (amb WordPress)
# Basat en http://sigt.net/archivo/robotstxt-para-wordpress.xhtml
#
# Contingut adjunt.
User-Agent: *
Allow: /exlibris/wp-content/uploads/
#
Disallow: /css/
Disallow: /fancybox/
Disallow: /icones/
Disallow: /images/
Disallow: /imatges/
Disallow: /javascript/
Disallow: /stats/
Disallow: /mail.php
#
Disallow: /*/.pdf
Disallow: /*/emailpopup/
Disallow: /exlibris/favicon.ico
Disallow: /exlibris/wp-content/plugins/
Disallow: /exlibris/wp-content/themes/
Disallow: /exlibris/wp-includes/
Disallow: /exlibris/wp-admin/
# Desindexar tot allò que comence
# per wp-. Com als Disallow de dalt, però
# afegim coses com wp-rss.php
Disallow: /exlibris/wp-
#
# Sitemap permés, cerques no.
#
Sitemap: http://www.perecalonge.com/sitemap.xml
Disallow: /exlibris/?s=
Disallow: /exlibris/search
#
# Permetem el feed general per a Google Blogsearch.
#
# Impedim que permalink/feed/ siga indexat (el
# feed amb els comentaris sol posicionar-se en el
# lloc de l'entrada i desorienta els usuaris.
#
# Ídem per a URLs acabades en /trackback/ que només
# serveixen com a Trackback URI (i són contingut duplicat).
#
Allow: /exlibris/feed/$
Disallow: /exlibris/feed
Disallow: /exlibris/comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
#
# Llista de bots que acostumen a respectar el robots.txt però
# poques vegades fan bon ús del web…
# Se'n poden afegir…
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /