robots: disallow crawlers to sources of perl modules
authorMischa POSLAWSKY <perl@shiar.org>
Sun, 22 Nov 2009 06:18:12 +0000 (06:18 +0000)
committerMischa POSLAWSKY <perl@shiar.org>
Wed, 2 Dec 2009 20:58:37 +0000 (20:58 +0000)
As far as they support * in Disallow.
Advantage of indexing all related modules is limited: source is (better)
available at official repository site.

robots.txt

index 4bfd238..4ba4148 100644 (file)
@@ -1 +1,4 @@
+User-agent: *
+Disallow: /source/*::*
+
 Sitemap: http://sheet.shiar.nl/sitemap.xml