# # robots.txt file for # an die Gegebenheiten von Joe angepasst (Demos herausgenommen) # User-agent: * Allow: /jdb/ Disallow: /gallery/ # but allow htdig to index our doc-tree User-agent: susedig Disallow: User-agent: Linbot Allow: / # disallow stress test user-agent: stress-agent Disallow: /