# robots.txt
# Zugriff auf alle Dateien erlauben
User-agent: *
Disallow: /spider/
Disallow: /links/
Disallow: /htsrv/

User-agent: psbot
Disallow: /

User-agent: googlebot
Disallow: /spider/