# robots.txt
# Gibt an, welche Unterverzeichnisse nicht durch Crawler durchsucht werden sollen
# User-agent: *
# Disallow: /    # alles verbieten

User-Agent: *
Allow: /

User-Agent: Googlebot
Disallow: /