# robots.txt -Datei 
#
# Hierzu raten wir Ihnen dringend, den Robot Exclusion Standard zu benutzen, um eine
# sogenannte "robots.txt" Datei zu erstellen. Das geht ganz schnell und erlaubt Ihnen
# eine genaue Kontrolle, welche Verknüpfungen Ihrer Seite(n) Sie dem Index übergeben
# möchten. 
#                       
# Diese robots.txt Datei sieht so aus: 
#
# User-agent: * # directed to all robots
# Disallow: /cgi-bin/sources
#
# Disallow: /access_stats
#
# Disallow: /cafeteria/lunch_menus/ 
#
#                           
# Legen Sie die "robots.txt" Datei in das Rootverzeichnis Ihrer Website. Jede URL, die
# auf diese Struktur paßt, wird dann von allen Suchrobotern, die Ihre Seiten(n) suchen
# ignoriert, sofern sie sich wie "Scooter" an den Robot Exclusion Standard halten. Da
# diese Datei nicht täglich von Scooter gelesen wird, kann es ein wenig dauern, bis Ihre
# gewünschten Änderungen berücksichtigt werden. 
#
User-agent: * # directed to all robots
Disallow: /images/
Disallow: /Theater/_derived
Disallow: /test