###################################################
# robots.txt fuer http://www.dhi-immo.de/         #
# 27.12.2006 17:47 AFo                            #
# 15.02.2007 20:46 www.dhi-immo.de (alter hoster) #
# 04.07.2007 10:44 www.dhi-immo.de (neuer hoster) #
# 25.07.2007 07:51 robots angepasst               #
# 08.09.2007 14:28 robots angepasst               #
# 19.02.2008 13:19 robots angepasst               #
# 02.04.2008 20:24 robots angepasst               #
# 17.06.2008 13:24 robots angepasst  dhi-showpic2 #
# 22.10.2008 19:19 robots erweitert               #
# 13.08.2009 20:32 robots erweitert               #
###################################################
User-agent: Mediapartners-Google*
Disallow:
User-agent: Adsbot-Google
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-Mobile
Sitemap: http://www.dhi-immo.de/sitemap.xml
Disallow: /AdminDHI/
Disallow: /cgi-bin/
Disallow: /cronjob/
Disallow: /error/
Disallow: /include/
Disallow: /logs/
Disallow: /mint2_v215/
Disallow: /mint_v215/
Disallow: /mysqldumper/
Disallow: /nop/
Disallow: /nop2/
Disallow: /old/
Disallow: /phpSitemapNG
Disallow: /pix/
Disallow: /statistik/
Disallow: /statistik2/
Disallow: /test/
Disallow: /tuxwebmail/
Disallow: /updown/
Disallow: /usage/
Disallow: /mint_v215/mint/?js
Disallow: http://www.dhi-immo.de/Besichtigungen.xml
Disallow: http://www.dhi-immo.de/Eigentumswohnungen.xml
Disallow: http://www.dhi-immo.de/Gesuche.xml
Disallow: http://www.dhi-immo.de/Gewerbeobjekte.xml
Disallow: http://www.dhi-immo.de/Haeuser-sonstige-Gebaeude-Grundstuecke-allgemein.xml
Disallow: http://www.dhi-immo.de/Immobilien-der-woche.xml
Disallow: http://www.dhi-immo.de/news/DHI-News.xml
Disallow: http://www.dhi-immo.de/Mietobjekte.xml
Disallow: http://www.dhi-immo.de/news/Google-News-Sitemap.xml
Disallow: http://www.dhi-immo.de/news/DHI-News.xml
################################################################################
# Und nun werden alle anderen abgefangen.
################################################################################
User-agent: BotOnParade
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: webbericht.com
Disallow: /

User-agent: *
Sitemap: http://www.dhi-immo.de/sitemap.xml
Disallow: /AdminDHI/
Disallow: /cgi-bin/
Disallow: /cronjob/
Disallow: /error/
Disallow: /include/
Disallow: /logs/
Disallow: /mint2_v215/
Disallow: /mint_v215/
Disallow: /mysqldumper/
Disallow: /nop/
Disallow: /nop2/
Disallow: /old/
Disallow: /phpSitemapNG
Disallow: /pix/
Disallow: /statistik/
Disallow: /statistik2/
Disallow: /test/
Disallow: /tuxwebmail/
Disallow: /updown/
Disallow: /usage/
Disallow: /mint_v215/mint/?js
Disallow: http://www.dhi-immo.de/Besichtigungen.xml
Disallow: http://www.dhi-immo.de/Eigentumswohnungen.xml
Disallow: http://www.dhi-immo.de/Gesuche.xml
Disallow: http://www.dhi-immo.de/Gewerbeobjekte.xml
Disallow: http://www.dhi-immo.de/Haeuser-sonstige-Gebaeude-Grundstuecke-allgemein.xml
Disallow: http://www.dhi-immo.de/Immobilien-der-woche.xml
Disallow: http://www.dhi-immo.de/news/DHI-News.xml
Disallow: http://www.dhi-immo.de/Mietobjekte.xml
Disallow: http://www.dhi-immo.de/news/Google-News-Sitemap.xml
Disallow: http://www.dhi-immo.de/news/DHI-News.xml
################################################################################
# 03.04.2008 19:46 "Crawl-Delay" von 5 für Yahoo! Slurp / ausbremsen
################################################################################
User-agent: Slurp 
Crawl-delay: 10000
################################################################################
# Robots.txt syntax checker - http://www.sxw.org.uk/computing/robots/check.html
# Syntax OK
################################################################################