# robots.txt fuer http://weekend24.cwsurf.de # Diese Verzeichnisse und Dateien sollen nicht durchsucht werden: User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /phpmybackup/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /search/ Disallow: /impressum-disclaimer.html Disallow: /1-webmaster.html # Folgende Webcrawler schließe ich dauerhaft aus: User-agent: ia_archiver Disallow: / User-agent: ia_archiver/1.6 Disallow: / User-agent: WebsiteWiki Disallow: / User-agent: TurnitinBot Disallow: / # Hier ist die xml für die Sitemap zu finden: Sitemap: http://weekend24.cwsurf.de/index.php?option=com_xmap&sitemap=1&view=xml