#robots.txt für robots.txt-Generator #Diese Webcrawler werden ausgeschlossen #Disallow_Webcrowler_Start User-agent: * Disallow: / #Disallow_Webcrowler_end #Diese Verzeichnisse/Dateien sollen nicht durchsucht werden #Disallow_Path_Start #Disallow_Path_end