# robots.txt zu http://www.faire-milchlieferanten.de/ User-agent: * Disallow: /danke.html Disallow: /kontakt-impressum.html Disallow: /spendenformular.html # Massendownloader vom CGI Verzeichnis fernhalten User-agent: wget User-agent: webzip User-agent: webmirror User-agent: webcopy Disallow: /cgi-bin/