Möchtest du nicht, dass andere von dir in Erfahrung bringen sollen, dann erstelle eine robots.txt - machs aber richtig (erstelle keine!). Beim whitehouse.gov wurde es nicht verstanden (waren das die Superschnüffler von der NSA?).
via[e-commorce-blog]
Alleine der Disallow: cgi-bin ist süss