Content Klau

Eingestellt am 13.05.2006

Viele Webseiten sind mit dem gleichen Content, wie z.B. unter "http://www.google.de" und "http://google.de", oder "http://dmoz.org" und "http://dmoz.com

1. Standard-Domain definieren (z.B. http://www.keinspam.de)

per .htaccess:

RewriteEngine on
RewriteCond %{HTTP_HOST} !^www\.keinspam\.de$
RewriteRule ^(.*)$ http://www.keinspam.de/$1 [L,R=301]

2. Content Grabber aussperren

robots.txt". Doch hinterlassen sie Spuren in den Server-Logfiles

Der User-agent ist z.B. "Boeserbot"

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Boeserbot
RewriteRule ^.*$ - [F]

Der Bot ist mit der IP-Adresse "112.222.235.100" unterwegs

oder allow,deny
deny from 112.222.235.100

Der Webserver muss "mod_rewritehttp://keinspam.de --> http://www.keinspam.de/
http://keinspam.de/keinspam --> http://www.keinspam.de/keinspam
http://ww.keinspam.de --> Fehlerseite