Killer Robots

Die Funktionsweise der robots.txt Datei welche im Robots Exclusion Standard festgehalten ist. Mit Hilfe diese Datei kann man Webcrawler anweisen bestimmte Bereiche der Webseite nicht zu indizieren. Neben der robots.txt verfügt Google mittlerweile auch über eine killer-robots.txt:

User-Agent: T-1000
User-Agent: T-800
Disallow: /+LarryPage
Disallow: /+SergeyBrin

Im Zuge der Übername von Boston Dynamics ist eine solche Datei natürlich als Sicherheitsmaßnahme zu verstehen ;)