Die Funktionsweise der robots.txt Datei welche im Robots Exclusion Standard festgehalten ist. Mit Hilfe diese Datei kann man Webcrawler anweisen bestimmte Bereiche der Webseite nicht zu indizieren. Neben der robots.txt verfügt Google mittlerweile auch über eine killer-robots.txt:
User-Agent: T-1000 User-Agent: T-800 Disallow: /+LarryPage Disallow: /+SergeyBrin
Im Zuge der Übername von Boston Dynamics ist eine solche Datei natürlich als Sicherheitsmaßnahme zu verstehen ;)