Как закрыть от роботов весь dev сервер

• 1 Декабрь, 2012

Задача: на сервере разработки или staging-сервере, необходимо закрыть все сайты от индексации роботами. Шаг #1: добавляем следующие строки в httpd.conf

SetHandler None
Alias /robots.txt /var/www/robots.txt
Шаг #2: создаем robots.txt по вышеупомянутому пути, со следующими строками

User-agent: *
Disallow: /
Шаг #3: перезагружаем apache

apachectl restart