# Сайт нарочно не должен попадать в поиск. # # Раньше здесь стояло «Disallow: /», и это работало против цели. Запрет обхода # означает, что робот страницу не читает — а значит, не видит и запрета на # индексацию, который мы отдаём заголовком X-Robots-Tag и метатегом. Если на # ссылку кто-то сошлётся, а её сейчас рассылают родне, поисковик вправе # показать её в выдаче голым адресом, без описания, и снять это будет нечем. # # Поэтому обход разрешён, а из выдачи страницу убирает noindex, который робот # теперь гарантированно прочитает. Заголовок ставится в .htaccess и в auth.php # (no_index_headers), метатег — в самой странице древа. User-agent: * Allow: /