Ваш IP адреc: 38.107.179.244
Браузер: CCBot/1.0 (+http://www.commoncrawl.org/bot.html)
Запрет на индексацию
Как известно, после добавления сайта в поисковую систему, спустя некоторое время его начинает посещать поисковый паук, или как его ещё называют поисковый робот. Он тщательно сканирует структуру сайта, заглядывает в папочки в поисках чего-нибудь интересного и о результаты своего исследования помещает в базу данных поисковой системы.
Между тем, иногда бывают ситуации, когда вам не хотелось бы афишировать некоторые файлы или страницы размещённые на вашем сайте. Особенно это актуально сегодня, когда например какая-нибудь бесполезная страница, имеющая тем не менее множество внешних ссылок, после индексации может стать причиной бана или санкций со стороны поисковика.
В общем, чтобы роботы различных поисковых систем не сували свой нос куда не следует, можно принудительно указать им какие страницы сайта с вашей точки зрения не будут представлять для них интереса.
Создатели поисковых систем и собственно самих роботов против этого ничего не имеют, а наоборот только за, что и отразилось в системе сканирования сайтов.Первое что делает поисковый робот зайдя на ваш сайт - ищет файл с именем robots.txt. Из названия файла сразу становится понятно для кого он был создан. Если в файле размещена директива не препятствующая роботу сканировать все файлы, а именно там написано "User-agent: * Disallow: ", то он продолжит сканирование в полном объёме. Между тем можно запретить ему доступ к определённым файлам, написав, к примеру "User-agent: * Disallow: /secret.php", тогда файл secret.php не будет проиндексирован.
вернуться к статьям