- текстовый файл, записывающий специальные инструкции для поискового робота, ограничивающие доступ к содержимому на http сервере, находящийся в корневой директории веб-сайта и имеющий путь относительно имени самого сайта (/robots.txt).
Файл robots.txt используется добровольно в соответствии со стандартом, принятым в 1994 году.
Он содержит набор инструкций для поисковых машин.
И включает в себя:
В русскоязычном сегменте Интернета наиболее актуальна задача создания файла robots.txt для поисковой системы Яндекс, в связи с тем, что Яндекс находится на первом месте среди русскоязычных поисковых систем. Правила заполнения этого файла указаны в соответствующем разделе Яндекса.
Термины по этой теме: таргетинг, интернет, robots txt