21.12.2022
Robots.txt что это?
Robots.txt - это текстовый файл, который размещается на сервере веб-сайта и содержит инструкции для роботов(ботов), используемых поисковыми системами, такими как Google, для индексирования сайта.
Основная цель Robots.txt - указать роботам, какие страницы и разделы сайта следует индекс...
