Robots.txt что это?

Asted Cloud

В версии AstedCWS v3 мы написали встроеный генератор файла robots.txt который проверяет есть ли роботс на сайте если его нет пользователь может добавив свой сайт в раздел host нажать на кнопку создание robots.txt и он автоматический появится в корневой деректории сайта