Что такое robots.txt: основы для новичков Успешная индексация нового сайта зависит от многих слагаемых. Один из них — файл robots.txt, с правильным заполнением которого должен быть знаком любой начинающий веб-мастер. Обновили материал для новичков. Урок №13. Настройка файла robots.txt. Как правильно настроить файл роботс для сайта. Для чего нужен...