Генератор файла robots.txt

Генератор robots.txt

Результат:


    

    

Описание сервиса «Генератор robots.txt»

Этот онлайн-инструмент поможет вам быстро и удобно создать корректный файл robots.txt для вашего сайта. Вы можете добавлять блоки с разными User-agent и задавать для них директивы: Disallow, Allow, Crawl-delay, Sitemap и другие.

Для каждой директивы есть подсказка — наведите курсор на знак вопроса ? рядом с названием.

После заполнения нажмите кнопку «Сгенерировать robots.txt», чтобы получить итоговый текст, который можно скопировать или сохранить.