Результат:
Описание сервиса «Генератор robots.txt»
Этот онлайн-инструмент поможет вам быстро и удобно создать корректный файл robots.txt для вашего сайта. Вы можете добавлять блоки с разными User-agent и задавать для них директивы: Disallow, Allow, Crawl-delay, Sitemap и другие.
Для каждой директивы есть подсказка — наведите курсор на знак вопроса ? рядом с названием.
После заполнения нажмите кнопку «Сгенерировать robots.txt», чтобы получить итоговый текст, который можно скопировать или сохранить.