Генератор robots.txt для WordPress

Соберите корректный robots.txt за минуты

Настройки

Нужен для правил Host/Yandex и карты сайта
Строже правила могут помешать индексации ресурсов темы/плагинов
Некоторые плагины добавляют служебные страницы (корзина/оформление), лучше скрывать из индекса
Если используете Yoast/RankMath — обычно sitemap_index.xml
Дополнительно

Результат


      

        
        
      

      
Важно: чрезмерные ограничения могут ухудшить индексацию. Проверяйте правила в Google Search Console и Яндекс.Вебмастер.

    

      

        
Как составить идеальный robots.txt для WordPress

        

          
Правильный robots.txt помогает поисковым системам эффективнее обходить сайт, экономить краулинговый бюджет и избегать индексации служебных страниц. Ниже — практические советы и частые вопросы.

          
Лучшие практики

          
    
            
  • Не закрывайте CSS/JS ассеты темы и плагинов — иначе ухудшится рендеринг и оценка качества страниц.
    • 
            
  • Закрывайте административные и персональные разделы (wp-admin, корзина/checkout), чтобы не засорять индекс.
    • 
            
  • Добавляйте корректный Sitemap для быстрой переиндексации и обнаружения новых страниц.
    • 
            
  • Используйте умеренный уровень ограничений («Рекомендуется») и проверяйте файл в Search Console/Вебмастере.
    • 
          

          
FAQ

          

            Нужно ли добавлять директиву Host для Яндекса?
            
Host помогает указать основное зеркало — добавляйте, если используете Яндекс и у сайта есть зеркала с www/без www.

          

          

            Можно ли закрыть /wp-content/ и /wp-includes/?
            
Не рекомендуется — там находятся необходимые стили и скрипты. Строгое закрытие может повредить индексации.

          

          

            Что такое Crawl-delay и когда его использовать?
            
Директива замедляет скорость краулинга для отдельных ботов (например Bing/Yandex). Используйте, если сервер перегружается от обхода.