Начну с того, что нет какого-то одного правильного или неправильного файла robots.txt. Есть единый базовый шаблон под определённую систему администрирования, где дальше необходимо добавлять директивы под ваши требования, которые зависят от целей сайта и его структуры.
Файл robots.txt должен быть на каждом сайте и сообщать поисковому роботу, куда можно ходить, а куда нельзя. Робот Яндекса и Google знакомы с этим файлом. Подробнее можно прочитать в их документации.
Общие сведения о файлах robots.txt: https://support.google.com/webmasters/answer/6062608?hl=ru
Использование файла robots.txt: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html
В данном ниже примере я использовал классический robots для WordPress. Две строки ниже от Woocommerce и они закрывают индексацию корзины и страницы оплаты заказа. Данные страницы в поисковике не нужны, они технические, клиентские.
Анализ robots.txt
Правильно ли вы заполнили файл robots.txt поможет инструмент веб-мастера. Для проверки рекомендую использовать официальные инструменты поисковых веб-мастерских — Яндекс Вебмастер и Google Webmaster.
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /cart
Disallow: /checkout
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /cart
Disallow: /checkout
User-agent: Googlebot
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /cart
Disallow: /checkout
Host: https://www.ogi.ruUser-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
#WP Import Export Rule
User-agent: *
Disallow: /wp-content/uploads/vj-wp-import-export/
