User-agent: * # Google и Яндекс Crawl-delay не читают, а Bing и прочие боты -- да. Crawl-delay: 2.3 Disallow: /admin/* Disallow: *?* # Страницы пагинации обзоров, каталога и брендов: статьи и товары дальше # первой страницы роботы иначе не находят по ссылкам. Правила длиннее, чем # *?*, поэтому побеждают у Google и Яндекса. Фильтры и сортировка остаются # закрытыми: у них в адресе первым идёт другой параметр. Allow: /obzory?page= Allow: /catalog/*?page= Allow: /brands/*?page= Sitemap: https://b-on.by/sitemap.xml # Сервисы SEO-анализа: мы ими не пользуемся, а за 15 дней они дали 376 тыс. # запросов к каталогу и карточкам. User-agent: SemrushBot User-agent: MJ12bot Disallow: /