Clean-param — это директива, используемая в файле robots.txt для указания поисковым роботам, какие параметры URL следует игнорировать при индексации страницы. Она позволяет веб-мастерам указывать поисковым системам, что определенные параметры URL не влияют на содержимое страницы и могут быть проигнорированы.

Например, если у вас есть страница, на которой параметры URL используются только для отслеживания аналитики или сессий, и не влияют на контент страницы, то вы можете использовать clean-param, чтобы исключить эти параметры из индексации. Это помогает избежать дублирования контента из-за различных значений параметров URL.Однако, следует учитывать, что не все поисковые системы поддерживают эту директиву, и она может работать по-разному в разных поисковых системах.

Как указывать Clean-param если ссылка такая: /cart/?remove_item

Правильно указывать параметр для User-agent: Yandex, чтобы сообщить, что следующие правила применяются только к роботам Яндекса. Однако, вы указали некоторые параметры для удаления (clean-param), но не указали, что нужно удалить. Если вы хотите, чтобы эти параметры были удалены из ссылки /cart/?remove_item, то ваш файл robots.txt должен выглядеть так:

User-agent: Yandex
Clean-param: lightbox,elementor-preview,elementor_library,attribute_pa_razmery,add-to-cart,remove_item

Теперь робот Яндекса будет игнорировать эти параметры при сканировании и индексации страницы с ссылкой /cart/?remove_item.

Для Google и других ПС такое работает?

Нет, для других поисковых систем это не будет работать. Каждая поисковая система интерпретирует robots.txt по-своему, и параметры, неизвестные или неиспользуемые ими, будут проигнорированы.

Если вам нужно скрыть определенные параметры от всех поисковых систем, включая Google, Яндекс и другие, вы можете использовать следующий синтаксис в вашем файле robots.txt:

User-agent: *
Disallow: /*lightbox
Disallow: /*elementor-preview
Disallow: /*elementor_library
Disallow: /*attribute_pa_razmery
Disallow: /*add-to-cart
Disallow: /*remove_item
Специалист в области создания и продвижения сайтов в интернете, обладающий знаниями в веб-разработке и SEO.
Пишите: в Telegram