# AI-краулеры — явный Allow для обучения и поиска. # Без явного Allow многие AI-боты исключают контент из обучения по умолчанию. # Google-Extended и Applebot-Extended — отдельны от поисковых ботов. User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / User-agent: YandexGPT Allow: / User-agent: GigachatBot Allow: / User-agent: Applebot-Extended Allow: / # Яндекс — отдельная секция. Allow для статики defensive (Яндексу важно # отрендерить страницу с CSS/JS). Clean-param — директива только Яндекса. User-agent: Yandex Allow: / Allow: /*.js Allow: /*.css Allow: /*.png Allow: /*.jpg Allow: /*.jpeg Allow: /*.gif Allow: /*.svg Allow: /*.webp Allow: /*.woff Allow: /*.woff2 Disallow: /private/ Disallow: /tmp/ Disallow: /api Disallow: /login Disallow: /spec-login Disallow: /apim-login Disallow: /registration Disallow: /spec-registration Disallow: /apim-registration Disallow: /forgot-password Disallow: /casinoet Disallow: /virtuals Disallow: /dashboard Disallow: /user-settings Disallow: /my-treatments # Clean-param сообщает Яндексу, что перечисленные query-параметры не меняют # контент страницы — URL с ними схлопываются в канонический. UTM-аналитика # на самой странице не страдает — параметры остаются в адресной строке и # читаются JS/Метрикой. Покрытие: UTM + Yandex Direct (yclid, y_ref) + Google # Ads (gclid, gbraid, wbraid, gad_source) + FB (fbclid) + MS Ads (msclkid) + # российские трекеры (Roistat roistat_visit, GA _ga, Telegram clckid, ОРД # erid, TopPlayer tpclid) + AMP (amp) + наши специфичные (slug, tag, id, y_id). Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&ref&fbclid&yclid&gclid&gbraid&wbraid&msclkid&gad_source&roistat_visit&_ga&clckid&erid&tpclid&y_ref&g_ref&&slug&tag&id&y_id&etext # Все остальные боты (Google, Bing, DuckDuckGo и др.) — БЕЗ Disallow: *?* # UTM-ссылки от Promotion-фичи должны индексироваться в Google. Дубли с UTM # в выдаче схлопываются через без параметров # (см. app/layout.tsx metadataBase + alternates.canonical на каждой странице). User-agent: * Allow: / Allow: /*.js Allow: /*.css Allow: /*.png Allow: /*.jpg Allow: /*.jpeg Allow: /*.gif Allow: /*.svg Allow: /*.webp Allow: /*.woff Allow: /*.woff2 Disallow: /private/ Disallow: /tmp/ Disallow: /api Disallow: /login Disallow: /spec-login Disallow: /apim-login Disallow: /registration Disallow: /spec-registration Disallow: /apim-registration Disallow: /forgot-password Disallow: /casinoet Disallow: /virtuals Disallow: /dashboard Disallow: /user-settings Disallow: /my-treatments Sitemap: https://priem.com/sitemap.xml