---
title: 'Управлять поисковой индексацией CDN-ресурса'
sidebar_label: 'Управлять поисковой индексацией ресурса'
description: 'Как управлять поисковой индексацией CDN-ресурса с помощью файла robots.txt'
sidebar_position: 7
---

import Formbricks from '@theme/MDXComponents/Formbricks'

# Управлять поисковой индексацией CDN-ресурса

Поисковая индексация — это процесс, при котором поисковые роботы сканируют, анализируют и сохраняют информацию о страницах сайта. Чем лучше поисковый робот понимает структуру и содержимое сайта — тем выше он может показать его в выдаче. Высокие позиции привлекают больше трафика.

При работе CDN создается отдельный адрес сайта, по которому доступен тот же контент. Если поисковый робот увидит основной адрес и CDN-версию сайта, он может посчитать их дублями и снизить позиции сайта в поисковой выдаче — поэтому по умолчанию мы скрываем CDN-версию сайта от индексации.

Если вы хотите, чтобы поисковые роботы индексировали контент, который раздается через CDN, вы можете [открыть CDN-версию сайта для индексации](#open-cdn-version-for-index). В любой момент можно снова [скрыть CDN-версию сайта от индексации](#hide-cdn-version-from-index).

## Открыть CDN-версию сайта для индексации \{#open-cdn-version-for-index}

Чтобы поисковые роботы корректно индексировали контент, который раздается через CDN, нужен файл `robots.txt`. В файле нужно прописать, какие страницы нужно индексировать, а какие — нет. Без этого поисковые роботы будут индексировать все страницы, включая служебные, дублирующиеся или тестовые.

Использовать `robots.txt` можно одним из способов:

* [проксировать robots.txt с источника](#proxy-robots-txt-from-source) — если на источнике уже есть корректный `robots.txt` и вы хотите, чтобы CDN раздавал тот же файл.
* [загрузить robots.txt на CDN-ресурс](#add-robots-txt-to-cdn-resource) — если вы хотите задать разные правила для индексации на источнике и CDN.

### Проксировать robots.txt с источника \{#proxy-robots-txt-from-source}

При включении проксирования CDN кэширует файл `robots.txt` с источника контента и раздает его через CDN-серверы. Это ускоряет доступ для роботов и снижает нагрузку на источник контента.

До включения проксирования проверьте, что файл `robots.txt` составлен корректно. Файл с ошибками может привести к тому, что сайт будет исключен из выдачи поисковиков.

Чтобы проксировать `robots.txt` с источника:

1. В [панели управления](https://my.selectel.ru/cdn-v3) в верхнем меню нажмите **Продукты** и выберите **CDN**.

2. В разделе **CDN-ресурсы** откройте страницу ресурса → вкладка **Основное**.

3. В блоке **Поисковая оптимизация** нажмите **Проксировать robots.txt**.

4. Нажмите **Применить**. Во время применения настроек ресурс будет находиться в статусе `PROCESSING`. В это время применение других настроек недоступно. Настройки применятся, когда ресурс перейдет в статус `ACTIVE`.

### Загрузить robots.txt на CDN-ресурс \{#add-robots-txt-to-cdn-resource}

Вы можете загрузить собственный файл `robots.txt` на CDN-ресурс, даже если на источнике есть свой `robots.txt`. Загруженный файл будет обслуживать запросы, которые проходят через CDN. Запросы, которые идут напрямую на источник, будут использовать файл на источнике.

Перед загрузкой проверьте, что файл `robots.txt` составлен корректно. Файл с ошибками может привести к тому, что сайт будет исключен из выдачи поисковиков.

Чтобы загрузить `robots.txt` на CDN-ресурс:

1. В [панели управления](https://my.selectel.ru/cdn-v3) в верхнем меню нажмите **Продукты** и выберите **CDN**.

2. В разделе **CDN-ресурсы** откройте страницу ресурса → вкладка **Основное**.

3. В блоке **Поисковая оптимизация** нажмите **Свой robots.txt**.

4. Нажмите **Выбрать robots.txt** и загрузите файл.

5. Нажмите **Применить**. Во время применения настроек ресурс будет находиться в статусе `PROCESSING`. В это время применение других настроек недоступно. Настройки применятся, когда ресурс перейдет в статус `ACTIVE`.

## Скрыть CDN-версию сайта от индексации \{#hide-cdn-version-from-index}

По умолчанию CDN-версия сайта скрывается из индексации. Вы можете скрыть CDN-версию сайта от индексации, если ранее [открывали ее для индексации](#open-cdn-version-for-index).

1. В [панели управления](https://my.selectel.ru/cdn-v3) в верхнем меню нажмите **Продукты** и выберите **CDN**.

2. В разделе **CDN-ресурсы** откройте страницу ресурса → вкладка **Основное**.

3. В блоке **Поисковая оптимизация** нажмите **Скрывать от CDN (рекомендуемое значение)**.

4. Нажмите **Применить**. Во время применения настроек ресурс будет находиться в статусе `PROCESSING`. В это время применение других настроек недоступно. Настройки применятся, когда ресурс перейдет в статус `ACTIVE`.

<Formbricks />