Перейти к основному содержимому

Управлять поисковой индексацией CDN-ресурса

Последнее изменение:

Поисковая индексация — это процесс, при котором поисковые роботы сканируют, анализируют и сохраняют информацию о страницах сайта. Чем лучше поисковый робот понимает структуру и содержимое сайта — тем выше он может показать его в выдаче. Высокие позиции привлекают больше трафика.

При работе CDN создается отдельный адрес сайта, по которому доступен тот же контент. Если поисковый робот увидит основной адрес и CDN-версию сайта, он может посчитать их дублями и снизить позиции сайта в поисковой выдаче — поэтому по умолчанию мы скрываем CDN-версию сайта от индексации.

Если вы хотите, чтобы поисковые роботы индексировали контент, который раздается через CDN, вы можете открыть CDN-версию сайта для индексации. В любой момент можно снова скрыть CDN-версию сайта от индексации.

Открыть CDN-версию сайта для индексации

Чтобы поисковые роботы корректно индексировали контент, который раздается через CDN, нужен файл robots.txt. В файле нужно прописать, какие страницы нужно индексировать, а какие — нет. Без этого поисковые роботы будут индексировать все страницы, включая служебные, дублирующиеся или тестовые.

Использовать robots.txt можно одним из способов:

Проксировать robots.txt с источника

При включении проксирования CDN кэширует файл robots.txt с источника контента и раздает его через CDN-серверы. Это ускоряет доступ для роботов и снижает нагрузку на источник контента.

До включения проксирования проверьте, что файл robots.txt составлен корректно. Файл с ошибками может привести к тому, что сайт будет исключен из выдачи поисковиков.

Чтобы проксировать robots.txt с источника:

  1. В панели управления в верхнем меню нажмите Продукты и выберите CDN.

  2. В разделе CDN-ресурсы откройте страницу ресурса → вкладка Основное.

  3. В блоке Поисковая оптимизация нажмите Проксировать robots.txt.

  4. Нажмите Применить. Во время применения настроек ресурс будет находиться в статусе PROCESSING. В это время применение других настроек недоступно. Настройки применятся, когда ресурс перейдет в статус ACTIVE.

Загрузить robots.txt на CDN-ресурс

Вы можете загрузить собственный файл robots.txt на CDN-ресурс, даже если на источнике есть свой robots.txt. Загруженный файл будет обслуживать запросы, которые проходят через CDN. Запросы, которые идут напрямую на источник, будут использовать файл на источнике.

Перед загрузкой проверьте, что файл robots.txt составлен корректно. Файл с ошибками может привести к тому, что сайт будет исключен из выдачи поисковиков.

Чтобы загрузить robots.txt на CDN-ресурс:

  1. В панели управления в верхнем меню нажмите Продукты и выберите CDN.

  2. В разделе CDN-ресурсы откройте страницу ресурса → вкладка Основное.

  3. В блоке Поисковая оптимизация нажмите Свой robots.txt.

  4. Нажмите Выбрать robots.txt и загрузите файл.

  5. Нажмите Применить. Во время применения настроек ресурс будет находиться в статусе PROCESSING. В это время применение других настроек недоступно. Настройки применятся, когда ресурс перейдет в статус ACTIVE.

Скрыть CDN-версию сайта от индексации

По умолчанию CDN-версия сайта скрывается из индексации. Вы можете скрыть CDN-версию сайта от индексации, если ранее открывали ее для индексации.

  1. В панели управления в верхнем меню нажмите Продукты и выберите CDN.

  2. В разделе CDN-ресурсы откройте страницу ресурса → вкладка Основное.

  3. В блоке Поисковая оптимизация нажмите Скрывать от CDN (рекомендуемое значение).

  4. Нажмите Применить. Во время применения настроек ресурс будет находиться в статусе PROCESSING. В это время применение других настроек недоступно. Настройки применятся, когда ресурс перейдет в статус ACTIVE.