Техническое SEO

X-Robots-Tag

Заголовок HTTP-ответа с указаниями роботам, в том числе для ресурсов не в HTML.

Пример на практике

Сервер задает noindex для PDF.

Что нужно знать?

Браузер не показывает этот заголовок в теле документа.

Техническое SEO на практике

Отдельно проверяйте доступ роботов, ответы сервера и обработку контента, затем индексацию и вид в поиске. Это связанные, но разные этапы с разной диагностикой.

Связанные функции Semly

Как понятие применяется в работе с Semly.

Google Search ConsoleПодключите поисковые данные к Semly. Анализируйте запросы и страницы для следующих действий.AI Agent LeonРаботайте с Leon над рекомендациями, планами и контентом.

Связанные термины

Meta robotsHTML-тег с поддерживаемыми указаниями роботам об индексации и показе страницы.HTTPПротокол обмена запросами и ответами между клиентом, например браузером, и сервером.PDFФормат документа с сохранением макета, часто используемый для отчетов, каталогов и инструкций.

Документация и материалы

Определение подготовлено Semly. Стандарты и поведение описывают их создатели:

Google - запрет индексации