Техническое SEO

Краулер

Также известен как: бот · веб-краулер · паук

Программа, автоматически посещающая страницы и файлы для поиска или сбора данных.

Пример на практике

Googlebot загружает публичную карточку товара.

Что нужно знать?

Не все боты соблюдают одинаковые правила, и не каждый бот является поисковиком.

Техническое SEO на практике

Отдельно проверяйте доступ роботов, ответы сервера и обработку контента, затем индексацию и вид в поиске. Это связанные, но разные этапы с разной диагностикой.

Связанные функции Semly

Как понятие применяется в работе с Semly.

Google Search ConsoleПодключите поисковые данные к Semly. Анализируйте запросы и страницы для следующих действий.AI Agent LeonРаботайте с Leon над рекомендациями, планами и контентом.

Связанные термины

СканированиеПрограмма для поиска и загрузки ресурсов сайта, например поисковый робот.User-AgentСведения запроса о программе-клиенте, например браузере или заявленном боте.GooglebotНазвание основных роботов Google, загружающих ресурсы для поиска.

Документация и материалы

Определение подготовлено Semly. Стандарты и поведение описывают их создатели: