SEO tecnica

Crawler

Noto anche come: bot · web crawler · spider

Programma che visita automaticamente pagine e file per trovare informazioni o raccogliere dati.

Un esempio pratico

Googlebot recupera una pagina prodotto pubblica.

Cosa dovrei sapere?

Non tutti i bot seguono le stesse regole e non tutti sono motori di ricerca.

SEO tecnica in pratica

Controlla separatamente accesso dei crawler, risposte del server ed elaborazione dei contenuti. Valuta poi indicizzazione e presenza in ricerca. Sono fasi collegate ma distinte, con diagnosi diverse.

Funzioni Semly correlate

Scopri dove si applica questo concetto usando Semly.

Google Search ConsoleCollega i dati di ricerca a Semly. Analizza query e pagine per pianificare le prossime azioni.AI Agent LeonLavora con Leon su raccomandazioni, piani d’azione e contenuti del brand.

Termini correlati

ScansioneUn programma che scopre e recupera risorse web, come un crawler di ricerca.User-AgentInformazione della richiesta che descrive il programma client, come browser o bot dichiarato.GooglebotIl nome dei principali crawler Google che recuperano risorse per la ricerca.

Documentazione e approfondimenti

Definizione preparata da Semly. Standard e comportamenti sono descritti dai loro creatori: