SEO tecnica

robots.txt

Un file che indica ai crawler compatibili quali percorsi possono recuperare.

Un esempio pratico

Un sito limita la scansione degli URL di ricerca interna.

Cosa dovrei sapere?

Non protegge i dati privati e non rimuove in modo affidabile le pagine dall'indice.

SEO tecnica in pratica

Controlla separatamente accesso dei crawler, risposte del server ed elaborazione dei contenuti. Valuta poi indicizzazione e presenza in ricerca. Sono fasi collegate ma distinte, con diagnosi diverse.

Funzioni Semly correlate

Scopri dove si applica questo concetto usando Semly.

Google Search ConsoleCollega i dati di ricerca a Semly. Analizza query e pagine per pianificare le prossime azioni.AI Agent LeonLavora con Leon su raccomandazioni, piani d’azione e contenuti del brand.

Termini correlati

CrawlerProgramma che visita automaticamente pagine e file per trovare informazioni o raccogliere dati.noindexUn'istruzione che indica a un sistema compatibile di non includere una pagina nei risultati.DisallowRegola robots.txt che limita il recupero di determinati percorsi da parte dei crawler che rispettano il file.

Documentazione e approfondimenti

Definizione preparata da Semly. Standard e comportamenti sono descritti dai loro creatori:

Google - robots.txt