File robots txt, che cos’è?

È vero; puoi manipolare chi esegue la scansione e l’indicizzazione del tuo sito, anche fino alle singole pagine. Per controllarlo, dovrai utilizzare un file robots.txt. Robots.txt è un semplice file di testo che risiede nella directory principale del tuo sito web. Informa i robot che vengono inviati dai motori di ricerca quali pagine scansionare e quali trascurare.

Sebbene non sia esattamente il tutto e per tutto, probabilmente hai capito che è uno strumento abbastanza potente e ti permetterà di presentare il tuo sito Web a Google nel modo in cui desideri che lo vedano. I motori di ricerca sono severi giudici di carattere, quindi è essenziale fare un’ottima impressione. Robots.txt, se utilizzato correttamente, può migliorare la frequenza di scansione, il che può influire sui tuoi sforzi SEO.

Quindi, come si crea uno? Come lo usi? Quali cose dovresti evitare? Dai un’occhiata a questo post per trovare le risposte a tutte queste domande.

Che cos’è un file Robots.txt?

Ai tempi in cui Internet era solo un bambino con la faccia da bambino, con il potenziale per fare grandi cose, gli sviluppatori hanno escogitato un modo per gattonare e indicizzare nuove pagine sul web. Hanno chiamato questi “robot” o “ragni”.

Occasionalmente questi piccoli ragazzi si allontanano su siti Web che non sono stati progettati per essere sottoposti a scansione e indicizzati, come i siti sottoposti a manutenzione. Il creatore del primo motore di ricerca al mondo, Aliweb, ha raccomandato una soluzione: una sorta di road map che ogni robot deve seguire.

Questa tabella di marcia è stata messa a punto nel giugno del 1994 da una raccolta di tecnici esperti di Internet, come il “Protocollo di esclusione dei robot”.

Un file robots.txt è l’esecuzione di questo protocollo. Il protocollo delinea le linee guida che ogni robot autentico deve seguire, inclusi i robot di Google. Alcuni robot illegittimi, come malware, spyware e simili, per definizione, operano al di fuori di queste regole.

Puoi dare un’occhiata dietro il sipario di qualsiasi sito Web digitando qualsiasi URL e aggiungendo: /robots.txt alla fine.

Dove individuare il file Robots.txt

Il tuo file robots.txt verrà archiviato nella directory principale del tuo sito. Per individuarlo, apri il tuo cPanel FTP e sarai in grado di trovare il file nella directory del tuo sito Web public_html.