googlebot non passa?

Spesso può capitare che Google decida improvvisamente di non aggiornare più nel suo indice una singola pagina del vostro sito.
Ciò può capitare ad esempio se per lungo tempo quella pagina non è stata più aggiornata.
I l motore penserà erroneamente che è una pagina che non cambia mai visti gli scarsi aggiornamenti.

Ciò è capitato di recente per un mio sito. Lo spider “googlebot”, non voleva proprio saperne di rileggere quella pagina, quindi di conseguenza non poteva nemmeno verificare che in realtà la pagina era stata modificata totalmente.
La cosa strana è che il sito in questione dispone di una sitemap.xml, che lo spider scarica quotidianamente per cui aveva tutte le capacità per rendersi conto dell’aggiornamento. Evidentemente non funziona sempre così, se noi indichiamo nella sitemap che un sito ha un aggiornamento settimanale e non rispettiamo la cosa, con tutta probabilità riterrà l’informazione da noi fornita poco attendibile e quindi ignorerà l’elemento.

Sono andato quindi per passi: ho linkato la pagina da altri miei siti (un blog su splinder e un altro mio sito), ma evidentemente non erano sufficientemente “forti” da convincere lo spider a ripassare.
Ho anche linkato la pagina nella homepage del sito in questione, ma senza sortire effetti, googlebot non passava più.

Successivamente ho fatto un esperimento, ho creato sul sito una nuova pagina chiamata con un nome simile (ad esempio se la vostra pagina si chiamava “il padrino” io la nuova l’ho chiamata film il padrino).
In questa nuova pagina vuota ho creato un reindirizzamento 301 Moved Permanently sulla pagina che il motore si rifiutava di indicizzare. Successivamente ho rifatto il submit di sitemap con la nuova page.

Analizzando i log dei giorni successivi ho notato che lo spider ha letto la nuova pagina creata e dopo un secondo esatto ha effettuato il passaggio sulla pagina incriminata.
Esempio:

2006-09-27 08:39:27 GET /index.php nome=Film_Il_Padrino 80 – 66.249.65.171 HTTP/1.1 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) – – 301 0 0 425 245 78

2006-09-27 08:39:28 GET /index.php nome=Il_Padrino – 80 – 66.249.65.171 HTTP/1.1 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) – – 200 0 0 5654 247 656

A questo punto era solo questione di tempo, ed infatti dopo circa una settimana la pagina che era bloccata da Agosto ora è correttamente indicizzata su Google.

Considerazioni: Resta da valutare se adesso Google passerà sulla pagina originale autonomamente o lo farà sempre saltando tramite il reindirizzamento 301. Per il momento attendo che lo spider apprenda correttamente questo passaggio e successivamente eliminerò la pagina fittizia dal mio sito. Non so quanto sia corretta questa procedura o se ho scoperto l’acqua calda, nè se sia pericolosa, però credo che fatta una tantum non crei eccessivi problemi.

Giuseppe Liguori