Zapewne część z webmasterów zauważyła informacje o błędach 404 w statystykach google webmaster tools. Oznacza to, że googlebot nie odnalazł danej strony. Odpowiedź serwera 404 oznacza, że żądana strona nie istnieje. Oczywiście jest szereg przyczyn, dla których taki błąd może zostać wylistowany przez googlebota dla danego adresu url jak np. link do strony, której nie ma lub problemy z serwerem. Więcej na temat kodów stanów HTTP.
Jeżeli jednak dana strona istenieje w sieci, jest dostępna a ponadto logi serwera nie wskazują na dany błąd to ostatnim kogo by można winić za to według mnie jest sam Google. Jednak wszystkie ślady prowadzą właśnie do giganta. Pracownik google oznajmił na grupie dyskusyjnej google webmaster help, że pomimo poprawnego ściągnięcia strony przez google w statystykach webmaster tools niektóre urle mogą być oznaczone błędem 404. Zapewnia również, że ta sytuacja nie powinna mieć jakiegokolwiek wpływu na indeksację oraz ranking stron.
Oto cytat:
It’s come to our attention that some URLs are listed as 404s for some sites in Webmaster Tools even though they were apparently crawled correctly. In general, even if we were not able to crawl some URLs correctly once or twice, this should not affect a site’s crawling, indexing or ranking in our search engine.
We’re currently analyzing the situation and will give you more information as soon as we have it.
Pomimo zapewnień ze strony google wiele webmasterów utraciło pozycje na wiele fraz oraz wiele stron wyleciało z indeksu google. Czy jest to przypadek czy może niezależne działanie algorytmu tego nie jestem w stanie powiedzieć. Fakt jest taki, że objawy u wielu webmasterów były te same czyli utrata pozycji po czym ponowny ich powrót. I tak kilkakrotnie z rzędu.
Wyjaśnieniem może być tu post Key_Master’a, który potwierdza przypuszczenia innych, że winowajcą całego zamieszania jest googlebot-mobile. Jeżeli napotka on przekierowanie typu 301 myli je z błędem 404 (z przyczyn bliżej nieznanych). Błąd ten występuje do momentu odwiedzin oryginalnego googlebota, co wyjaśniałoby sytuację powrotu utraconych pozycji.
Oto cytat:
Yes, if the pages are erroneously labeled as 404 errors and they have little or no PR they will fall out of the index. This is why many webmasters reported that their home pages were labeled as 404’s in GWT yet the home pages continued to be listed in the index.
I also believe Googlebot-Mobile to be the culprit. If it encounters a 301 it confuses it (for whatever reason) for a 404. It will stay a 404 until the original Googlebot comes back around and re-crawls the page.
Można więc się pokusić o zblokowanie googlebot-mobile. Jak można to zrobić opisuje to artykuł How to block Google Wireless Transcoder.