2010/06/24の記事で書いた「wordpressがヤフーにインデックスされない件について思うこと」のその後について少々。

その後もインデックス自体は増え続け、サイトエクスプローラーのインデックス状況には約３０と表示されるようになるなど順調？です。このサイトへのアクセス生logをちと真面目に眺めた結果、googleのクローラがやってくる頻度が「細やかすぎる」事がそもそもyahooのクロールがしょぼく感じるそもそもの一因っぽいですね。

何でそう感じるかというと…逆説的になりますが、yahooのクローラがこのサイトのsitemapをちゃんと見てクロールし始めた事を実感したからです。新しい記事は順調にインデックス（クロール）されているので、もしかしてsitemapの<lastmod>タグを最近の日時にすればガンガンインデックスされるかもっ！？と思いついて、全記事の最終更新時刻をエディタの置換で最近の日付にしてほおっておいた所…たま～にyahooのクローラがやって来ました。クロールのペースは特に変わらずですね。ところがです…既に十分にインデックスを完了しているgoogleのクローラは、<lastmod>タグの内容を真に受けてなのか…

再度「根こそぎ拾って」行きました…（Ｃ）臨場の倉石検視官…（爆）

もちろんクロールする優先順位とかも各社それぞれ重み付けされてるとは思いますが、有名サイトでは無いこのサイトをこれだけの頻度でクロール出来るgoogleのパワーが凄すぎるんだと感じた今日この頃です。