Googleクロールエラーとさくらサーバー

Googleの管理者ツールを見てはじめて気づいたのだが、ある日を境に、僕の管理サイトの一つが突然クロールエラーを頻発しだした。

Increase in authorization permission errors
Google detected a significant increase in the number of URLs we were blocked from crawling due to authorization permission errors.

詳細を見てみると、403エラー。
403エラーとは、アクセスする権限がない、という意味。

しかし僕はサイトを閲覧できるし、認証制限等もかけていない。

どういうことか！？

恐ろしいことに、インデックスも削除されており、検索結果に表示されなくなってしまった。

かなり重大な事態。

同時期に、このサイトのメイン執筆者の一人から、

「facebookにリンクが貼れない」

という連絡が。

画像が表示されない場合は、facebookのデバッガーを使ってもらうようにお願いしているのだが（※）、デバッグしてもだめでした、とのこと。
※画像が表示されない or 違う画像が出てしまう場合のデバッガーの使い方についてはこちらの記事をどうぞ

当時、仕事が立て込んでおり、忙しかったので合間を見て考えられる原因を調べていたのだが、よくわからない。

共通するのは、

・グーグル様が403だ、アクセスできないとおっしゃる
・フェイスブック様も403だ、アクセスできないとおっしゃる
・しかし管理者である私も、他の人も、確かにアクセスできる。

まったく謎だったのですが、デバッガーのエラー画面で、php-cgi/…
という記述を手がかりに調べていくと、わかりました。
php-cgiは、さくらサーバー（スタンダードプラン）で、phpをcgiとして動かすために設置したファイル。

さらに、国内からはアクセスできるが、Googleやfacebookといった海外のクローラーを拒否するという挙動。

実はさくらサーバーが、GoogleとfacebookのIPアドレスを拒否していたのです。。。
http://support.sakura.ad.jp/manual/rs/others/ipfilter.html
http://www.sakura.ad.jp/news/sakurainfo/newsentry.php?id=870

運営は僕が行っておりますが、サイトとサーバーの所有はクライアントなので、
このニュースは知らなかったのでした。

それにしても、GoogleやfacebookといったIPははずして欲しいですよね。

ちなみに、僕の運営サイトでは、php-cgiが制限の対象になっており、通常のHTMLサイトの場合は問題ありません。

それからMTやWordpressを使っていて、海外から管理画面にアクセスする場合は、制限を無効にする必要がありますね。
さくらサーバーをお使いの運営者さんは気をつけましょう。