Googleの管理者ツールを見てはじめて気づいたのだが、ある日を境に、僕の管理サイトの一つが突然クロールエラーを頻発しだした。
Increase in authorization permission errors
Google detected a significant increase in the number of URLs we were blocked from crawling due to authorization permission errors.
詳細を見てみると、403エラー。
403エラーとは、アクセスする権限がない、という意味。
しかし僕はサイトを閲覧できるし、認証制限等もかけていない。
どういうことか!?
恐ろしいことに、インデックスも削除されており、検索結果に表示されなくなってしまった。
かなり重大な事態。
同時期に、このサイトのメイン執筆者の一人から、
「facebookにリンクが貼れない」
という連絡が。
具体的には、リンクをfacebookに投稿すると、まず画像が表示されない。
そして、同じく403 Forbiddenの文字が。。
画像が表示されない場合は、facebookのデバッガーを使ってもらうようにお願いしているのだが(※)、デバッグしてもだめでした、とのこと。
※画像が表示されない or 違う画像が出てしまう場合のデバッガーの使い方についてはこちらの記事をどうぞ
当時、仕事が立て込んでおり、忙しかったので合間を見て考えられる原因を調べていたのだが、よくわからない。
共通するのは、
・グーグル様が403だ、アクセスできないとおっしゃる
・フェイスブック様も403だ、アクセスできないとおっしゃる
・しかし管理者である私も、他の人も、確かにアクセスできる。
まったく謎だったのですが、デバッガーのエラー画面で、php-cgi/…
という記述を手がかりに調べていくと、わかりました。
php-cgiは、さくらサーバー(スタンダードプラン)で、phpをcgiとして動かすために設置したファイル。
さらに、国内からはアクセスできるが、Googleやfacebookといった海外のクローラーを拒否するという挙動。
実はさくらサーバーが、GoogleとfacebookのIPアドレスを拒否していたのです。。。
http://support.sakura.ad.jp/manual/rs/others/ipfilter.html
http://www.sakura.ad.jp/news/sakurainfo/newsentry.php?id=870
運営は僕が行っておりますが、サイトとサーバーの所有はクライアントなので、
このニュースは知らなかったのでした。
それにしても、GoogleやfacebookといったIPははずして欲しいですよね。
ちなみに、僕の運営サイトでは、php-cgiが制限の対象になっており、通常のHTMLサイトの場合は問題ありません。
それからMTやWordpressを使っていて、海外から管理画面にアクセスする場合は、制限を無効にする必要がありますね。
さくらサーバーをお使いの運営者さんは気をつけましょう。
コメント