Googleクロールエラーとさくらサーバー

記事内に広告が含まれています。

Googleの管理者ツールを見てはじめて気づいたのだが、ある日を境に、僕の管理サイトの一つが突然クロールエラーを頻発しだした。
Googleウェブマスターツール

Increase in authorization permission errors
Google detected a significant increase in the number of URLs we were blocked from crawling due to authorization permission errors.

詳細を見てみると、403エラー。
403エラーとは、アクセスする権限がない、という意味。

しかし僕はサイトを閲覧できるし、認証制限等もかけていない。

どういうことか!?

恐ろしいことに、インデックスも削除されており、検索結果に表示されなくなってしまった。

かなり重大な事態。

同時期に、このサイトのメイン執筆者の一人から、

「facebookにリンクが貼れない」

という連絡が。

フェイスブックで403エラー
具体的には、リンクをfacebookに投稿すると、まず画像が表示されない。
そして、同じく403 Forbiddenの文字が。。

画像が表示されない場合は、facebookのデバッガーを使ってもらうようにお願いしているのだが(※)、デバッグしてもだめでした、とのこと。
※画像が表示されない or 違う画像が出てしまう場合のデバッガーの使い方についてはこちらの記事をどうぞ

当時、仕事が立て込んでおり、忙しかったので合間を見て考えられる原因を調べていたのだが、よくわからない。

共通するのは、

・グーグル様が403だ、アクセスできないとおっしゃる
・フェイスブック様も403だ、アクセスできないとおっしゃる
・しかし管理者である私も、他の人も、確かにアクセスできる。

まったく謎だったのですが、デバッガーのエラー画面で、php-cgi/…
という記述を手がかりに調べていくと、わかりました。
php-cgiは、さくらサーバー(スタンダードプラン)で、phpをcgiとして動かすために設置したファイル。

さらに、国内からはアクセスできるが、Googleやfacebookといった海外のクローラーを拒否するという挙動。

実はさくらサーバーが、GoogleとfacebookのIPアドレスを拒否していたのです。。。
http://support.sakura.ad.jp/manual/rs/others/ipfilter.html
http://www.sakura.ad.jp/news/sakurainfo/newsentry.php?id=870

運営は僕が行っておりますが、サイトとサーバーの所有はクライアントなので、
このニュースは知らなかったのでした。

それにしても、GoogleやfacebookといったIPははずして欲しいですよね。

ちなみに、僕の運営サイトでは、php-cgiが制限の対象になっており、通常のHTMLサイトの場合は問題ありません。

それからMTやWordpressを使っていて、海外から管理画面にアクセスする場合は、制限を無効にする必要がありますね。
さくらサーバーをお使いの運営者さんは気をつけましょう。

コメント

タイトルとURLをコピーしました