らっぱ王子

Google AdSenseのレポートを見てたら、クローラが不必要なところにアクセスしてエラーを出していた。対策しなきゃ。robots.txt というもので、クローラをブロックするよう設定できるみたい。

例えばこんな感じ。

User-agent: *
Disallow: /cgi/
Disallow: /mt/
Disallow: /Templates/
Disallow: /img/*.jpg$

テキストとして保存し、サイトのルートにFTPでアップする。

User-agent: * のように、アスタリスクを指定することでGoogleだけでなくその他のクローラも対象にできる。Disallow: /パス/ で、ブロックするフォルダ・ファイルを指定する。複数ある場合は改行して指定。CGIやMTがインストールされているフォルダ、Dreamweaverのテンプレートが入っているフォルダなどをブロック対象にすると良さげ。

あと、注意しなきゃなのが、robot.txt じゃなくて、robots.txt だってこと。危ない危ない。

参考
robots.txt ファイルを使用してページをブロックまたは削除する (Google)
robots.txt の設定・書き方、アクセス禁止・制限 (MEMORVA)