全信協spamクローラーの特徴として「Cookieを食わない」「リファが空白」「リクエストに#以下を付けてくる」「.marunouchi.tokyo.ocn.ne.jpと.ap.yournet.ne.jpを使っている」「user-agentがMozilla/4.0 (compatible; MSIE 6.0; Windows 98)」というものがあります。
このサイトはhnsを使っているので
[hns-dev:32] cookie の強制_
を適用しています。だからCookieを食べないクローラーはそもそもアクセスできていません。
また
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^$
RewriteCond %{REMOTE_HOST} \.marunouchi\.tokyo\.ocn\.ne\.jp$ [NC]
RewriteCond %{HTTP_USER_AGENT} "^Mozilla/4.0 \(compatible; MSIE 6.0; Windows 98\)$"
RewriteRule ^.*$ /ほげ.html [L]
みたいな.htaccessを書いています。
Apacheの設定でHostnameLookups Offの場合は「.marunouchi.tokyo.ocn.ne.jp」という逆引き指定を使えないので
RewriteCond %{REMOTE_ADDR} 221\.188\. [OR]
RewriteCond %{REMOTE_ADDR} 222\.146\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.112\.
とREMOTE_ADDR環境変数で判断します。
「61.112.72.0〜61.112.81.255」と「222.146.105.0〜222.146.203.255」と「221.188.9.0〜221.188.83.255」が丸の内OCNのようです。他にもあるかも。
※追記
羊堂本舗(2004-06-26)_
で他のIPを調査した結果があり。
それに基づいて誤爆覚悟のmod_rewriteを書くとすると
RewriteCond %{REMOTE_ADDR} 61\.112\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.199\. [OR]
RewriteCond %{REMOTE_ADDR} 219\.114\. [OR]
RewriteCond %{REMOTE_ADDR} 219\.160\. [OR]
RewriteCond %{REMOTE_ADDR} 219\.165\. [OR]
RewriteCond %{REMOTE_ADDR} 220\.97\. [OR]
RewriteCond %{REMOTE_ADDR} 220\.104\. [OR]
RewriteCond %{REMOTE_ADDR} 221\.188\. [OR]
RewriteCond %{REMOTE_ADDR} 221\.189\. [OR]
RewriteCond %{REMOTE_ADDR} 222\.146\.
となる。
もっと厳密に書くのなら
RewriteCond %{REMOTE_ADDR} 61\.112\.72\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.112\.73\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.112\.74\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.112\.75\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.112\.76\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.112\.77\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.112\.78\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.112\.79\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.112\.80\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.112\.81\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.199\.41\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.199\.42\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.199\.43\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.199\.44\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.199\.45\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.199\.46\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.199\.47\. [OR]
RewriteCond %{REMOTE_ADDR} 61\.199\.48\. [OR]
RewriteCond %{REMOTE_ADDR} 219\.114\.26\. [OR]
RewriteCond %{REMOTE_ADDR} 219\.114\.27\. [OR]
...(snip)...以下略
というかんじ？ もっといい方法が有るかもしれないが。
※追記
正規表現で書く方法が
羊堂本舗_
に。
まともにWindows 98を使って閲覧している人だったら、リファを返してくるでしょうから。何かのツールでリファを空白に制限していない限り問題ないはずです。
丸の内OCNを使っている人を一律denyするよりも
「組織ぐるみ(?)でspam送信spam投稿 (株)全信協」_
などの解説サイトへリンクを張って「ocnが対処するまで読めません」などと注意書きするほうがいいかも。
でもWindows 98でリファなしでアクセスしてくる人なんて、全信協クローラーぐらいだろうから注意書きは必要ないかなぁ。
リファ無しアクセスは結構あるな:
自動ニュース作成Fからのアクセスログを発見。
こういうリダイレクタ経由だと大抵リファが無いのね。
[ コメントする ]