user-agentsは
"CyberNavi_WebGet/0.10 (http://www.cybertech-inc.co.jp/)"。
一応普通のクローラーなんだろうけど、アクセス頻度が1秒に数回以上。おそらくウェイトかけていない?
多分「検索名人」というビジネスサーチテクノロジの自社製品用にクロールしたんだろうけど。
というわけで
inetnum: 222.151.213.120 - 222.151.213.127 netname: BSEARCHTECH descr: Kagokura,Shinsukeと
inetnum: 219.113.228.248 - 219.113.228.255 netname: KG0015010102 descr: Cyber-Tecの範囲をサーバー負荷軽減のためdenyしました。
具体的には.htaccessに
deny from 222.151.213.120/255.255.255.248 deny from 219.113.228.248/255.255.255.248と追記しました。
負荷がかからないようなクローラーになったという情報が入るまではdenyしておこう。



[ コメントする ]