Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

というUserAgentだと思うんだけど、そのクローラーと同じIPアドレスから

Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-US; rv:1.8.1.4) Gecko/20080721 BonEcho/2.0.0.4

というUserAgentでのアクセスがあった。2.0.0.4の割にはGecko炎神エンジンが新しいなぁ。

画像とかは読んでないようなのでクローラーに間違いないんでしょうけど、これはいったいなんだろう。クローキングしてるサイトでも調べてるんでしょうか？

/entery_20080618_hogehoge.html
/entery_20080621_hagehage.html
/entery_20080621_foobar.html

といったURLをクロールして欲しくなくて以下のような設定を行った。

この場合、GooglebotやYahoo! Slurpは、/entry_ で始まる全てのURLをクロールしないが、Baiduだけは構わずしてくる。おそらくGooglebotやYSTは前方一致、baiduspiderは完全一致で判断していて、この設定でBaiduspiderがクロールしないのは /entry_ で終わるURL一つ (/entery_$と同じ?) だけなのだろう。

Googleのウェブマスターツールにある運用ツールでrobots.txtの挙動テストを行った限りでは、この設定で問題はなかった。
robots.txtの解釈はそれぞれの検索エンジン次第だろうから、GooglebotやYSTで思惑通りに機能するからといってBaiduに同じ挙動を望むのはこちらの身勝手だろうと思われる。

そんなわけで、とりあえずワイルドカードにしてみた。

1週間後に再度チェックしてみる。これで駄目だとURLを全部羅列しないといけないわけで、その場合、こうなります。

ヘルプセンター - 検索全般について（利用環境について） (百度)

を読んでもワイルドカードが使えるとはどこにも書いてないなぁ。

＃追記 (2008/7/12 12:45)
ワイルドカード、使えてるようです。クロールされなくなりました。