‘Googlebot’ タグのついている投稿

baidu(百度)はrobots.txtの解釈が他と少し違う

2008年6月30日 月曜日

BaiduspiderというBaidu(百度)のクローラーだけど、GooglebotやYSTのクローラーとrobots.txtの解釈が少し違うようだ。
(続きを読む…)

タグ:, ,
カテゴリー: 検索 | コメントはまだありません »