Googlebotさんはrobots.txtをちゃんと見て帰ってくれてるけど、魚拓系はアレだからFW使うしかないかなぁ。

ふつうに他所の箪笥にキャッシュされてるの拾われそうだけど。