「NACSIS-CAT/ILL関連マニュアル＆ニュースレター」のrobots.txt

先日、NACSIS-ILLで初めて「履歴が50回を超えたエラー」を目にしました。

依頼→謝絶→再依頼を繰り返して51回目になると、「520 Server error(group repeat over(SENDG))」というエラーが返って、それ以上の処理は何もできなくなります。相手館と連絡したうえでNIIへ対応を依頼するようです。（『ILLシステム操作マニュアル 第7版』p.130）

で、それを調べている途中、どうもNACSIS-CAT/ILLのマニュアルなどがWeb検索にうまく出てこないと気づきまして……。

確認してみましたら、robots.txtで検索エンジンのクローラを拒否してましたよ。
……なんだろうこれ。使ってほしくないんだろうか、マニュアル。

User-agent: Googlebot 
Disallow: /

User-agent: Googlebot-Mobile 
Disallow: /

User-agent: Slurp 
Disallow: /

User-agent: bingbot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: BaiduImagespider
Disallow: /

User-agent: BaiduMobaider
Disallow: /

http://catdoc.nii.ac.jp/robots.txt

「User-agent: *」でないあたり、全拒否なのかなんなのか、よくわかりません。