どうやらこのサイトの Movable Type のコメントやトラックバック用の CGI の URL がインデクスされてしまっている模様。
google してみると「mt-comments.cgi や mt-tb.cgi を robots.txt ではじけ」という説明が
そこここで見受けられる。
ただ、(スパム対策をがんばった Movable Type 3.2 な時代における効果のほどはさておき)
このサイトでは、一応気休めとして、コメントとトラックバックの CGI の名前を
変えているのに、robots.txt で明示的に書いたらある意味台無しな気がする。
(robots.txt は無視、とか robots.txt に書いてあるコンテンツを見てやれ、とかいうあくどい
クローラの挙動を想定すると。)
Movable Type の管理画面のアプリケーションコードが置かれているパスが /mt/ だとして、
"Disallow: /mt/" してはどうかと思うわけだけど、どうもそういう説明をしているサイトがあまり見当たらなかった。
でも、
http://www.sidhe.org/~dan/blog/archives/000289.html
のコメントには 「"Disallow: /mt/" でいい感じ」という意見を見つけた。
ネガティブな副作用はこれといってない気がするので、robots.txt を以下のように設定して様子見。
User-agent: * Disallow: /cgi-bin/ Disallow: /mt/
調べている途中にいきあたった
http://www.earthnut.net/archives/20040601_0232.php
で知ったけど、
http://www.whitehouse.gov/robots.txt
はちょっとすごい。sitemap のようだ。
