Movable Type で Individual Archive を YYYY/MM/DD/foo/index.php というような形式にしていて、
Google Sitemaps を Google Sitemaps Generator の directory メソッド
で生成していると、YYYY/MM/DD/foo/ というディレクトリもサイトマップに含まれる。
httpd.conf などで Directory Listing を停止したりしていれば、クローラがやってきても Forbidden が返っておわりなので、かまわないといえばかまわないのかもしれないけど、そもそも余計な URL はサイトマップにいれない、
というのもスジだろう。
というわけで、Google Sitemaps Generator の config.xml で以下のような Filter をかけておくとよいかもしれない。
<filter action="drop" type="regexp" pattern="archives/\d{4}/\d{2}/\d{2}/$" />
2006/05/10 に foo と bar というエントリを書いたとして、
- archives/2006/05/10/foo/
- archives/2006/05/10/bar/
というパスはクロールしてほしいけど、archives/2006/05/10/ をクロールしてもらっても意味無し、だから、それはサイトマップから削ろう、という話。
