「CCCが運営する海老名市立図書館の公式サイトは「無断リンク禁止」」記事へのコメント

検索サイト

[Anonymous Coward]

Googleなどからの事前連絡はあったのでしょうか。

Re:

[Anonymous Coward]

User-agent: *
Crawl-delay: 10
# Directories
# 2015.08.17 ADD start
Disallow: /

https://ebina.city-library.jp/library/robots.txt [city-library.jp]

お断りします

嫌な雰囲気な robots.txt ですね

[Printable is bad. (38668)]

なんか、嫌な雰囲気な robots.txt ですね。

Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
Disallow: /admin/
Disallow: /?q=admin/

あたりは、管理用のプログラム等だと思われますが、robots.txt でクロールを拒否する以前に、そもそもWeb公開用のディレクトリ（public_html）以下に置くべきものではありません。アクセス時に適切に認証を要求していたとしても cron.php は余計だし、ルートに install.php なん

Re:嫌な雰囲気な robots.txt ですね

[Anonymous Coward]

これって「国立国会図書館法によるインターネット資料の収集」は
できるのかな？

Re:

[Anonymous Coward]

robots.txtって置いてあるだけだもん