パスワードを忘れた? アカウント作成
216719 journal

Livingdeadの日記: 本家スラドとスラッシュドットジャパンのrobots.txtの違い

日記 by Livingdead

本家スラッシュドットではどうやら日記ページが検索エンジンのインデックスに含まれないようだ。
これに対して、スラッシュドットジャパンの日記ページはクロールされている模様。
違いは robots.txt 。

本家のrobots.txt

# robots.txt for Slashdot.org
# $Id$
# "Any empty [Disallow] value, indicates that all URLs can be retrieved.
# At least one Disallow field needs to be present in a record."
 
User-agent: Mediapartners-Google
Disallow:
 
User-agent: Googlebot
Crawl-delay: 100
Disallow: /firehose.pl
Disallow: /submit.pl
Disallow: /comments.pl
Disallow: /users.pl
Disallow: /zoo.pl
Disallow: firehose.pl
Disallow: submit.pl
Disallow: comments.pl
Disallow: users.pl
Disallow: zoo.pl
Disallow: /~
Disallow: ~
 
User-agent: Slurp
Crawl-delay: 100
Disallow:
 
User-agent: Yahoo-NewsCrawler
Disallow:
 
User-Agent: msnbot
Crawl-delay: 100
Disallow:
 
User-agent: *
Crawl-delay: 100
Disallow: /authors.pl
Disallow: /index.pl
Disallow: /comments.pl
Disallow: /firehose.pl
Disallow: /journal.pl
Disallow: /messages.pl
Disallow: /metamod.pl
Disallow: /users.pl
Disallow: /search.pl
Disallow: /submit.pl
Disallow: /pollBooth.pl
Disallow: /pubkey.pl
Disallow: /topics.pl
Disallow: /zoo.pl
Disallow: /palm
Disallow: authors.pl
Disallow: index.pl
Disallow: comments.pl
Disallow: firehose.pl
Disallow: journal.pl
Disallow: messages.pl
Disallow: metamod.pl
Disallow: users.pl
Disallow: search.pl
Disallow: submit.pl
Disallow: pollBooth.pl
Disallow: pubkey.pl
Disallow: topics.pl
Disallow: zoo.pl
Disallow: /~
Disallow: ~

スラッシュドットジャパンのrobots.txt

# robots.txt file for http://slashdot.jp
# please contact slashmaster@slashdot.jp with questions or concerns
 
User-agent: *
Crawl-delay: 5
Disallow: /404.pl
Disallow: /admin.pl
Disallow: /ajax.pl
Disallow: /blob.pl
Disallow: /bookmark.pl
Disallow: /fileadmin.pl
Disallow: /login.pl
Disallow: /messages.pl
Disallow: /metamod.pl
Disallow: /pubkey.pl
Disallow: /relocate.pl
Disallow: /slashdot-it.pl
Disallow: /stats.pl
Disallow: /tags.pl
Disallow: /users.pl
Disallow: /zoo.pl
 
User-agent: Mediapartners-Google*
Disallow:

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
typodupeerror

アレゲはアレゲ以上のなにものでもなさげ -- アレゲ研究家

読み込み中...