アカウント名:
パスワード:
クロールされたくないとか? まあ最近のGooglebotはヘッドレスChromiumなのでJavaScriptの解析ごとき余裕のよっちゃん(死語)だが。さあ早く画像をスキャンしたPDFでお詫びを掲載する作業に戻るんだ
総務省なんかはInternetArchiveにクロールされたくないらしく、狙い撃ちで弾いてるんですよね
User-agent: ia_archiverDisallow: /
https://www.soumu.go.jp/robots.txt [soumu.go.jp]
狙い撃ちは酷いですね。クローラー全てとかならまだわかるけど。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
未知のハックに一心不乱に取り組んだ結果、私は自然の法則を変えてしまった -- あるハッカー
クロールbotなどが (スコア:0)
クロールされたくないとか? まあ最近のGooglebotはヘッドレスChromiumなのでJavaScriptの解析ごとき余裕のよっちゃん(死語)だが。
さあ早く画像をスキャンしたPDFでお詫びを掲載する作業に戻るんだ
Re: (スコア:0)
総務省なんかはInternetArchiveにクロールされたくないらしく、狙い撃ちで弾いてるんですよね
https://www.soumu.go.jp/robots.txt [soumu.go.jp]
Re:クロールbotなどが (スコア:0)
狙い撃ちは酷いですね。
クローラー全てとかならまだわかるけど。