「すべての言語版のThunderbird、送信メールをUTF-8に変更へ」記事へのコメント

ちゃんとBOM

[Anonymous Coward]

付けとけよ

Re:ちゃんとBOM

[iwa (2980)]

charsetが明示されてるならいらない。

Re:

[Anonymous Coward]

作りの悪いアプリを炙り出すためにもBOM付けは必要

Re:

[Anonymous Coward]

BOMがないとおかしくなるアプリこそ作りが悪い

Re:

[Anonymous Coward]

PHPのことですね。

Re:

[Anonymous Coward]

よし、PHPは使用禁止な

Re:

[Anonymous Coward]

正規化しろって話なら正規化するアプリのほうが圧倒的少数だったりしないかね？
macが無駄にバイト数増える正規化掛けて従来型文字コードと1:1対応できないクソファイル名を吐きまくるって例くらいじゃね？普段見るのって。

そもそもUTF-8でBOM付けること自体が本来のUTF-8ではおかしい処理だし。

Re:

[Anonymous Coward]

UTF-8の正規化なんてアプリが面倒みるわけなかろう。
string型(の中身)か、ファイル/ストリームのエンコーダ/デコーダが勝手にやること。
C でベタに書くのでもなければ、正規化されないライブラリ使うほうが面倒くさい。

macのファイル名は UTF8-MACとも呼ぶべき特殊なフォーマット
日本語に関してはNFDだが、ほとんどの欧米言語ではNFCで、一部NFDという混在正規化
方針も決めない、結果も確認しないまま各国のローカライズスタッフが勝手に実装したのをマージしただけなんだろうな。

Re:

[Anonymous Coward]

大間違いだ。
Macのファイル名の正規化は「互換領域の文字はそのまま、それ以外をNFD」。
通常のNFC/NFDでは互換文字は字形が変わるにも関わらず正規化の対象になってしまっているからこうなってる。有名なのは示偏の神が神に化けるとか。
NFCではなくNFDなのは、NFCは新しい字の追加で等価な短い形式ができるかもしれないのに対してNFDの方が将来に渡って安定とされていたから。
(今は字形は互換文字ではなくIVSで指定できるから過去の遺物ではある)

Re:

[Anonymous Coward]

ほんとにそうなってたら時折かな文字の濁点半濁点が分離してる文字列が時折紛れ込むなんてことは起きねぇよ。
大概のアプリ(が使うライブラリの処理モード)は正規化で元の意図が欠落するのを嫌ってか、
文字境界を正しく処理するだけで正規化には手を付けない。
特にファイル操作ではそうでないと一々未変更箇所に差分が生じて迷惑極まる。

あと、macのアレは特殊であろうと特定の形に正規化してることは間違いない。