unicode-memo.md

文字コード・Unicodeメモ

---

• macosxの改行コードは複雑で、CRとLFとその他が混在するようだ。大変。
  • http://www.drycarbon.com/marimo/index.rb?room=droom;memo=Objective-C+%3A+NSString

---

Unicode

• Grapheme Cluster
  • legacy grapheme cluster と extended grapheme cluster がある
  • legacy grapheme cluster は互換性のためなので、通常は、extended grapheme cluster を使えば良い。

結合文字列 Combining Character Sequence

コードポイント

• utf8
• utf16
• utf32

今の理解: utf8やutf16のコードユニットの列→(utf32==コードポイントの列)→(結合文字列==Grapheme Cluster)の列

BOM

サロゲートペア surrogate pairs utf16の2つで1つのコードポイントを表す

Unicodeの用語: http://www.unicode.org/glossary/

Cocoaのstring objects(NSString系)はutf16基準。 character = “16-bit platform-endian UTF-16”

https://developer.apple.com/library/content/documentation/Cocoa/Conceptual/Strings/Articles/stringsClusters.html

---

Shift JIS, CP932, Windows-31J(MS932), JIS X 0208

https://qiita.com/kasei-san/items/cfb993786153231e5413

---

• 1文字とは何か。数え方

  • byte(octet)
  • コードユニット
  • Unicode code point
  • 書記素クラスタ

• Unicode自身も言語タグを持つが非推奨である† †

• Java/ScalaのUnicodeエスケープで改行ではないが改行を意味するシーケンスを入れることができる

  • セキュリティリスクがある
  • https://hydrocul.github.io/wiki/programming_languages_diff/string/unicode-escape.html
  • https://qiita.com/cha84rakanal/items/06477529d48c52f26e2d

• Unicodeに含まれる特殊な改行が問題を起こすリスクがある

  • U+2028 LINE SEPARATOR (行分割子) U+2029 PARAGRAPH SEPARATOR (段落分割子)など
  • こちらもセキュリティリスクがあるはず
  • https://scrapbox.io/bbr-program-memo/U+2028とU+2029の取り扱い

• 埼玉の「玉」には色々あり、問題が生じるリスクがある。

  • https://twitter.com/hal_sk/status/1281853581218336768?s=20

• MJ

  • 文字情報基盤 MJ ⸺ 既にUnicodeに収録されている†
  • MJ+ ⸺ MJから漏れていたもの。策定中 † ‡ †††