Unicodeとは？コードポイントと文字コードの仕組みを解説

Unicodeとは何か

Unicodeは、日本語、英語、漢字、記号、絵文字などをコンピュータで一貫して扱うための文字集合の規格です。環境ごとに異なる番号で文字を管理すると、送信側と受信側の対応がずれて文字化けが起こります。Unicodeは文字ごとに共通の番号を定め、この食い違いを減らします。

ここで重要なのは、Unicodeが「文字と番号の対応」を定め、UTF-8やUTF-16が「その番号をデータとして表す方法」を定めるという区別です。

ASCIIとUnicodeの関係

ASCIIは英字、数字、基本記号、制御文字を0〜127へ割り当てた文字コードです。Unicodeの先頭128コードポイントはASCIIと同じ割り当てになっています。

そのためASCIIだけで構成されたテキストは、UTF-8でも同じ1バイトの値になります。一方、ひらがなや漢字はASCIIの範囲外です。

コードポイントとU+表記

コードポイントはUnicodeの文字に割り当てられた整数です。通常はU+の後ろへ16進数を続けます。U+表記はバイト列ではなく、文字の識別番号です。

Unicodeの範囲と平面

Unicodeコードポイントの範囲はU+0000〜U+10FFFFで、65,536個ずつの17平面に分けられます。日常的に使う文字の多くは基本多言語面（BMP）にあり、範囲はU+0000〜U+FFFFです。

• 基本多言語面（BMP）：ラテン文字、ひらがな、カタカナ、多くの漢字などを収録します。
• 補助平面：一部の絵文字、追加漢字、歴史的文字などを収録します。
• サロゲート領域：U+D800〜U+DFFFはUTF-16の組み合わせに使うため、単独の文字には割り当てません。

「1文字」とコードポイント数は同じとは限らない

画面上で1文字に見える単位と、コードポイント1個は必ずしも一致しません。たとえば「が」は単独のU+304Cでも、「か」U+304Bと結合濁点U+3099の2コードポイントでも表せます。

さらに、家族の絵文字や国旗は複数のコードポイントを組み合わせて1つの見た目を作ることがあります。文字数を数える処理では、コードポイント数だけでなく書記素クラスタも考慮する必要があります。

NFC・NFDによるUnicode正規化

見た目が同じでもコードポイント列が異なる文字列を、用途に応じた形へそろえる処理がUnicode正規化です。NFCは可能な文字を合成し、NFDは基底文字と結合文字へ分解します。

よくある質問

関連ツール・ガイド