UnicodeとUTF-8の違い｜コードポイントとバイト列を比較

UnicodeとUTF-8の違い

UnicodeとUTF-8は役割が異なります。Unicodeは文字にコードポイントを割り当てる規格で、UTF-8はそのコードポイントを保存・送信できるバイト列へ変換する方法です。

「A」「あ」「😀」の変換例

コードポイントが同じでも、UTF-8とUTF-16では実際のデータ表現が変わります。以下はツールでも確認できる代表例です。

UTF-8はコードポイントに応じて1〜4バイトになる

UTF-8は可変長です。ASCII範囲は1バイトでそのまま表し、より大きなコードポイントは複数バイトへ分けます。

• U+0000〜U+007F：1バイト。ASCIIと同じ値です。
• U+0080〜U+07FF：2バイト。欧文文字などを含みます。
• U+0800〜U+FFFF：3バイト。日本語の多くがここに含まれます。
• U+10000〜U+10FFFF：4バイト。一部の絵文字や追加漢字を含みます。

「日本語はUTF-8で3バイト」と説明されることがありますが、すべての日本語関連文字が必ず3バイトという意味ではありません。補助平面にある文字は4バイトです。

UTF-8とUTF-16の違い

UTF-16は16ビットのコード単位を1個または2個使います。BMP内の多くの文字は1コード単位、U+10000以上の文字はサロゲートペアという2コード単位で表します。

UTF-8とUnicodeはどう使い分けるか

両者は選択肢として競合するものではありません。文字を識別するときはUnicodeコードポイントを使い、ファイル保存や通信ではUTF-8などの符号化方式を選びます。

• 文字の種類や範囲を示す：U+3042などのUnicodeコードポイント
• Webページを保存する：UTF-8
• HTTP APIでJSONを送受信する：通常はUTF-8
• JavaScriptでエスケープする：\u3042、\u{1F600}
• UTF-16ベースのデータを解析する：コード単位とサロゲートペアを考慮

UTF-8の文字化けを防ぐ方法

文字化けは、UTF-8のバイト列をShift_JISなど別の方式として解釈したときに起こります。作成・保存・送信・受信・表示で符号化方式をそろえることが基本です。

• HTMLの先頭付近で<meta charset="UTF-8">を指定します。
• HTTPのContent-Typeでもcharset=UTF-8を明示します。
• エディタやデータベース、CSV入出力の文字コードを確認します。
• 途中で無条件に再エンコードせず、元データの符号化方式を特定します。

よくある質問

関連ツール・ガイド