In dem dritten Teil der Reihe „Zeichenkodierung“ geht es um Unicode.

Die Zeichenkodierung „Unicode“

Unicode ist ein internationaler Standard, in dem alle Schriftzeichen und Textelemente aller bekannten Schriftkulturen und Zeichensysteme digital festlegt werden. Bei Unicode existieren zwei Zuordnungsmethoden: das Unicode Transformation Format (UTF) und die Universal Coded Character Set (UCS).

Seit der Unicode Version 4.0 von 2011 sind beide Standards (UTF, UCS) hinsichtlich der Kodierungen deckungsgleich. Deshalb wird im folgenden Teil ausschließlich auf UTF eingegangen.

UTF (Unicode Transformation Format)

Mit dieser Kodierung sind je Format 1.114.112 Zeichen (Codepoints) darstellbar. Die verschieden UFT-Formate und deren Eckdaten stellt die folgende Tabelle dar:

Ein Vorteil von UTF ist, dass eine verlustfreie Umwandlung von einem zum anderen Format möglich ist.

Bei Unicode existieren zwei Wege, die Informationen zu speichern. Exemplarisch wird der Text “Hallo” verwendet, daraus ergeben sich zwei Varianten, je nachdem, wie die Bytes angeordnet werden.

Die Unterscheidung wird durch das Byte Order Mark vorgenommen.

BOM (Byte Order Mark)

Das Byte Order Mark gibt an, welche Variante für die Kodierung eines Textes angewendet wird. Dadurch kann bei der Verarbeitung von Dateien mit unterschiedlichen Programmen eine Unterscheidung erfolgen. Bei den Kodierungen UTF-16 und UTF-32 muss die BOM-Byte-Reihenfolge angegeben werden, bei UTF-8 ist die Angabe optional.

Es wird zwischen Little Endian (LE) und Big Endian (BE) unterschieden.

Codepoint

Die Position eines Zeichens in einem Zeichensatz ist der sog. Codepoint („Codeposition“). Im Unicode-Standard werden die Zeichen in einem festgelegten Format adressiert.

U+xxxx

Das “U” steht dabei für Unicode und “xxxx” steht für eine hexadezimale Darstellung eines Zeichens. Beispielsweise kann das Euro “€” Zeichen mit dem Codepoint

U+20AC

angesprochen werden. Eine Darstellung des Zeichens auf einer Webseite stellt sich wie folgt dar:

€

Eine Übersicht aller Zeichen ist unter ascii-table.com/unicode.php zu finden.

Vorherige Teile:

Zeichenkodierung – Grundlagen und ASCII (Teil 1)

Zeichenkodierung – ANSI (Teil 2)

Hier kommt der zweite Teil aus der Reihe “Zeichenkodierung”.

Die Zeichenkodierung “ANSI”

ANSI steht für American National Standards Institute, dabei handelt es sich um eine Erweiterung des ASCII-Codes.

Alle Zeichen von 0 bis 128 sind identisch dem ASCII Zeichensatz. Alle Zeichen über 128 unterscheiden sich darin, dass viele zusätzliche Sonderzeichen (Zahlenbrüche, Vokale mit französischen Accent oder Währungssymbole) dargestellt werden.

Insgesamt sind 256 Zeichen darstellbar. Bei der Kodierung werden jedem Zeichen 8 Bits zugeordnet.

Dadurch ergeben sich 2⁸ = 256 verschiedene Kombinationen.

Eine Übersicht aller Zeichen ist unter ascii-table.com/ansi-codes.php zu finden.

Vorherige Teile:

Zeichenkodierung – Grundlagen und ASCII (Teil 1)

Bei der elektronischen Datenverarbeitung werden Zeichen, also bspw. Buchstaben, die Du hier gerade liest, als Zahlen kodiert. Dabei können Zeichen auf verschiedene Arten kodiert werden (Morsezeichen, Töne, Zahlen, …). Mit der fortschreitenden Entwicklung des Computers entstanden verschiedene Zeichenkodierungen. In diesem Teil geht es um allgemeine Begrifflichkeiten und die Kodierung ASCII.

Zeichensatz

Ein Zeichensatz (character set, kurz charset) ist die Menge aller Schriftzeichen. In dieser Menge können Buchstaben eines Alphabetes, Ziffern, Symbole oder Sonderzeichen enthalten sein.

Zeichenkodierung

Eine Zeichenkodierung beschreibt die konkrete Abbildung von Zeichen auf Byte-Werte.

Codepoint

In einem Zeichensatz werden Zeichen in einer bestimmten Reihenfolge (code space) angeordnet. Zur Verdeutlichung ein Beispiel mit einem Zeichensatz welcher vier Buchstaben enthält.

Die Position eines Zeichens in einem Zeichensatz ist der sog. Codepoint („Codeposition“). Ein Zeichensatz mit Codepoints wird als ein codierter Zeichensatz (coded character set) bezeichnet.

Schriftart

Für die grafische Darstellung von Zeichen werden Schriftarten verwendet. In der Regel weisen Schriftarten eine konsistente Gestaltung auf (Dicke der Buchstaben, Serifen, …).

Tastatur-Layout

Das Tastatur-Layout kann auch als Tastenbelegung bezeichnet werden. Dabei wird jeder Taste auf der Tastatur ein Codepoint zugeordnet. Beispielsweise wird für die Ausgabe des Buchstabens “z” die beschriftete Taste “z” auf einer deutschen Tastatur geklickt. Wird die Tastenbelegung auf US-amerikanisch geändert, erzeugt dieselbe Taste ein “y”.

Die Zeichenkodierung “ASCII”

Der American Standard Code for Information Interchange kurz ASCII umfasst 128 Zeichen. Davon bestehen 33 aus nicht druckbaren und 95 aus druckbaren Zeichen.

Bei der Kodierung wird jedem Zeichen ein Bitmuster aus 7 Bits zugeordnet. Das 8. Bit eines Bytes wird nicht benutzt oder wird für verschiedene andere Zwecke verwendet. Dadurch ergeben sich  2⁷ = 128 verschiedene Kombinationen. Hier ein kleiner Abriss der Kodierung:

Eine Übersicht aller Zeichen ist unter ascii-table.com/ascii.php zu finden.