ИМЯ

charsets - стандарты наборов символов и интернационализация

ОПИСАНИЕ

В этой справочной странице представлен обзор различных стандартов наборов символов
и их использование в Linux до повсеместного распространения Юникода. Часть данной
информации будет полезна людям, работающим в старых системах или со старыми
документами.

Обсуждаемые стандарты: ASCII, GB 2312, ISO 8859, JIS, KOI8-R, KS и Юникод.

В основном, описываются наборы символов, реально используемые в локалях, и
опускается всё огромное количество наборов, существующих в других системах.

ASCII
ASCII (American Standard Code For Information Interchange; американский
стандартный код для обмена информацией) — первоначальный 7-битный набор символов,
разработанный для американского варианта английского языка. Также известен как
US-ASCII. В настоящее время описан в стандарте ISO 646:1991 IRV (International
Reference Version).

Существуют различные варианты (из 7 бит) ASCII, в которых американский символ
доллара и знаки пунктуации заменяются на знаки валют различных стран (Германия,
Франция, Испания и другие). Все эти наборы устарели; в glibc не поддерживаются
локали, которые в действительности не содержат набор ASCII.

Юникод, при использовании UTF-8, является совместимым с ASCII; простой (plain)
текст ASCII по-прежнему отображается корректно в современных системах,
использующих UTF-8.

ISO 8859
ISO 8859 — это серия из 15-и 8-битных наборов символов, каждый из которых имеет в
своей нижней (7-битной) половине коды ASCII, невидимые управляющие символы в
позициях от 128 до 159 и 96 графических символов фиксированной ширины в позициях
160–255.

Из них самой важной является последовательность ISO 8859-1 («Latin Alphabet No .1»
/ Latin-1). Она широко распространена, поддерживается различными системами и
постепенно заменяется Юникодом. Символы ISO 8859-1 также являются первыми 256
символами Юникода.

Поддержка в консоли других наборов символов 8859 осуществляется в Linux с помощью
пользовательских утилит (таких, как setfont(8)), меняющих привязки клавиатуры,
таблицу графики EGA и передающих драйверу консоли таблицу соответствий символов
шрифтам.

Ниже приводится краткое описание каждого набора:

8859-1 (Latin-1)
Latin-1 охватывается большинство западноевропейских языков, таких, как:
албанский, баскский, датский, английский, фарезский, галисийский,
исландский, ирландский, итальянский, норвежский, португальский, испанский и
шведский. Отсутствие лигатуры IJ/ij голландского языка, œ французского языка
и старых „немецких“ кавычек считается приемлемым.

8859-2 (Latin-2)
Latin-2 охватывает множество славянских и центрально и восточно-европейских
литовский языки. Но сейчас они охватываются 8859-10 и 8859-13.

8859-5 Кириллические символы болгарского, белорусского, македонского, русского,
сербского и (почти полностью) украинского языков. Никогда широко не
использовался, смотрите ниже описание KOI8-R/KOI8-U.

8859-6 Был создан для арабского языка. Таблица начертаний (глифов) 8859-6 — это
шрифт отдельных форм букв постоянной ширины; корректная программа
отображения должна объединить их, используя корректные начальные,
промежуточные и конечные формы.

8859-7 Был создан для современного греческого языка в 1987 году, обновлён в 2003
году.

8859-8 Поддерживает современный иврит без niqud (знаки пунктуации). Niqud и полный
библейский иврит не входят в этот набор.

8859-9 (Latin-5)
Это вариант Latin-1, в котором исландские буквы заменены турецкими.

8859-10 (Latin-6)
Latin-6 добавляет последние инуитские (гренландские) буквы и буквы сами
(Sami Lappish), отсутствующие в Latin-4, для того, чтобы объединить шрифты
всех нордических языков.

8859-11
Поддерживает тайский алфавит и очень похож на стандарт TIS-620.

8859-12
Этот набор не существует.

8859-13 (Latin-7)
Поддерживает балтийские языки, в частности, латвийские символы не вошедшие
в Latin-4.

8859-14 (Latin-8)
Это кельтский набор символов для старого ирландского, мэнского,
гаэлльского, уэльского, корнуэльского и бретонского языков.

8859-15 (Latin-9)
Latin-9 похож на широко используемый Latin-1, но в нём заменены некоторые
мало используемые символы на знак евро, а также французские и финские
лигатуры, отсутствующие в Latin-1.

8859-16 (Latin-10)
Этот набор включает в себя многие южно-европейские языки, и самое главное,
румынский язык поддерживается более полно чем в Latin-2.

KOI8-R / KOI8-U
KOI8-R — набор символов не ISO, являлся популярным в России до Юникода. Нижняя
часть таблицы описывает ASCII, верхняя — набор символов кириллицы, более
совершенный по сравнению с ISO 8859-5. KOI8-U, основанный на KOI8-R, имеет более
полную поддержку украинского языка. Ни один из этих наборов не совместим с
ISO-2022 (в отличии от ISO 8859).

Поддержка символов KOI8-R в консоли осуществляется Linux с помощью
пользовательских утилит, меняющих привязки клавиатуры, таблицу графики EGA и

Big5
Big5 — ранее популярный набор в Тайване для отображения традиционного китайского
языка (Big5 является и кодировкой и набором символов). Он включает в себя ASCII.
Символы, не входящие в ASCII, представлены двумя байтами. Первый байт (символ
представлен двумя байтами) берётся из диапазона xa1–0xfe. Big5 и его расширение
широко используются в Тайване и Гонконге. Он не совместим с ISO 2022.

JIS X 0208
JIS X 208 является стандартным набором для японского языка. Существуют несколько
других японских стандартов, например, JIS X 0201, JIS X 0212 и JIS X 0213, но
первый — самый распространенный. Символы берутся из массива 94x94 и представлены
двумя байтами, каждый из которых находится в интервале 0x21–0x7e. Заметьте, что
JIS X 0208 является набором символов, а не кодировкой. Это означает, что JIS X
0208 не может представлять текстовую информацию самостоятельно, а является лишь
компонентом для кодировок, таких как EUC-JP, Shift_JIS и ISO-2022-JP. EUC-JP —
наиболее важная кодировка для Linux и включает в себя ASCII и JIS X 0208. В EUC-JP
для символов JIS X 0208 отводится по 2 байта, значение каждого из которых равно
коду JIS X 0208 плюс 0x80.

KS X 1001
KS X 1001 это корейский национальный стандарт для наборов символов. Как и в JIS X
0208, символы берутся из матрицы 94x94 и состоят из двух байт. KS X 1001, так же
как и JIS X 0208, является компонентом для кодировок EUC-KR, Johab и ISO-2022-KR.
EUC-KR является наиболее важной кодировкой для Linux и включает в себя ASCII и KS
X 1001. KS C 5601 это старое название KS X 1001.

ISO 2022 и ISO 4873
Стандарты ISO 2022 и 4873 описывают модель управления шрифтами, основанную на
практике работы с VT100. Эта модель (частично) поддерживается ядром Linux и
xterm(1). Были определены некоторые наборы символов на основе ISO 2022, особенно
популярного в Японии.

Имеется 4 набора графических символов, называемых G0, G1, G2 и G3. Один из них
является текущим набором символов для кодов со старшим битом, равным нулю
(изначально G0), другой — текущим набором для кодов со старшим битом, равным
единице (изначально G1). Каждый набор графических символов имеет 94 или 96
символов и, по сути, является 7-битным набором символов. Используются либо коды
040–0177 (041–0176), либо 0240–0377 (0241–0376). Размер G0 всегда равен 94-м
символам и содержит коды 041–0176.

Переключение с одного набора символов на другой производится с помощью функций
сдвига ^N (SO или LS1), ^O (SI или LS0), ESC n (LS2), ESC o (LS3), ESC N (SS2),
ESC O (SS3), ESC ~ (LS1R), ESC } (LS2R), ESC | (LS3R). Функция LSn делает набор
символов Gn текущим для кодов со старшим битом, равным нулю. Функция LSnR делает
набор символов Gn текущим для кодов со старшим битом, равным единице. Функция SSn
делает набор символов Gn (n=2 или 3) текущим только для следующего символа
(независимо от значения старшего бита).

94-символьный набор становится набором символов Gn c помощью последовательности
ESC ( xx (для G0), ESC ) xx (для G1), ESC * xx (для G2), ESC + xx (для G3), где xx
является символом или парой символов, которая содержится в ISO 2375 International
Register of Coded Character Sets (международном реестре кодированных наборов
символов). Например, ESC ( @ выбирает в качестве G0 набор символов ISO 646, ESC (
A выбирает стандартный набор символов UK (со знаком фунта вместо знака номера),
ESC ( B выбирает ASCII (со знаком доллара вместо знака валюты), ESC ( M выбирает
набор символов для африканских языков, ESC ( ! A выбирает кубинский набор символов
и т.д. и т.п.
более новая версия — при помощи ESC & @ ESC $ B.

ISO 4873 оговаривает более направленное использование наборов символов, при
котором G0 постоянен (всегда ASCII), так что G1, G2 и G3 могут быть заданы только
для кодов с установленным старшим битом. При этом ^N и ^O больше не используются,
ESC ( xx может быть использована только с xx=B, а ESC ) xx, ESC * xx и ESC + xx
эквивалентны ESC - xx, ESC . xx и ESC / xx, соответственно.

TIS-620
TIS -62 — это национальный стандартный набор тайских символов, включающий ASCII.
Как и в стандартах ISO 8859, тайские символы находятся в интервале 0xa1–0xfe.

Юникод
Юникод (ISO 10646) — стандарт, которым можно представить любой символ из всех
известных человеку языков. В структуре Юникода на кодирование каждого символа
выделяется 20.1 бит. Так как большинство компьютеров не поддерживают целых чисел
размерностью 20.1 бит, то Юникод, обычно, кодируется в 32-битных целых, а также
или серией 16-ти битных целых (UTF-16, 2 16-битных целых требуется только при
кодировании редких символов), или серией 8-битных байт (UTF-8).

Для представления Юникода в Linux используется 8-битный формат преобразования
Юникода (UTF-8 - 8-bit Unicode Transformation Format). UTF-8 — это формат
непостоянной длины для кодирования Юникода. В нём используется 1 байт для
кодирования 7-и битов, 2 байта для 11-и битов, 3 байта для 16-и битов, 4 байта для
21-ого бита, 5 байтов для 26-и битов, 6 байтов для 31-ого бита.

Пусть 0, 1, x соответствует нулю, единице и случайному биту. Байт 0xxxxxxx
соответствует Юникоду 00000000 0xxxxxxx, что, в свою очередь, соответствует
символу в ASCII 0xxxxxxxx. То есть, коды ASCII совпадают с кодами UTF-8 и людям,
использующим только ASCII, ничего делать не нужно: ни в коде, ни в файлах.

Байт 110xxxxx является началом 2-байтного кода, и 110xxxxx 10yyyyyy преобразуется
в 00000xxx xxyyyyyy. Байт 1110xxxx — начало 3-байтного кода, и 1110xxxx 10yyyyyy
10zzzzzz преобразуется в xxxxyyyy yyzzzzzz (если UTF-8 используется для
кодирования 31-битного ISO 10646, то это прогрессия продолжается до 6-байтных
кодов).

Для большинства текстов, кодированных наборами ISO 8859, это означает, что
символы, не входящие в ASCII, теперь кодируются двумя байтами. Это приводит к
тому, что обычный текстовый файл становится больше на 1-2 процента. Обычные
текстовые файлы на греческом или русском языке увеличиваются на 100%, так как
почти все символы в этих языках находятся за пределами ASCII. Для пользователей
японского языка 16-ти битные символы теперь, в основном, представляются 3-мя
байтами. Хотя для некоторых наборов символов (особенно ISO-8859-1) и есть
алгоритмы преобразования в Юникод, в большинстве случаев для преобразований
требуются таблицы соответствий, которые могут быть большими для 16-битных кодов.

Заметим, что UTF-8 является самосинхронизирующимся: 10xxxxxx — это «хвост», а
любой другой байт — «голова» кода. Только байты ASCII в потоке UTF-8 представлены
без изменений. В частности, в поток не встраиваются NUL ('\0') или '/' для
формирования части какого-то большего кода.

Так как символы ASCII, в частности, NUL и '/', не изменяются, то ядро не замечает,
что используется UTF-8. В нём никак не учитывается для чего используются эти
байты.

Визуализация потоков данных Юникода обычно производится с помощью таблицы