Словарь терминов

Юникод

Юникод (англ. Unicode) — специальный стандарт для кодирования символов, который дает возможность представлять символы практически всех существующих языков, в которых есть письменность.

Впервые использовать юникод для кодирования символов предложила организация под названием «Консорциум юникода» в 1991 году. Использование юникода дает возможность кодировать огромное количество символов из разных систем письменности.

Юникод успешно кодирует математические символы, китайские иероглифы, кириллицу, латиницу, греческий алфавит и т. д. Причем при использовании юникода нет необходимости в переключении кодовых страниц.

История создания

В 80-х года 8-битные символы использовались повсеместно. В результате возникло огромное количество разных 8-битных кодировок и с течением времени к существующим кодировкам добавлялись новые. Основной причиной этого было стремление разработчиков создать кодировку, которая была бы совместима хотя бы с несколькими уже существующими. Это привело к возникновению целого ряда серьезных проблем.

• Так называемые «крякозябры», возникающие, когда документ отображается в неверной кодировке. Побороть проблему можно было двумя способами: или использовать для документов нужную кодировку, или попытаться создать кодировку, универсальную для всех.
• Набор символов в ряде случаев мог быть ограниченным. Проблема решалась с помощью переключений между шрифтами прямо внутри документа. Вторым вариантом решения было использование какой-либо расширенной кодировки с большим количеством символов.
• Преобразование кодировок. Решалась эта проблема двумя способами: либо создавались специальные таблицы для перекодирования, рассчитанные на конкретную пару преобразуемых кодировок, либо для преобразования одной кодировки в другую создавалась третья, вспомогательная кодировка.

Из-за этих проблем создание универсальной и максимально расширенной кодировки стало необходимостью. В Восточной Азии применялись широкие кодировки, длина символа в которых была переменной.

Вначале для создания юникода хотели использовать именно их, однако потом от этого решено было отказаться, по причине их излишней сложности. Кроме того, при создании юникода не использовались 32-битные символы. Вместо них были задействованы 16-битные, что, по мнению разработчиков, было менее расточительно. В конце концов, была создана первая версия юникода — 1.1, размер символов в которой составлял 16 бит, а всего кодов в этой версии было 65536. К настоящему моменту актуальной версией юникода является версия 6.1, которая была разработана в начале 2012 года.

Структура юникода

Юникод является универсальной кодирующей системой, которая включает в себя определенный набор графических символов, и определенный набор правил кодирования этих символов для их последующей обработки с помощью компьютера.

Графические символы в юникоде условно подразделяются на несколько больших групп:

• Цифры.
• Буквы, которые входят в состав хотя бы одного из алфавитов, обслуживаемых юникодом.
• Пунктуационные знаки.
• Знаки разделителей.
• Специальные символы (чаще всего — технические, математические, и т. д.)

Разделы

В юникоде есть два раздела:

• Первый раздел называется универсальным (англ. Universal Character Set) и состоит из универсального набора символов.
• Второй раздел называется семейством кодировок (англ. Unicode Transformation Format).

Задача универсального раздела — задавать соответствия между символами и кодами. Коды в данном случае представляют собой целые числа, которые являются элементами общего кодового пространства и не могут быть отрицательными. Задача семейства кодировок — создать машинный вариант последовательности кодов, входящих в универсальный раздел.

Кроме того, юникод разделен на ряд кодировочных областей. Например, есть область, в которую входят коды с U+0000 по U+007f включительно. Это область, соответствующая всем символам из набора ASII. Рядом с этой областью находятся другие, которые соответствуют знакам из различных систем письменности, а также области с техническими символами и пунктуационными знаками.