Юникод на Новый год

Подумайте, чем могут заканчиваться неопределённые формы глаголов.

Попробуйте выписывать найденные соответствия в алфавитном порядке.

В задаче представлено несколько инфинитивов русских глаголов, которые в результате ошибки вместо букв русского алфавита стали состоять из других символов; в основном это латинские буквы с разными диакритическими знаками, но встречается и знак деления ÷ (в дальнейшем, чтобы не путаться, мы будем называть эти латинские буквы просто символами, а буквами — русские буквы). Учитывая, что 4–6 букв — довольно обычная длина русских инфинитивов, наиболее естественно будет предположить, что каждый символ заменяет ровно одну букву.

Вспомним, какими двухбуквенными сочетаниями могут кончаться инфинитивы русских глаголов (их морфемный статус нам сейчас неважен). Это -ть (подавляющее большинство глаголов, например бегать), -ти (идти) и -чь (стеречь), а также -ся (драться) и -сь (нестись) у возвратных глаголов. В инфинитивах, представленных в задаче, варианта всего три: òü, òè и ÷ü. Из общих соображений понято, что возвратных глаголов в задаче нет, но лучше будет доказать это строго.

Мягкий знак — единственная буква, которой могут кончаться инфинитивы и перед которой в инфинитивах может быть несколько разных букв: т, ч и с. Значит, символ ü, перед которым встречаются ò и ÷, заменяет именно мягкий знак. Если среди данных глаголов есть возвратные, то в их числе должны быть глаголы на -сь (если бы это были только глаголы на -ся, обе буквы их двухбуквенного окончания были бы уникальны, но у òü и òè совпадает предпоследняя буква, а у òü и ÷ü — последняя). Эти глаголы на -сь в представленном виде заканчивались бы либо на òü, либо на ÷ü, — но среди инфинитивов с обоими окончаниями есть такие, которые состоят из четырёх букв (ìûòü, òå÷ü), а возвратных глаголов с четырёхбуквенным инфинитивом, очевидно, не существует, ведь только суффикс инфинитива вместе с возвратным суффиксом занимает как раз четыре буквы (-ться или -тись). Значит, возвратных глаголов в задаче действительно нет, а òü, òè и ÷ü заменяют соответственно -ть, -ти и -чь.

Теперь мы знаем соответствия для четырёх букв и можем приступать к расшифровке основ глаголов. Обратим внимание на слово òå÷ü: в нём нам неизвестна только вторая буква, то есть оно имеет вид т_чь. Очевидно, что вторая буква должна означать гласный; несложным перебором можно убедиться, что единственный подходящий глагол — течь, то есть å заменяет букву е.

Далее можно рассмотреть группу инфинитивов вида _е_ти: âåñòè, íåñòè и âåçòè. Заметим, что в большинстве инфинитивов на -ти этому суффиксу предшествуют буквы с или з (упомянутое выше идти — одно из немногих исключений): расти, грести, мести, ползти... Среди них есть два инфинитива, отличающиеся только этой буквой и неразличимые на слух: вести и везти; скорее всего, âåñòè и âåçòè — это именно они. При этом других глаголов вида _езти не существует; значит, íåñòè — это какой-то глагол на -ести (типа мести или нести), символ ñ заменяет с, ç — з, а â — в.

В инфинитиве ñòðè÷ü нам теперь неизвестна только третья буква; оставшаяся его часть выглядит как ст_ичь. Несложно догадаться, что это слово стричь (в крайнем случае можно перебрать все буквы, соответствий которых мы пока не знаем). Таким же образом, догадавшись или применив перебор, можно выяснить, что áðèòü (_рить) — это брить.

Уже сейчас можно заметить одну интересную закономерность. Составим таблицу всех известных нам соответствий между русскими буквами и заменяющими их символами, расположив их по алфавиту:

Мы видим, что латинские буквы с диакритическими знаками тоже расположились по алфавиту: сначала разные «версии» буквы a, затем c, e, i, n, o и, наконец, u. Хотя из этой закономерности несколько выбивается буква ð, вообще-то происходящая от d, вряд ли это случайность; при дальнейшей расшифровке мы можем опираться на наше наблюдение.

Теперь обратимся к инфинитиву êóñàòü (__с_ть). Очевидно, четвёртая буква в нём обозначает гласный; скорее всего, это а, так как её заменяет символ à, то есть она находится в начале алфавита. Вторая буква, видимо, располагается в алфавите между т и ь; это наверняка у, поскольку все остальные буквы из этого диапазона сложно представить себе в такой позиции. Получается, что этот инфинитив — кусать, то есть ê заменяет букву к.

Оставшиеся инфинитивы уже несложно расшифровывать в таком порядке, чтобы в каждом из них была неизвестна только одна буква: êëàñòü (к_асть) — это класть (конечно, не красть, ведь мы знаем, что р заменяется другим символом; кстати, заметим, что соседние в алфавите буквы к и л обе заменяются латинской e с разными надстрочными знаками), êðûòü (кр_ть) — крыть, ïå÷ü (_ечь) — печь, ïîëçòè (п_лзти) — ползти.

Итак, остались нерасшифрованными только два символа в двух инфинитивах: ìûòü (_ыть) и íåñòè (_ести). Оказывается, что оба символа могут заменять как м, так и н, ведь существуют глаголы мыть, ныть, мести и нести. Чтобы разобраться, вновь прибегнем к соображениям об алфавитном порядке и составим таблицу.

Интересующие нас символы представляют собой латинскую букву i с разными диакритическими знаками:  ̀ (гравис) и   ́ (акут). Взглянув на таблицу, мы видим, что другие буквы с грависом и акутом заменяют соседние в алфавите кириллические буквы, причём первую из них заменяет буква с грависом, а вторую — буква с акутом: à заменяет а, á — б; ò заменяет т, ó — у. Значит, ì заменяет м, а í — н, то есть в задаче представлены инфинитивы мыть и нести, а не ныть и мести.

Выпишем ещё раз все расшифрованные нами инфинитивы:

Мы выполнили задание 1 и можем приступать к заданию 2. Здесь даны ещё два инфинитива вида _ить, первые буквы которых нам неизвестны. Среди тех немногочисленных букв, соответствий которых мы не узнали из задания 1, в такой позиции могут оказаться как раз две: ж и ш. Чтобы выяснить, какая из записей соответствует глаголу жить, а какая — глаголу шить, нам снова придётся обратиться к алфавиту: æ — это лигатура букв a и e, то есть она скорее окажется ближе к началу алфавита, а ø — перечёркнутая буква o, которая должна быть ближе к концу. Значит, øèòü — неправильно прочтённый инфинитив шить, а æèòü — жить.

Перейдём к заданию 3. В словах, данных в нём, есть несколько букв, соответствий которых мы так и не встретили: ъ, ф, й, щ и ё. Конечно, здесь нам снова поможет алфавитный порядок. Проще всего разобраться с й: как и в случае с м и н, если букву и заменяет буква è с грависом, то следующую за ней по алфавиту букву й должна заменять буква é с акутом.

Для остальных случаев правило, которое мы сформулировали, расшифровывая ì и í, нужно обобщить. Мы можем заметить, что за парами букв с грависом и акутом всегда следует третья буква с надстрочным знаком ̂  (циркумфлекс): а, б и в соответствуют à, á и â; и, й и к — è, é и ê; м, н и о — ì, í и î. Скорее всего, это обобщённое правило распространяется и на другие латинские гласные буквы. Значит, буква ф, поскольку она следует в алфавите за у, должна заменяться на ô, а щ и ъ, так как они находятся непосредственно перед ы, — на ù и ú соответственно. В правильности последнего утверждения можно убедиться дополнительно: ещё одна закономерность в распределении диакритических знаков, которую мы могли заметить, состоит в том, что первой по алфавиту из всех форм той или иной латинской гласной буквы всегда оказывается буква с грависом; здесь это ù, соответствующая щ, а из задания 2 мы знаем, что букве ш, которая предшествует щ в алфавите, соответствует ø — форма другой, более близкой к началу латинского алфавита буквы.

Что касается буквы ё, соответствующий ей символ мог бы оказаться где-то между å и æ (соответствий е и ж), но мы не можем узнать, какой именно диакритический знак можно было бы присоединить к букве a, тем более что нам не попадалось ни других символов с надстрочным кружком, ни других лигатур. Значит, записать таким образом слово ёлка, опираясь на данные задачи, мы не можем. Именно на этот случай в задании есть пояснение о том, что в каком-то случае нам, возможно, не удастся его выполнить.

Полностью запишем нужным образом те слова из задания 3, с которыми у нас получится это сделать:

1. съем → ñúåì
2. фейерверк → ôåéåðâåðê
3. ищи → èùè

Задача решена!

Ýòî ïîñëåñëîâèå ìîãëî áû íà÷èíàòüñÿ òàê. хКХ БНР РЮЙ.
Это послесловие могло бы начинаться так. Или вот так.

Но, к счастью, оно так не начинается: за семьдесят лет развития компьютеров человечество научилось хранить и отображать символы почти всех естественных языков, которые используются и когда-либо использовались на Земле. Правда, путь к этому достижению был тернистым.

В основе вычислительной техники лежит двоичная запись — вся информация кодируется с помощью нулей и единиц. Для того, чтобы хранить символы естественного языка, надо каждому символу сопоставить последовательность двоичных цифр. Как это сделать и сколько нулей и единиц будет приходиться на одну букву?

Мы знаем, что в русском алфавите 33 буквы. Умножим это число на два, поскольку буквы бывают строчные и прописные, не забудем пробел, 10 цифр и пару десятков знаков препинания — в итоге получится около 100. Если записывать всё это двоичными последовательностями одинаковой длины, понадобится 7 двоичных цифр (бит) на символ: 0000000, 0000001, 0000010, 0000011, 0000100, ..., 1111110, 1111111 — всего таких последовательностей насчитывается 2⁷ = 128, нам как раз хватит. Шестью битами не обойтись: они дадут только 2⁶ = 64 комбинации. Другое дело, что если каждый начнёт придумывать коды для своего компьютера самостоятельно, то получится разнобой. Кто-то сделает так:

А = 0000000, Б = 0000001, В = 0000010, ...,

кто-то так:

а = 0000000, б = 0000001, в = 0000010, ...,

а кто-то так:

0 = 0000000, 1 = 0000001, 2 = 0000010, ....

Необходимость стандартизации привела к тому, что в 1963 году возникла единая кодировка для английского языка — ASCII (American Standard Code for Information Interchange). В ней первые 32 места и последнее место занимают различные служебные символы (начало текста, перевод строки, звуковой сигнал, отмена передачи и т. п.), а оставшиеся 95 символов отведены под печатаемые символы — это примерно и есть та сотня символов, которую мы описали выше для русского языка, только для латиницы:

В этой кодировке ! = 0100001₂ = 33₁₀ (числа 2 и 10 снизу означают «в двоичной системе» и «в десятичной системе» соответственно), A = 1000001₂ = 65₁₀, a = 1100001₂ = 97₁₀ и т. д. Кстати, между заглавными и строчными латинскими буквами неслучайно вставлены именно 6 знаков препинания: при том, что длина английского (латинского) алфавита составляет 26 символов, — это даёт разницу между парными буквами ровно на 32 — то есть меняется с 0 на 1 только шестая справа цифра двоичной записи (сравните выше коды для A и a).

Но на каких языках можно писать с помощью этих символов? Их не так-то много: английский (не будем брать в расчёт редкие слова вроде naïve), нидерландский, баскский, ток-писин... А по-немецки уже не получится: например, последние слова Фауста, которые в переводе Бориса Пастернака гласят «И это торжество предвосхищая, / Я высший миг сейчас переживаю», у Гёте выглядят так:

Im Vorgefühl von solchem hohen Glück
Genieß' ich jetzt den höchsten Augenblick.

В ASCII нет букв ü, ß и ö — можно, конечно, обойтись и без них и написать Vorgefuehl вместо Vorgefühl, Glueck вместо Glück, Geniess' вместо Genieß' и hoechsten вместо höchsten, но всё-таки хотелось бы этого избежать. I po-russki mozhno pri neobhodimosti pisat' v ASCII, no eto tozhe ne luchshij variant.

Поэтому появляются 8-битные кодировки, в которых на один символ приходится не 7 двоичных цифр, а 8; это небольшое увеличение сразу расширяет пространство возможностей вдвое — до 2⁸ = 256 символов. Большинство 8-битных кодировок совпадают с ASCII в первых 128 символах, а оставшиеся символы — это и есть та прибавка, которая позволяет записывать другие языки.

Например, кодировка Windows-1252 (или CP-1252) — это ASCII вот с таким добавлением:

Читатель может поинтересоваться, почему среди латинских букв появляется знак деления (÷), который обращает на себя внимание и в задаче, и знак умножения (×), соответствующий ему, как прописная буква строчной. При разработке кодировки ISO/IEC 8859-1, на которой основана Windows-1252, предполагалось, что на этих местах расположится лигатура Œœ, которая используется во французском языке. Однако именно французский делегат по какой-то причине настаивал на том, что эту лигатуру можно заменить на диграф oe и включать её в кодовую страницу не нужно, поэтому освободившиеся места были заполнены математическими символами. В кодировке Windows-1252 лигатура Œœ, как можно заметить, всё-таки появилась вместе с ещё несколькими латинскими буквами. Дело в том, что в ISO/IEC 8859-1 кодовые позиции 128–159 (первая строка в перечне выше) не были определены, и сначала заполнялись управляющими (служебными) символами.

Поскольку прибавился лишний бит, символы ASCII теперь записываются с нулём в начале (A = 01000001₂, а не 1000001₂), а коды новых символов начинаются с 1: например, ü = 11111100₂ = 252₁₀. В этой кодировке появляются:

• финансовые символы: знаки британского фунта £, японской иены ¥, цента ¢, а впоследствии и евро €;
• изысканные знаки препинания: многоточие как единый символ ... (а не три точки), два тире разной длины – и —, апострофы и кавычки разного рисунка (внимательный читатель наверняка заметил, что в цитате из Гёте лучше бы смотрелось Genieß’, а не Genieß', но правильного апострофа в ASCII не было);
• дроби;

а главное,

• буквы, которые позволяют писать на распространённых западноевропейских языках.

С помощью кодировки Windows-1252 могут записываться:

• многие германские языки: немецкий, шведский, норвежский, датский, исландский, фарёрский;
• многие романские языки: французский, итальянский, испанский, португальский;
• некоторые финно-угорские языки: финский, эстонский.

Но этих символов всё равно мало для многих других европейских языков с латиницей: для чешского, польского, латышского, литовского, хорватского, венгерского, турецкого, не говоря уже о языках с кириллической и греческой письменностью, а также о языках с другими системами письма.

Славянские языки с кириллицей — русский, украинский, сербский, белорусский, болгарский, македонский — пользуются кодировкой Windows-1251 (CP-1251):

Мы говорили, что ü — это символ с кодом 252 в Windows-1252. А в Windows-1251 символ с кодом 252 — это ь. Именно отсюда и берутся проблемы с кодировками, представленные в задаче: в разных кодировках разным символам соответствует один и тот же номер, и если вам дана последовательность символов без явного указания кодировки с кодами

234 — 240 — 251 — 242 — 252
(в двоичной записи:
11101010 — 11110000 — 11111011 — 11110010 — 11111100),

то её можно прочитать:

• ęđűňü в кодировке Windows-1250 (для славянских восточноевропейских языков с латиницей: польского, чешского, словенского, хорватского, — а также румынского и венгерского);
• крыть в кодировке Windows-1251;
• êðûòü в кодировке Windows-1252;
• κπϋςό в кодировке Windows-1253 (для греческого);
• êğûòü в кодировке Windows-1254 (та же Windows-1252, но с заменой нескольких особых исландских букв на турецкие);
• źšūņü в кодировке Windows-1257 (для латышского, литовского и польского);

и так далее.

Вот полная таблица соответствий символов девяти 8-битных кодировок из семейства Windows-125x:

Но и это ещё не всё: есть, например, кодировка KOI8-R, в которой содержатся русские буквы и псевдографика, причём русские буквы идут в порядке латинского алфавита, а строчные следуют раньше заглавных:

Если вместо Windows-1251 прочитать последовательность Новый Год в KOI8-R, получится мНБШИ цНД c характерной перестановкой строчных и заглавных.

8-битные кодировки плохи ещё и тем, что подходят только для языков с буквенными письменностями, в которых не так уж много символов — каждая буква обозначает один знак. Даже для языков со слоговыми письменностями это неудобно: например, в амхарском языке (официальный язык Эфиопии) около 300 знаков, то есть больше, чем 2⁸ = 256. А уж китайские иероглифы в 8-битную кодировку и вовсе не уместятся.

Как же с этим справиться? Надо, чтобы у каждого символа был уникальный код: если уж сказано «символ с кодом 240», то это всегда ð, а не đ, р, π, ğ или š. Но тогда кодов должно быть намного больше, чем 256. Именно так устроена система Unicode (Юникод), разработанная в 1991 году. В ней первые 256 символов в основном повторяют кодировку Windows-1252, дальше идут символы расширенной латиницы для всех упомянутых в этом послесловии языков с латинской письменностью и не только, знаки фонетической транскрипции, над- и подстрочные знаки и символы других алфавитов. Например, алфавит новогреческого языка располагается в диапазоне от 902-го до 974-го символа, 32 буквы русского алфавита в заглавном и строчном вариантах (без Ё и ё), занимают места с 1040-го по 1101-е, и так далее. Теперь уже точно не ошибёшься при отображении символов, потому что все коды уникальны:

• ð — 240;
• đ — 273;
• р — 1088;
• π — 960;
• ğ — 287;
• š — 353.

Почему же люди придумали Юникод не сразу, а придумав, не сразу начали им пользоваться? Ведь мы сказали, что этот стандарт возник в 1991 году, но ещё в нулевые годы XXI века мы часто сталкивались с íåïðàâèëüíûìè êîäèðîâêàìè — ой, то есть с МЕОПЮБХКЭМШЛХ ЙНДХПНБЙЮЛХ — ой, то есть с неправильными кодировками. Ведь кажется, что такой стандарт — это тривиальная идея, как только начинаешь задумываться о многоязычии.

Но есть ещё одна проблема: память компьютера надо использовать экономно. Если записать кириллическую букву р как 1088₁₀ = 10001000000₂, это 13 бит. А если учесть, что в компьютерах принято хранить информацию блоками по 8 бит (байтами), то получаем 2 байта на символ. На одной 3,5-дюймовой дискете помещается 1,44 мегабайта информации, а точнее говоря, 1 457 664 байта. А, например, роман Фёдора Достоевского «Преступление и наказание» содержит 1 090 348 символов: если записать всё это в 8-битной кодировке, по 1 байту на символ, одной дискеты как раз хватит (это 1,09 мегабайта), а если на каждый символ будет приходиться по 2 байта, то понадобится 2 дискеты. Поэтому такое неэкономное кодирование никому даже не могло прийти в голову.

Помогли две вещи. Во-первых, выросли доступные объёмы памяти: сейчас нам уже более или менее всё равно, весит ли файл 1,09 или 2,18 мегабайта. А во-вторых, Юникод — это не кодировка как таковая, а лишь система нумерации символов: как эти номера будут передаваться с помощью нулей и единиц — это отдельный вопрос. И этот вопрос удалось экономно решить с помощью кодировки UTF-8, которая сейчас используется практически повсеместно и в которой символы ASCII занимают только 1 байт (а ведь в текстах на английском и многих других языках наиболее частотны именно они — базовый латинский алфавит, цифры и знаки препинания), а более редкие символы, так уж и быть, побольше.

Например, латинская буква A в UTF-8 записывается как 01000001 — один байт, так же, как в ASCII. А кодирование для кириллической р выглядит как 11010001 10000000 — два байта. Цветами в этой записи выделены смысловые части. 110 (две единицы, а после них 0 в начале первого байта) показывает, что на символ отводится 2 байта, 10 показывает, что это непервый байт в записи символа, а оставшиеся чёрные цифры как раз и передают код символа: соберите их воедино,  получится 10001000000. Легко посчитать, сколько байт придётся на символ с каким номером:

Таким образом, 128 самых употребительных символов обозначаются 1 байтом, 1920 менее употребительных символов — 2 байтами, 63488 ещё менее употребительных символов — 3 байтами, а ещё 2031616 символов — 4 байтами. Этого уже с запасом хватает на все письменности мира. Другое дело, что русские буквы всё равно весят по 2 байта, но тут нас спасают большие объёмы современных накопителей.

Конечно, и у Юникода есть свои проблемы. Многие буквы с одинаковыми начертаниями закодированы в нём как символы разных алфавитов. Выше мы обсуждали латинскую A и кириллическую р, а ведь есть ещё русская А (код 1040), греческая Α (код 913) и латинская p (код 112). Коми-зырянское слово вöрöшитны ‘ворошить’ здесь написано неправильно: с латинской ö (код 246) вместо кириллической ӧ (код 1255). А почему бы не считать, что это вообще всё один «мировой» алфавит, и тогда три буквы A можно объединить в одну? Или, наоборот, считать, что русское А и украинское А — это буквы разных алфавитов и должны иметь разные коды? Считать ли ö и ü едиными буквами или надо составлять их из двух символов: o и u и надстрочной пары точек? А русское ы — это единый знак или мягкий знак и палочка? А хорватские буквы dž (читается как «дж»), lj (читается как «ль»), nj (читается как «нь»)? Под них даже отведены отдельные коды 457, 460, 463, но ими никто не пользуется, предпочитая собирать их из символов d (100) и ž (382) и т. д. А вот словаки, наоборот, активно используют единый символ ď (271).

С кодировкой UTF-8 не слишком удобно работать программистам, поскольку в ней разные символы занимают разное количество байт, — не вполне тривиальный код нужен даже просто для того, чтобы переместить курсор на n символов вправо или влево. А чтобы сложный текст в Юникоде нормально показывался, нужны шрифты, в которых прорисованы все имеющиеся в нём символы. И с этим нередко возникают проблемы, особенно с «экзотическими» языками и с символами, добавленными недавно, вроде знака рубля ₽. Поэтому на всякий случай заранее просим нас извинить, если какие-то буквы в этом послесловии у вас не прочитаются.

Но всё это, в общем-то, мелочи, — а главное, что Юникод позволил нам легко писать на разных языках. И если на рубеже веков многим казалось, что из-за технических проблем всем языкам придётся перейти на латиницу, то теперь воплотить языковое разнообразие в компьютерах и телефонах оказалось легко, а про проблемы с кодировкой вроде той, что представлена в задаче, мы забыли как про страшный сон.

Задача использовалась во II туре LI Московской Традиционной олимпиады по лингвистике (2021).

Автор задачи и решения — Дмитрий Смирнов.
Автор послесловия — Александр Пиперски.