diff options
Diffstat (limited to 'language/hyphenation/ruhyphen/README.ruhyphal')
-rw-r--r-- | language/hyphenation/ruhyphen/README.ruhyphal | 118 |
1 files changed, 118 insertions, 0 deletions
diff --git a/language/hyphenation/ruhyphen/README.ruhyphal b/language/hyphenation/ruhyphen/README.ruhyphal new file mode 100644 index 0000000000..0b736af3a4 --- /dev/null +++ b/language/hyphenation/ruhyphen/README.ruhyphal @@ -0,0 +1,118 @@ + + Комментарии к выпуску новых таблиц переносов ruhyphal.tex + +Зачем еще одна таблица переносов для русского языка? + +В настоящее время для работы в TeX с текстами на русском языке получили +распространение шесть таблиц генерации переносов, использующих в своей +основе алгоритм Франка Лянга. Эти таблицы собраны в пакет ruhyphen +Владимиром Воловичем и Вернером Лембергом и в настоящее время являются +частью стандартного дерева каталогов texmf. Это -- таблицы, созданные +Дмитрием Вулисом (ruhyphdv.tex в обозначениях пакета ruhyphen, далее +сокращенно по имени составителя -- dv), их последующая модификация +М.Воронцовой и С.Львовским (ruhyphvl.tex, vl), их более существенная +переработка, сделанная для CyrTUG (ruhyphct.tex, ct), а также две независимые +разработки, сделанные Сергеем Знаменским (ruhyphzn.tex, zn) и Андреем +Слепухиным (ruhyphas.tex, as). Совсем недавно в пакет была включена еще +одна таблица переносов (ruhyphmg.tex, mg), составленная Михаилом Гринчуком. + +К сожалению, все эти таблицы далеки от совершенства. Сравнения, проведенные +на реальных текстах (один и тот же TeX'овский текст форматировался с +каждой из указанных таблиц и затем анализировался на предмет появления +ошибок и "неблагозвучностей" при переносе), показали, что все (!) таблицы +дают ошибки в переносах, причем наилучшие результаты, на первый взгляд, +получались при использовании таблиц Вулиса (dv) и ее производных (vl, ct). + +Для более внимательного анализа различий таблиц были изучены файлы различий +в переносах для слов, сгенерированных из моего орфографического словаря +(ftp://scon155.phys.msu.su/pub/russian/ispell/rus-ispell.tar.gz), которые +показали, что различия носят систематический характер. + +Так, таблица vl является простым расширением таблиц dv, в которой запрещены +все переносы, при которых последний слог остается без гласной (например, +без-дн), а также ряд переносов, позволяющих получить в перенесенной строке +неприличные слова. Все остальные неточности таблиц dv таблица vl просто +копирует. + +В таблицах ct исправлено множество неточностей таблиц dv (добавлено, +например, множество отсутствовавших переносов, скорректирован ряд ошибок +переносов на границе приставка-корень), но все равно ошибки остались, +например: ва-ку-ум-и-ро-ва-ние, вы-с-ка-жу, древ-нее-врей-ский, +ис-ко-ре-жь-те, нео-пас-ный, од-у-ри, плац-д-ар-ме, под-ур-не-е-те, со-сн, +сра-зи-мся (знаки переноса указывают на места возможных переносов; правила +переносов смотри в сопровождающем файле hyphen.rules). При этом не все +исправления можно признать удачными (пропадает часть переносов, иногда +возникают ошибки). + +Таблицы as, zn содержат заметно больше ошибок, которые при форматировании +текста средствами TeX проявляются как неудачный перенос в суффиксе или +как неправильное отделение приставки от корня. Так, в таблицах as +появляется разбиение букв ст в суффиксах (ав-тор-ст-во, акушерс-т-во, +ано-ним-нос-ти), и ряд других ошибок (антик-ри-зис-ный, вб-ли-зи, +внес-лу-жеб-ный, дву-хъ-ярус-ный, ме-жа-том-ный, оду-хот-во-рен-но, +стройп-ло-щад-ка, те-хот-де-ле, че-хос-ло-вац-кий, трех-п-ро-цент-ный, +фель-дъ-еге-рю, фут-бо-лис-ты, чис-топ-лю-ев, шерс-тя-ной). Несколько +лучшее впечатление остается от таблиц zn, хотя в них присутствует то же +надоедливое разбиение букв ст в суффиксах (ар-тис-тич-нос-тью, +из-да-тель-ст-во, стро-гос-ти, шес-тью) и ошибки (бе-стар-ная, +бо-гоп-ро-тив-ный, за-вот-де-лом, ки-но-съ-емоч-ный, ме-теос-вод-кой, +мо-но-кль, пе-ре-йден-ный, фь-ор-ды, шь-ет). + +Таблицы mg отличает их малый размер (небольшое число правил переноса), +однако при этом количество ошибок в них оказывается намного больше. + +Безусловно, ошибки при переносе неизбежны, тем более что строгие правила +переносов отсутствуют, а сами правила содержат исключения (например, +первый перенос в слове изу-че-ние отрывает гласную от корня, что запрещено +формальными правилами, но тем не менее считается правильным). Кроме того, +переносы должны расставляться так, чтобы разорванное слово оставалось +легко узнаваемым. Например, слова пере-оформленный, наи-важнейший, +гео-графия узнаются гораздо легче, чем формально верные в смысле переносов +слова перео-формленный, на-иважнейший, ге-ография. По этой причине некоторые +переносы лучше запретить. + +Так появилась идея создать (по крайней мере для своей работы) таблицы, +содержащие возможно меньшее число ошибок. На первом этапе было решено +модифицировать таблицы Вулиса, которые являются public domain, разрешены +для модификации и, как мне показалось, содержат сравнительно немного ошибок. +Возможно, модификация таблиц Знаменского была бы более эффективной, но она +запрещена лицензией. Новая таблица была названа (в соответствии со схемой +наименования, предложенной в пакете ruhyphen) ruhyphal.tex. + +На первом этапе в таблицу были включены правила, исключающие генерацию +последнего слога без гласной (типа мо-но-кль); найдены и добавлены аналогичные +правила для исключения появления первого слога без гласной (таких как шь-ет); +исключено большинство случаев появления в середине слова слогов, состоящих +из одних согласных; переписаны правила переносов слов, содержащих буквы й, ъ. +По сравнению с исходными таблицами dv было изменено (исключено или переделано) +примерно 25% правил. Был исправлен ряд ошибок, возникающих на границе +приставка-корень, и практически все ошибки при генерации окончаний. +Кроме того, из эстетических соображений добавлено правило, по которому не +могут переноситься слоги, состоящие из двух гласных без согласной (типа +ау-дитория). Сделанные исправления коснулись написания более 51 тысяч +слов. + +Следующая (вторая) версия таблиц ruhyphal.tex создана с помощью программы +patgen на основе достаточно тщательно выверенного списка слов с переносами, +полученных на первом этапе. По сравнению с первым этапом, на втором +этапе в списке было скорректировано написание около 24 тысяч слов. +Последняя (настоящая) версия таблиц ruhyphal.tex также создана с помощью +программы patgen на основе расширенного списка слов (990 тысяч словоформ) +с множеством дополнений и улучшений в переносах. + +Одновременно с таблицами ruhyphal.tex в пакет включена дополнительная +таблица cyryoal.tex, содержащая все существенные правила формирования +переносов в словах, содержащих букву ё. Эти таблицы генерируются с помощью +программы mkcyryo, из которых затем с помощью моего орфографического +словаря (адрес которого был указан выше) удаляются все неиспользуемые правила. + +После четырех лет работы над таблицами, как мне кажется, их качество стало +лучше, чем качество остальных таблиц переноса. Однако окончательное +суждение по этому вопросу могут сделать только пользователи. Сами таблицы +в кодировке koi8-r можно найти по адресу: + + ftp://scon155.phys.msu.su/pub/russian/hyphen/ruhyphal.tar.gz + +Свои комментарии и пожелания вы можете направлять составителю таблиц, +Александру Лебедеву <swan@scon155.phys.msu.su>. + |