summaryrefslogtreecommitdiff
path: root/Master/texmf-dist/doc/ptex/ptex-manual/jtex_asciimw.tex
blob: 884a21b53c42204204a19ba3f50df5fb28298314 (plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
\newcommand{\cs}[1]{{$\backslash$#1}}
\documentstyle[twoside]{jarticle}
\addtolength{\textheight}{.5in}
\addtolength{\textwidth}{.7in}
\setlength{\oddsidemargin}{.4in}
\setlength{\evensidemargin}{.4in}
\title{\TeX システムの日本語化}
\author{倉沢 良一\\ASCII Corporation}
\date{昭和62年 3月}
\pagestyle{headings}
\begin{document}
\maketitle
\begin{abstract}
現在、\TeX システム の日本語化を進めているが、
現時点で一応の動作が可能となった。
そこで、ここにその報告と共にその内容に付いて解説する。
ただし、ここに報告する内容については、
決して最終的なものではなく、
現時点での暫定的なものであることを承知してもらいたい。
尚、本稿はこの日本語化された\TeX システムで\LaTeX を用いて作成した。
\end{abstract}
%
\newpage
\tableofcontents
\newpage
%\listoftables
%\newpage
%
\section{\TeX システム日本語化の方針}
\TeX システムを日本語化するにあたり、次の事項に留意し
その方針を決定した。
\begin{enumerate}
\item 完全なアッパーコンパチブルであること。
	\begin{itemize}
	\item 日本語化により本来\TeX の持つ機能が損なわれるようなことが
		あってはならない。
	\item 欧文、和文の区別が無く、同一のシステム(プログラム)で
		扱えること。
		当然これまでにある、又はこれから作られる欧文の原稿が
		扱えること。
	\item 和文に対しても、欧文同様の機能が扱えること.
		(フォント、マクロ等)
	\end{itemize}
\item 和文特有の特殊処理が行えること。
	\begin{itemize}
	\item 行頭、行末禁則を自動的に行えること。
	\item 和文、欧文間のスペーシングの調整等が自動的に行えること。
	\end{itemize}
\item 仕上がりが美しいこと。\\
	\TeX 本来の目的である``\.美\.し\.い\.出\.力''が得られなければ、
	日本語化を行う意味は全く無くなってしまう。
	高性能の出力デバイスと高品位のフォントを用いることにより、
	写植機に負けない出力が得られること。
\end{enumerate}
1.に関しては、あくまでも``\TeX システム''をそっくりそのまま
日本語環境の下で使いたいという要望である。
和文に対しても、欧文のように自由にフォントを切り換えたり、
マクロ定義が行いたいというのは当然であり、
それが\TeX のような文書処理システムの魅力の1つであるからである。\\
2.に付いては、和文を扱う場合には必然的に付いてまわる問題で、
これらの処理が確実に行われなければ、その文書処理系の利用価値は
半減してしまうと考えられる。\\
3.の内容は少し大げさなようにも思えるが、
Don\nolinebreak\ Knuthの\TeX 開発の目的からすれば、至極当然のことでもある。
又、これは 1.や2.の内容が大きく関わっているのは言うまでもないことである。

このような要求を、出来る限り満足するために
次のような日本語化の方策をとることにした。
\begin{itemize}
\item 日本語化は、\TeX そのもの(initex、virtex)に対して行い、
	plainやlplain等のマクロには出来れば一切手を付けない。
	(付けたくない。)
\item ただし、追加された機能の為のイニシャライズや、パラメータの設定、
	漢字フォントの定義等は、\TeX のフレキシビリティを保つためにもマクロで
	行えるようにする。
\item 欧文で行えることは、可能な限り和文でも行えるようにポーティングする。
\end{itemize}
%
\newpage
\section{\TeX 日本語化の実際}
上記の方針に基づき日本語化を行った結果、現時点で以下のように実現されている。
%
\subsection{コード体系}
インプリメントの容易さ、現在使用しているホストマシンのコード、
将来のパーソナルコンピュータへの移植等を考え合わせた結果、
内部コード、外部コード共にASCII、シフトJISの組み合せを用いた。
ただし、DVIファイル内の漢字コードだけは、JISコードを出力するようになっている。
また半角カナのサポートは行っていない。
%
\subsection{プリミティブ}
日本語化に伴い、幾つかのプリミティブの追加および拡張を行った。
これらは、禁則処理、オートスペーシングおよび漢字コードのためのものである。
この時、新しく追加するプリミティブについては、日本語独特の新しい処理に
対するものだけに止め、出来るだけ既存のプリミティブを拡張するように努めた。
%
\subsubsection{プリミティブの追加}
\label{tbpri}
Table~\ref{tb:prim}に示すプリミティブが追加されている。
(詳しくは、以降のセクションで解説する。)
%
\subsubsection{プリミティブの拡張}
既存のプリミティブに関しては、出来得る限り欧文、和文の区別をせずに
扱えるよう拡張を行った。
また内部で扱うトークンに対する日本語化を行うことによって、
プリンティングキャラクタのみでなく、マクロ名やトークンリスト
にも全角文字を半角文字と混在して扱えるようになっている。

\noindent 例. 
\begin{quote}
\cs{char}''82A0\\
\cs{accent}''5F`あ\\
\cs{def}\cs{改ページ}\{\cs{eject}\}
\end{quote}
%
\begin{table}[htb]
\begin{tabular}{|l|p{4in}|}	\hline
\cs{\it prebreakpenalty} &
	指定するキャラクタコードの前方に挿入するペナルティの値を設定する。
	行頭禁則の指定として用いる。 \\
&	例. {\tt\cs{prebreakpenalty}`、$=$1000} \\ \hline
\cs{\it postbreakpenalty} &
	指定するキャラクタコードの後方に挿入するペナルティの値を設定する。
	行末禁則の指定として用いる。\\
&	例. {\tt\cs{postbreakpenalty}`[$=$1000} \\ \hline
\cs{\it jis} &
	漢字コードの変換を行うためのプリミティブで、
	JISコードから内部コードであるシフトJISに変換する。\\
&	例. {\tt\cs{prebreakpenalty}\cs{jis}"2122$=$1000} \\ \hline
\cs{\it kuten} &
	\cs{jis}と同様に区点コードからシフトJISへ変換する。\\
&	例. {\tt\cs{postbreakpenalty}\cs{kuten}"0146$=$1000} \\ \hline
\cs{\it sjis} &
	上記の2つと同様であるが、内部コードがシフトJISであるので、
	そのままの値をかえす。\\ \hline
\cs{\it kanjiskip} &
	全角コード間に自動的に挿入されるグルーを持つレジスタ。\\
&	例. {\tt\cs{kanjiskip}$=$0pt puls .3pt minus .3pt} \\ \hline
\cs{\it xkanjiskip} &
	全角--半角コード間に自動的に挿入されるグルーを持つレジスタ。\\
&	例. {\tt\cs{xkanjiskip}$=$2.5pt puls 1pt minus 1pt} \\ \hline
\cs{\it autospacing} &
	全角コード間へのグルーの自動挿入を行うための指定。 \\ \hline
\cs{\it noautospacing} &
	全角コード間へのグルーの自動挿入を行わないための指定。 \\ \hline
\cs{\it autoxspacing} &
	全角--半角コード間へのグルーの自動挿入を行うための指定。\\ \hline
\cs{\it noautoxspacing} &
	全角--半角コード間へのグルーの自動挿入を行わないための指定。\\ \hline
\cs{\it xspcode} &
	全角--半角コード間へのグルーの自動挿入の対象となる
	半角コードを指定する。
	現在デフォルトの値としてアルファベットおよび数字に対して
	スペースが挿入されるように設定されている。 \\
&	例. {\tt\cs{xspcode}`A$=$0} \\ \hline
\end{tabular}
\caption{日本語化に伴い追加されたプリミティブ。}
\label{tb:prim}
\end{table}
%
\subsection{ラインブレーク}
欧文と和文の処理で見かけ上最も大きな違いは、ラインブレーク処理であると思われる。
``見かけ上''と言うのは、\TeX 内部の処理には
さほど大きな変更はいらないからである。
具体的には、次のように文中のどの位置を
ブレークポイントの対象とするかの問題である。
\begin{itemize}
\item 欧文中でのラインブレークは、ハイフネーション処理等の特別な場合を除いて、
単語中つまり連続する文字列中は、ブレーキングポイントとして選択されない。
\item 和文中では禁則の例外を除いて、
全ての文字間がブレークポイントの対象になり得る。
\end{itemize}
実際に\TeX 内部ではパラグラフ単位でラインブレークの処理が行われ、
それは{\it line\_break}というルーチン内で、
ブレーク可能な箇所を捜し出し、それを{\it try\_break}
という関数に渡すことにより行われている。
(勿論こんな単純なものではないが、基本的な操作としてこうした形になっている。
詳しくは、\TeX: The Program PART38、39 Breaking paragraphs into lines.
を是非読んでみることをお勧めする。)
そこで、和文中の文字間もブレークポイントの候補として、
{\it try\_break}に渡すよう変更した。

又、本来ならばラインブレークの処理は、次項の禁則処理と密接な関係があり
とても分けて考えられるものではない。
しかしながら、\TeX では事実上完全に分けて考えても差し支えがないような
構造になっている。
それは、ペナルティと呼ばれるブレーキングのための
一般的な評価値が導入されているためであり、
ブレーキングルーチンではこの値を如何に評価するか
だけを考えれば良く、
禁則処理ルーチンでは、この値を如何に設定するかだけを考えれば良い。
%
\subsection{禁則処理}
%
\subsubsection{禁則処理でのペナルティの応用}
前のセクションでも簡単に触れたように、
禁則処理も\TeX にとって全く新しい概念ではなく、
ペナルティと言う形で導入されている。
これは、上記のラインブレークやページブレーク処理時に、
その箇所がブレークポイントとして、
どの程度適切(負値のペナルティ)であるかあるいは
不適切(正値のペナルティ)であるかを示すための評価値である。
したがって、ただ単にその箇所でのブレーキングを禁止するだけでは無く、
強制的なブレーキングや、禁則文字が連続するような場合の
優先順位付けにも利用できる。

日本語の禁則処理にこのペナルティを応用するためには次のようにすればよい。
\begin{list}{}{\setlength{\leftmargin}{2cm}}
\item[行頭禁則] 禁則文字の前に正のペナルティを付ける。
\item[行末禁則] 禁則文字の後ろに正のペナルティを付ける。
\end{list}
こうした形でペナルティを自動的に挿入さえできれば、
後は既存の\TeX のルーチンをそのまま利用できるはずである。
%
\subsubsection{禁則テーブル}
このペナルティを自動的に挿入するために、
\TeX 内部に禁則文字とその文字に対応するペナルティ値と
ペナルティの挿入位置(その文字の前に挿入するか後に挿入するかの別)
のテーブルを持つことにした。
そしてこのテーブルにこれらの情報を登録する手段として、
{\bf\cs{pre\-break\-penalty}}と{\bf\cs{post\-break\-penalty}}
の2つのプリミティブを追加した。
{\bf\cs{pre\-break\-penalty}}は
指定した文字の直前にペナルティを挿入することを、
{\bf\cs{post\-break\-penalty}}は
指定した文字の直後にペナルティを挿入することを指定するもので、
全角文字、半角文字の区別無しに指定できる。
これらは、同一の文字に対して同時に両方のペナルティを挿入するようには
指定できない。 もし同一の文字に対して双方の指定がされた場合、
後からのものに置き換えられる。
勿論これらは``\{\}''による、グルーピング規則が適用される。
又、双方で指定できる文字数は最大で256文字までである。
この値は、全角文字、半角文字を合わせて禁則対象となると考えられる
文字数を、十分にカバーしていると思われる。

この禁則テーブルからの登録の削除は、
ペナルティ値`0'を設定することによって行われるが、
グローバルレベルでの設定でなければ、
このテーブルの領域は解放されないことに注意して欲しい。
なぜなら、ローカルレベルで領域を解放してしまえば、
その外側のレベルに戻ったときに、そのレベルでの値を
最設定するための領域が確保されている保証がないからである。

このテーブルができれば、各文字を読み込む度に、
その文字がこのテーブルに登録されているかどうかを調べ、
登録されていればそのペナルティを文字の前後適切な位置に挿入して行けば良い。
この禁則テーブルの検索にはハッシュ法を用いており、
ハッシュ関数として
\label{`ハッシュ関数'}
\[\left\{ \begin{array}{cl}
	(C2+(C2<<(C1-0x81)))\,mod 256 & 漢字コード\\
	& C1=上位バイト、C2=下位バイト\\
	\\
	C*2+1 & ASCIIコード
	\end{array}
\right. \]
を用いている。
これは、おそらく禁則の対象となるであろう、
全角の記号、ひらがなカタカナの小文字、ASCIIコードの記号等
を適当に散らばらせるように考えてある。
又、このテーブルには最大256文字まで登録可能であるが、
むやみに多くの文字を登録してテーブルを満たすことは、
禁則文字検索のオーバーヘッドを大きくし、
パフォーマンスに大きな影響を与えるので注意する必要がある。

こうしてペナルティを適切に挿入さえしてしまえば、
後は\TeX のラインブレークルーチンに\. お\. ま\. か\. せしてしまえる。
勿論、このテーブルにいかにペナルティを登録するかは、
ユーザーの責任であると共に、ペナルティ値の変更により自由に
禁則処理に変化をつけることができる。
%
\subsection{スペーシング}
{\noautospacing\noautoxspacing
これまでの変更で一通りの和文を出力することは可能である。
ところがこれだけではまだ不十分で、
このままでは決して\. 美\. し\. い出力は得られない。
なぜなら、欧文では単語毎にスペースが挿入され、
そこでのスペーシング量を調整することにより、
ジャスティファイケーションの処理が行われていた。
ところが、これまでの変更だけでは、
和文に対してそのような調整を行う部分がほとんど無いのである。
この状態がいったいどのようなものであるか
試しに、この段落を上記の{\it\cs{noautospacing\/}}と
{\it\cs{noautoxspacing\/}}によって、スペーシングの自動挿入を
しないで組んでみた。
この操作にによって、この段落中にとられるスペースは
ピリオド、カンマの後のスペースのみである。\par}

%\autospacing\autoxspacing
一目して解るように、行末に1文字以上の不揃いが出来てしっまている。
これは、パラグラフ全体をダイナミックにブレーキングするといった、
\TeX の長所が悪い方に働いてしまい、
数行先の禁則処理の影響がそのまま反映されているのである。
禁則ペナルティのパラメータの値の悪さも手伝ってか、
悲惨な結果となってしまっている。
%
\subsubsection{和文組版におけるスペーシング}
これに対して一般に行われている和文の組版では、
行単位のみでのブレーキングが行われており、
最悪の場合でもこのようなことは起こらないようである。
また組み幅は、全角の正数倍にとられるため日本語のみの
行では必ず行末がきれいに揃う仕掛になっている。
ただし、禁則が生じたり、途中に欧文が挿入されたりした場合は、
やはりどこかで調整が必要になってくる。
こうした調整は次のような箇所で行われているようである。
\begin{itemize}
\item まずこうした調整に迫られた場合、追込みを考える。
	追込みのために、カンマ、ピリオド、括弧等の文字を
	半角幅にまで縮めてみる。
\item それでも調整しきれず、行中に欧文が存在する場合は、
	欧文間、和文--欧文間のスペースを調整する。
\item さらに調整が必要な場合は、かな文字間のスペースを
	調整する。
\item これでもまだ駄目な場合、追い出しを試みる。
\end{itemize}
説明が遅れてしまったが、和文--欧文間には見栄えを良くするために、
4分開けと呼ばれる全角幅の$1/4$のスペースが挿入される。
実際問題としては、禁則文字が連続でもしない限り、
行中に2つ以上のカンマ、ピリオドの類の文字が存在すれば、
最初の段階で調整は付いてしまう。

\subsubsection{\TeX でのスペーシング}
これを\TeX に応用することを考えてみる。

まず組み幅の問題であるが、\TeX の場合、何文字幅といった
指定も簡単に実現可能ではあるが、既存のマクロ等の利用を考えると
組み幅ばかりでなく、インデント等の組み幅に関係する全てのパラメータ
も同時に変更する必要があり、出来れば自由な組み幅の指定が出来た方が良い。
そうなると、ピリオド、カンマ等の文字が一文字も表れないような行に対しても
組み幅を調整する手段が新たに必要となる。
しかも、行中にそう何文字も表れないような文字に、
こうした帳尻合わせを集中するのは、あまり\. 美\. し\. いことではない。

次に、和文--欧文間のスペース等は原稿中でいちいち気にしながら
挿入するのでは非常に面倒である。 こうした類のものは
折角コンピュータを使用しているのであるから、
自動的に行ってほしい。

このような要求を満たすために次のような変更を加えることにした。
\begin{enumerate}
\item 全角文字間にもグルーを自動的に挿入できるようにする。
	これによりピリオド、カンマ等の文字が表れない行でも
	ジャスティファイケーションが行える。
	またカンマ等の持つスペースだけでなく、行全体で
	その調整分を分割するため、より自然な組みが実現できる。
	勿論、ここで行う調整は0.数ptといった極めて微量の調整である。
	さらにこのグルーの導入により、1歯詰めなどといった組み方も
	可能になる。
\item 和文--欧文間のスペーシングは当然\TeX が自動的に行って
	くれるものだと考え、そのまま導入した。
	ただし、全ての和文--欧文間(全角文字--半角文字間)
	に挿入して良いわけではない。
	例えば、半角のピリオド、カンマ、括弧類記号と
	全角文字間には余計なスペースは入れない方がよい。
\item オリジナルの\TeX では、改行キャラクタを読み込むことにより
	単語の切れ目と判断し、スペースが挿入される。
	しかし、和文ではこうしたスペースを挿入されるのは
	不都合である。 そこで全角文字の後の改行は
	ただ単に読み飛ばすだけの処理に変更する必要がある。
\end{enumerate}

1.の実現方法として、{\bf\cs{kanjiskip}}というグルーレジスタを
新たに設け、このグルーを全角文字間に挿入するようにした。
ただし、実際に他のグルーと同じように処理したのでは、
全角文字1文字に付き1グルー分のメモリを消費することになり、
余りにもメモリ効率が悪くなる。 そこでこのグルーに関しては、
ラインブレークや、ボックスへの組み込みルーチン({\it hpack})
内での組み幅の計算だけで処理するようにしてある。

2.に関しては、\TeX が数式中で行っているように、必要な箇所に
実際にグルーを挿入する。 挿入するグルーは、
1.と同じように{\bf\cs{xkanjiskip}}というレジスタを
設け、その値を使う。
さらに、全角文字の前後に現れる半角文字の内の何れに対して、
スペースを挿入すべきかを指定するために、
内部に128文字分のテーブルを設け、そこに登録されている
内容によってスペース挿入の有無を決定している。
現在デフォルトでアルファベットおよび数字がスペース挿入の
対象となっている。 このテーブルへの登録は、{\bf\cs{xspcode}}という
プリミティブによって行う。
各ASCIIキャラクタに対して0を設定することにより、
全角との間のスペースの挿入を禁止し、それ以外の値で許可するようになっている。

尚、1.2.に共通する処理として、これらのレジスタの値は、
そのパラグラフ、あるいは{\it hbox}に入った時点での値を保持して
使用し、その中でどんなに変更を加えても処理には影響が及ばない
ようになっている。
又、これらの処理は、{\bf\cs{auto\-spacing}}、{\bf\cs{no\-auto\-spacing}}、
{\bf\cs{auto\-xspacing}}、{\bf\cs{no\-auto\-xspacing}}によって
ON、OFFできるようになっている。

3.は\TeX のスキャンニングルーチンを変更することで、
スペーシングキャラクタとして、先のルーチンに渡って行かないようにした。
%
\subsection{フォント}
フォントに関しても、できるだけ欧文のものと同じ扱いが出来るように
配慮した。
\subsubsection{\TeX での日本語フォントの取り扱い}
ユーザインタフェースからみた日本語フォントの取り扱いは、
{\it\cs{mathcode}}等の数式関係のフォントの定義中には
含めることができないことを除くとほとんど同じようにして扱える。
異なる点は、半角文字と全角文字とを使い分ける度に
フォントの切り換えを行うのは非常に繁雑なので、
カレントフォントとしてこれまでの半角文字用の他に
全角文字用も独立して持つようにしたことである。
これによって特にフォントの変更を行う必要がなければ、
全角、半角の区別を意識することなしに原稿を入力することが出来る。
具体的には次のように指定すれば良い。
\begin{quote}
\tt \cs{font}\cs{jfont}=min10\\
\cs{jfont}
\end{quote}
これを見てわかるように、これまでと全く同じようにして指定できる。
この時指定された\cs{jfont}が漢字フォントであれば、
漢字用のカレントフォントを変更する。
漢字フォントと英字フォントの判別は、TFMファイルにより行っている。

又、数式中でのフォントを指定する、ファミリーに付いても
同様に、全角用のカレントファミリーを拡張した。
これにより、全角文字に対しても、上付き文字や下付き文字の取り扱いが
可能になる。
勿論、半角、全角を意識する必要はない。
ただ全角用カレントファミリーが半角用と異なる点は、
半角用のカレントファミリーは、マスモードに
切り替わった時点で-1にセットされるのに対し、
全角用のカレントファミリーは、そのままの値を保つことである。
(マスモード中でのフォント切り換えのメカニズムに付いては、
\TeX book p.154等を参照のこと。)
これは、数式関係のフォント定義を日本語フォントにまで
拡張していないための措置であるが、
数式用フォントに関しては、全角文字に拡張してもほとんど
意味がないので、こうした形をとった。
%
\subsection{TFMファイルとcharノード}
\TeX 内部では印字データをcharノードと呼ばれるノード中に
そのフォントの種類と共に格納する。
又、\TeX システムには、TFMファイルと呼ばれるファイルがフォントの種類毎に
用意されており、
そこに各フォント内に含まれるキャラクタの、各種サイズ等の情報が置かれている。

\TeX のラインブレーク等の処理は、このcharノード中のキャラクタデータから
TFMファイルの字幅情報等を検索して処理する仕組みになっている。
したがって、\TeX を日本語化する際には、これらをどのように
拡張し、どのように対応付けるかがキーポイントとなる。
%
\subsubsection{TFMファイルの拡張}
まずTFMファイルであるが、この中には{\it char\_info}と呼ばれる
そのフォント中に存在するキャラクタのコードと1対1に対応するテーブルが
置かれている。
このテーブル中には{\it width\/、height\/、depth}等の他のテーブルへの
インデックスが設定されており、このインデックスを用いて
それぞれのパラメータを参照する仕組みになっている。

ただし、このインデックスのサイズから、
1フォント内に含まれるキャラクタのサイズの種類が制限されてしまっている。
しかし、漢字フォントは1フォント内の数は多いが、そのサイズは記号等を
除いてほとんど同じであり、この制約内に十分に収まると判断した。
そこでこの{\it char\_info}とその他のテーブルの仕組みは、
そのまま利用することにし、{\it char\_info}テーブルと漢字の2バイトコードを、
対応付けるための方策を考えることにした。

その手段として漢字コードと{\it char\_info}へのインデックスを持つテーブルを
付け加えることにした。
ところが、漢字フォントは1フォント中に約7000文字もの数があり、
そのままテーブルに持つのは得策ではない。
この解決策として、1フォント内のキャラクタの大部分が同じサイズを持つという
漢字の特徴から、デフォルトサイズを規定し、これと異なるものだけを、
そのコードと{\it char\_info}へのインデックスの対という形で
テーブルを持つようにした。
さらに、検索のオーバヘッドを軽減するために、
テーブルを漢字コード順にソーティングした形で持つように規定した。

又、従来のTFMファイルと区別するためにサフィックスを``{\bf JFM}''
と変更した。
%
\subsubsection{charノードとJFMファイルの対応付け}
charノードは、上記したとおりそこにフォントとキャラクタコードを
持ち、さらに次のノードへのポインタを含んでいる。
これを日本語のために拡張するためには、ノードサイズを変更するか、
複数のノードによって1つのキャラクタを表現するかの2通りが
考えられる。
処理の効率から考えると、前者の方がより良いのであるが、
そのためには\TeX のメモリ管理ルーチンの大変更をしなければ
ならず、今回は断念した。

ここで採用した方法は、\TeX : The program にも簡単に書かれていたとおり、
連続する2つのcharノードを使って日本語1文字を表すものである。
具体的には、2つ目のノードにキャラクタコードを格納し、
1つ目のノードには、フォントとTFMの{\it char\_info}への
インデックスを格納するようにしてある。
つまり、charノードを生成する段階で、TFMファイルに拡張したテーブルから、
{\it char\_info}へのインデックスを検索してしまうのである。
こうすることにより、この1つ目のcharノードは、
既存の欧文キャラクタのcharノードと全く同一に扱える。
2つ目のノードは、最後にDVIファイルに出力する時や、
エラーが生じた場合に必要になるだけで、
一般の内部処理では読み飛ばしてやりさえすれば良い。

あるcharノードが日本語用のものであるかどうかは、
charノード内のフォントを調べ、それが漢字フォントであるかどうかによって
判断する。
この処理を簡単に能率良く行うために、
フォントが漢字かどうかのテーブルを\TeX 内部に設けてある。
%
\subsection{数式中での日本語の使用}
フォントの項でも簡単に触れたとおり、
数式中においても日本語が扱えるように変更を行ってある。
これは、数式中に直接日本語が含まれるような
使い方は希であるが、
\ref{`ハッシュ関数'}中の式のように、
簡単な説明等を付け加えたいことは良くあるからである。
%
\newpage
\section{今後の予定}
現時点までの\TeX の日本語の状態を一通り表面的な部分のみで
あるが解説してみた。
勿論、まだ不十分な点は多々あるが、
実際にこの原稿を作ってみて、十分使用に耐えることは確信できた。
特に\LaTeX がそのまま日本語で使用できることは、
感激に価する。
今のところ、\LaTeX のコマンドで使用できないものは無いようである。

今後の予定として次のようなことを考えている。
\begin{itemize}
\item 自動的に挿入される、全角間および全角--半角間のスペースは、
	{\bf\cs{kanji\-skip}}、{\bf\cs{xkanji\-skip}}の値が必ず
	使われてしまうが、これはJFMファイル中に、デフォルト値を
	設定出来るようにして、フォントの変更と共に最適値を
	使用できるようにしたい。
\item 全角の記号等は、全角幅固定ではなく、基本的にはその文字の持つ
	実際の幅で取り扱えなければ、行頭や行末におかれる場合、
	行ぞろえが正確に行えず\. 美\. し\. く\. な\. い。
	こうした記号類は漢字フォントであっても、
	独自の字幅情報を持つようにしたい。
\item 全角文字に対しても、文字の組み合せによるカーニングを
	行うべきである。 特にひらがなカタカナの後に、ピリオド、
	カンマの類の文字が続いた場合の、
	スペースの空き方が不自然なことが場合があり、
	調整できるようにする必要がある。
\end{itemize}
%
%\appendix{TFMファイルの構造}
%\begin{tabular}{|cp{2in}|} \hline
%lf & lh \\ \hline
%bc & ec \\ \hline
%nw & nh \\ \hline
%nd & ni \\ \hline
%nl & nk \\ \hline
%ne & np \\ \hline
%\multicolumn{2}{|c|}{} \\ hline
\newpage
\appendix
\section{禁則ペナルティの設定例}
禁則ペナルティの設定例として、
このテキスト制作時に使用した設定を上げておく。

\vspace{15pt}
{\tt\noindent
\begin{tabular}{lll}
%半角文字
\cs{prebreakpenalty}`.=1000 &
\cs{prebreakpenalty}`,=1000 &
\cs{prebreakpenalty}`\}=1000 \\
\cs{postbreakpenalt}y`\{=1000 &
\cs{prebreakpenalty}`)=1000 &
\cs{postbreakpenalty}`(=1000 \\
\cs{prebreakpenalty}`]=1000 &
\cs{postbreakpenalty}`[=1000 &
\cs{postbreakpenalty}`!=500 \\
\cs{postbreakpenalty}`\#=500 &
\cs{postbreakpenalty}`\$=500 &
\cs{postbreakpenalty}`\%=500 \\
\cs{postbreakpenalty}`\&=500 &
\cs{postbreakpenalty}`\`=500 &
\cs{prebreakpenalty}`|=500 \\
\cs{prebreakpenalty}`;=500 &
\cs{prebreakpenalty}`?=500 &
\cs{prebreakpenalty}`:=500 \\
%全角文字
\cs{prebreakpenalty}`、=1000 &
\cs{prebreakpenalty}`。=1000 &
\cs{prebreakpenalty}`,=1000 \\
\cs{prebreakpenalty}`.=1000 &
\cs{prebreakpenalty}`・=1000 &
\cs{prebreakpenalty}`:=500 \\
\cs{prebreakpenalty}`;=500 &
\cs{prebreakpenalty}`?=500 &
\cs{prebreakpenalty}`!=500 \\
\cs{prebreakpenalty}`)=800 &
\cs{postbreakpenalty}`(=800 &
\cs{prebreakpenalty}`}=800 \\
\cs{postbreakpenalty}`{=800 &
\cs{prebreakpenalty}`[=800 &
\cs{postbreakpenalty}`]=800 \\
\cs{postbreakpenalty}`‘=1000 &
\cs{prebreakpenalty}`’=1000 &
\cs{prebreakpenalty}`ー=200 \\
\cs{prebreakpenalty}`+=200 &
\cs{prebreakpenalty}`−=200 &
\cs{prebreakpenalty}`==200 \\
\cs{postbreakpenalty}`#=200 &
\cs{postbreakpenalty}`$=200 &
\cs{postbreakpenalty}`%=200 \\
\cs{postbreakpenalty}`&=200 &
\cs{prebreakpenalty}`ぁ=150 &
\cs{prebreakpenalty}`ぃ=150 \\
\cs{prebreakpenalty}`ぅ=150 &
\cs{prebreakpenalty}`ぇ=150 &
\cs{prebreakpenalty}`ぉ=150 \\
\cs{prebreakpenalty}`っ=150 &
\cs{prebreakpenalty}`ゃ=150 &
\cs{prebreakpenalty}`ゅ=150 \\
\cs{prebreakpenalty}`ょ=150 &
\cs{prebreakpenalty}`ァ=150 &
\cs{prebreakpenalty}`ィ=150 \\
\cs{prebreakpenalty}`ゥ=150 &
\cs{prebreakpenalty}`ェ=150 &
\cs{prebreakpenalty}`ォ=150 \\
\cs{prebreakpenalty}`ッ=150 &
\cs{prebreakpenalty}`ャ=150 &
\cs{prebreakpenalty}`ュ=150 \\
\cs{prebreakpenalty}`ョ=150 \\
\end{tabular}
\begin{tabular}{ll}
\cs{prebreakpenalty}\cs{jis}"212B=1000 &
\cs{prebreakpenalty}\cs{jis}"212C=1000 \\
\cs{prebreakpenalty}\cs{jis}"212D=1000 &
\cs{postbreakpenalty}\cs{jis}"212E=1000 \\
\cs{prebreakpenalty}\cs{jis}"2139=250 &
\cs{prebreakpenalty}\cs{jis}"2144=250 \\
\cs{prebreakpenalty}\cs{jis}"2145=250 &
\cs{postbreakpenalty}\cs{jis}"2146=1000 \\
\cs{prebreakpenalty}\cs{jis}"2147=1000 &
\cs{postbreakpenalty}\cs{jis}"2148=1000 \\
\cs{prebreakpenalty}\cs{jis}"2149=1000 &
\cs{postbreakpenalty}\cs{jis}"214C=800 \\
\cs{prebreakpenalty}\cs{jis}"214D=800 &
\cs{postbreakpenalty}\cs{jis}"2152=800 \\
\cs{prebreakpenalty}\cs{jis}"2153=800 &
\cs{postbreakpenalty}\cs{jis}"2154=800 \\
\cs{prebreakpenalty}\cs{jis}"2155=800 &
\cs{postbreakpenalty}\cs{jis}"2156=800 \\
\cs{prebreakpenalty}\cs{jis}"2157=800 &
\cs{postbreakpenalty}\cs{jis}"2158=800 \\
\cs{prebreakpenalty}\cs{jis}"2159=800 &
\cs{postbreakpenalty}\cs{jis}"215A=800 \\
\cs{prebreakpenalty}\cs{jis}"215B=800 &
\cs{prebreakpenalty}\cs{jis}"246E=150 \\
\cs{prebreakpenalty}\cs{jis}"256E=150 &
\cs{prebreakpenalty}\cs{jis}"2575=150 \\
\cs{prebreakpenalty}\cs{jis}"2576=150 \\
\end{tabular}}

%% texjporg: タイポだけ修正 (2017/04/12, 2017/07/16)
\end{document}