%%% Artikelklasse mit %%% * Grundschriftgröße 11 Punkt, %%% * klassischem Satzspiegel, %%% * flachem Inhaltsverzeichnis. \documentclass[11pt,DIV9,tocleft]{scrartcl} %%% Eingabekodierung ist ISO-8859-15. \usepackage[ansinew]{inputenc} %%% Schrifteinstellung. %%% * Grundschrift Palatino, %%% * Akzidenzschrift Bera Sans, %%% * Schreibmaschinenschrift Luxi Mono. \usepackage[T1]{fontenc} \usepackage[osf]{mathpazo} \usepackage[scaled]{berasans} \renewcommand*{\ttdefault}{lmtt} \usepackage{textcomp} \linespread{1.05} \usepackage[expansion=true, letterspace=80]{microtype} %%% Lade einige Pakete. \usepackage{multicol} \usepackage{tabularx} \usepackage{booktabs} \newcolumntype{L}{>{\raggedright\arraybackslash}X} \usepackage{soul} \setul{}{.2ex} \usepackage{listings} \lstloadlanguages{[LaTeX]TeX, sh} \lstset{basicstyle=\ttfamily, keywordstyle={}, commentstyle={}, columns=flexible, showspaces=false, showstringspaces=false, % aboveskip=12pt, belowskip=12pt, frame=tb, % framesep=8pt, framerule=2pt, xleftmargin=6pt, xrightmargin=6pt, % framexleftmargin=6pt, framexrightmargin=6pt } \lstdefinestyle{LaTeX}{language=[LaTeX]TeX, basicstyle=\ttfamily, keywordstyle={}, commentstyle={\itshape}} \lstdefinestyle{shell}{language=sh, basicstyle=\ttfamily, keywordstyle={}, commentstyle={\itshape}} \newcolumntype{L}{>{\raggedright\arraybackslash}X} %%% Bette Quellkode in PDF-Ausgabe ein. \usepackage{embedfile} \embedfile[% mimetype=plain/text,% desc={LaTeX-Quelltext der Datei \jobname.pdf}% ]{\jobname.tex} \embedfile[% mimetype=plain/text,% desc={BibTeX-Quelltext der Datei \jobname.pdf}% ]{\jobname.bib} %%% Literaturverweise in runden Klammern mit Semikolon als Trenner. % \usepackage[round,semicolon]{natbib} % \renewcommand*{\bibnumfmt}[1]{(#1)} %%% Literaturverzeichnis mit Sprachunterstützung. \usepackage[fixlanguage]{babelbib} \bibliographystyle{babalpha} %%% Babelbib fordert trotz fixlanguage zuviele Sprachen an. \usepackage[english, german, ngerman]{babel} %%% Einstellungen für interaktive PDF-Dokumente. \usepackage[rgb,x11names]{xcolor} \usepackage{hyperref} \hypersetup{ pdftitle={Freie Wortlisten und Trennmuster für die deutsche Sprache}, pdfauthor={Die deutschsprachige Trennmustermannschaft} } \hypersetup{ ngerman,% For \autoref. pdfstartview={XYZ null null null},% Zoom factor is determined by viewer. colorlinks, linkcolor=RoyalBlue3, urlcolor=Chocolate4, citecolor=DeepPink2 } %%% Schriftfestlegungen. \setkomafont{title}{\normalcolor\normalfont} \setkomafont{sectioning}{\normalcolor\normalfont} \setkomafont{section}{\Large} \setkomafont{subsection}{\Large\itshape} %%% Einige Makros für logische Auszeichnungen definieren. \newcommand*{\Abk}[1]{\mbox{\textsc{\lsstyle#1}}} \newcommand*{\Programm}[1]{\textsc{\lsstyle#1}} \newcommand*{\Datei}[1]{\texttt{#1}} %%% Randnotiz am linken Rand. \newcommand{\lrand}[1]{% \mbox{}% \marginpar{% \hspace*{-2\marginparsep}% \hspace*{-\textwidth}% \hspace*{-\marginparwidth}% \parbox[t]{\marginparwidth}{% \raggedright% \small% \sffamily% \bfseries% #1% }% }% \ignorespaces% } %%% Satzspiegel erneut berechnen. \typearea{last} %%% Trennausnahmen definieren. \hyphenation{ Back-end } \begin{document} %%% Dokumenttitel. \author{Die deutschsprachige Trennmustermannschaft} \title{Freie Wortlisten und Trennmuster\linebreak[1] für die deutsche Sprache} \subtitle{\bigskip Eine kurze Projektbeschreibung} \maketitle %%% Zweispaltiges Inhaltsverzeichnis. \begin{multicols}{2} \tableofcontents \end{multicols} \section{Ziele} \label{sec:ziele} Dieses Projekt beabsichtigt, hochqualitative Wortlisten, Trennmuster~\cite{liang:1983} und Ausnahmelisten für die deutsche Sprache zu schaffen, die auch österreichische und (deutsch)schweizerische Besonderheiten abdecken. Grundlage sind die verbindlichen Regeln des Dudens in der Fassung von 1991~\cite{duden:1991} und die amtlichen Regeln für die Rechtschreibung der deutschen Sprache in der Fassung von 2006~\cite{amtlRegeln:2006, amtlRegeln:2006:duden}. Teil des Projekts ist eine Infrastruktur, die die Kontrolle der Listen in verteilter Arbeit ermöglicht. Wortlisten, Trennmuster und Ausnahmelisten sollen unter freien Lizenzen jedermann zugänglich gemacht werden. \section{Wer wir sind} \label{sec:wer} Anstoß für dieses Projekt war eine Reihe von Artikeln in der \emph{\TeX{}nischen Komödie}% \footnote{Vereinsschrift der \emph{Deutschsprachigen Anwendervereinigung \TeX} (\textls{DANTE}~e.\,V.), \url{http://www.dante.de/}}% % , die sich mit den herkömmlichen Trennmustern für die deutsche Sprache auseinandersetzen~\cite{lemberg:2003, lemberg:2005, hennig:2008}. Die deutschsprachige Trennmustermannschaft ist eine offene Gruppe und setzt sich zur Zeit aus Mitgliedern des \textls{DANTE}~e.\,V. sowie Anwendern der Programme \TeX\ und \Programm{OpenOffice}% \footnote{\url{http://de.openoffice.org/}} % zusammen. Die Kommunikation läuft derzeit über die Gruppe \Programm{Trennmuster-Opensource} bei \Programm{Google}% \footnote{\url{http://groups.google.de/group/trennmuster-opensource?hl=de}}% % , das Projekt soll jedoch bei einem anderen Internetdienst zur Verwaltung von Softwareprojekten angemeldet werden. Ersatzweise kann für die Diskussion auch die Newsgruppe \Datei{de.comp.text.tex} genutzt werden. Wir benötigen dringend weitere Mithilfe. Informationen dazu können der Dokumentation des \TeX-Pakets \texttt{dehyph-exptl} oder der folgenden Aufgabenliste entnommen werden. Bei Interesse oder mit Fragen wenden Sie sich bitte an die Projektliste. \section{Aufgabenliste} \label{sec:aufgabenliste} Dieser Abschnitt enthält eine Zusammenstellung von anstehenden Aufgaben. Die Liste ist weder sortiert noch vollständig. Die meisten Punkte bestehen nur als Idee und werden zur Zeit nicht aktiv bearbeitet. \subsection{Wortlisten} \begin{itemize}\raggedright \item Spezifikation und Implementierung der Datenbankanbindung (Wortliste~v2.0, Backend) \item Spezifikation und Gestaltung der \Abk{html}-Maske zur verteilten Kontrolle der Wortliste (Frontend) \item systematische Erweiterung der Hauptwortliste: \begin{itemize} \item um Wörter aus einer nach Häufigkeiten sortierten Liste (Quellen sind vorhanden, siehe \autoref{sec:ressourcen}), \item um Wörter aus geläufigen Sprachbereichen (Quellen werden benötigt): \begin{multicols}{2}\raggedcolumns \begin{itemize} \item Küche und Haushalt, \item Flora und Fauna, \item Handwerk, Politik, Sport, \item (alte) Literatur: Märchen, Liedtexte, \item deutsche Vor- und Nachnamen, \item Städte- und Flussnamen, \item \st{Zahlwörter und römische Zahlen}, \item \ldots \end{itemize} \end{multicols} \end{itemize} \item Erstellen von Wortlisten für fachspezifische Trennmuster (Quellen werden benötigt): \begin{multicols}{2}\raggedcolumns \begin{itemize} \item Naturwissenschaft und Technik, \item Sprachwissenschaften, \item Geschichte und Religion, \item Medizin, \item Jura, \item Kunst, \item \ldots \end{itemize} \end{multicols} \item Gewichtung der Trennstellen \item Markierung von Nottrennungen \item Behandlung von falschen Ligaturen \item Unterscheidung von Lang- und Rund-s für den Satz mit gebrochenen Schriften \item verteilte Kontrolle von Rechtschreibung und Trennung des Wortbestands \end{itemize} \subsection{Trennmuster} \begin{itemize}\raggedright \item Können Strukturen der deutschen Sprache durch Startmuster in \Programm{Patgen} berücksichtigt werden, zum Beispiel häufige Vor- und Nachsilben wie \emph{auf-}, \emph{aus-}, \emph{ver-}, \emph{-keit}, \emph{-lich}, \emph{-lein}, etc.? \end{itemize} \subsection{\TeX} \begin{description}\raggedright \item[Sprachanbindung] Die Trennmuster für Schweizer Standarddeutsch (traditionelle Rechtschreibung) benötigen eine Sprachanbindung für \texttt{Babel} und \texttt{Polyglossia}. \item[Versionierung der Trennmuster] In Dokumenten muss trotz weiterentwickelter Trennmuster langfristig umbruchtreuer Textsatz garantiert werden können. Daher benötigt \TeX{}s Sprachenschnittstelle (Pakete \texttt{Babel} bzw. \texttt{Polyglossia}) einen Versionsmechanismus für die Trennmusteraktivierung. $\Rightarrow$ Paket \texttt{hyphsubst} \item[mehrere Trennmuster laden] Für einzelne Dokumente ist es wünschenswert, fachspezifische Trennmuster verwenden zu können. Allerdings können Trennmuster nur während der Formaterstellung geladen werden. Einmal eingebundene Trennmuster sind somit immer im Format vorhanden. Es wäre sinnvoll, Trennmuster auch dynamisch während der Ausführung laden zu können. Wie wird mit kollidierenden Mustern umgegangen? $\Rightarrow$ Lua\TeX \item[Trennstellengewichte] Trennstellen sollen gewichtet werden können (z.\,B. Haupt-, Neben-, Nottrennungen). \item[Verallgemeinerung des Trennalgorithmus] Derzeit benötigen \TeX-Quelltexte in deutscher Sprache verschiedene Auszeichnungen: \begin{tabularx}{\linewidth}{lL} \lstinline[style=LaTeX]+\\/ \"|+ & zur Korrektur falscher Ligaturen (\lstinline[style=LaTeX]+Auf\"|lage+) \\ \lstinline[style=LaTeX]+s:+ \emph{u.\,a.} & zur Unterscheidung von langem und rundem~\emph{s} in gebrochenen Schriften (\lstinline[style=LaTeX]+aus:setzen+) \\ \lstinline[style=LaTeX]+\"ck+ & für die richtige Trennung von \emph{ck} in der traditionellen Rechtschreibung (\lstinline[style=LaTeX]+dru\"cken+) \\ \lstinline[style=LaTeX]+\"ff \"ll+ \emph{u.\,a.} & für die richtige Trennung von Dreifachkonsonanten mit folgendem Vokal in der traditionellen Rechtschreibung (\lstinline[style=LaTeX]+Meta\"llegierung+) \\ \end{tabularx} Für die Dokumentenerstellung mit \TeX\ ergeben sich dadurch die folgenden Nachteile: \begin{enumerate} \item Alle genannten Eingriffe beeinflussen die Worttrennung in den übrigen Wortteilen. \item Das Anbringen der Auszeichnung von Hand erfordert zusätzlichen Aufwand und ist fehleranfällig. \item Physische Auszeichnung erschwert den Wechsel zwischen gebrochener und runder Schrift. \item Physische Auszeichnung erschwert den Wechsel zwischen traditioneller und reformierter Rechtschreibung. \end{enumerate} Idealerweise sollte ein Quelltext möglichst wenige physische Auszeichnungen enthalten. Es handelt sich hier um ein Mustererkennungsproblem ähnlich der Worttrennung. Denkbar ist eine Verallgemeinerung des Silbentrennalgorithmus, mit der diese Fälle ohne Eingriffe im Quelltext erkannt und richtig behandelt werden können: Mit entsprechenden zusätzlichen Mustern werden während des Absatzumbruchs \emph{verschiedene} Tries durchsucht und die notwendigen Ersetzungen vorgenommen. $\Rightarrow$ Vorschlag für Lua\TeX-Entwickler ausarbeiten \end{description} \subsection{Sonstige} \begin{itemize}\raggedright \item Umzug auf einen anderen Host (BerliOS, Sourceforge o.\,ä.) \item Reservierung einer eigenen Domain \end{itemize} \section{Zeitplan} \label{sec:zeitplan} Kurzfristig steht die Verbesserung der in \TeX\ und \Programm{OpenOffice} verwendeten Trennmuster im Vordergrund. Die Pflege der Wortlisten und Trennmuster ist jedoch ein Langzeitprojekt. Die verwendeten Werkzeuge und Listen sind daher gut zu dokumentieren. \section{Ressourcen} \label{sec:ressourcen} \subsection{Auf welche Wortlisten können wir zurückgreifen?} \lrand{\medskip Lembergs Liste} \begin{tabularx}{\linewidth}[t]{lL} \toprule\addlinespace Urheber & Werner Lemberg\\ Rechte & (\Abk{gpl} angestrebt)\\ Wortformen & 430\,000\\ Sortierkriterium & alphabetisch\\ Rechtschreibung & gut\\ Bemerkung & manuell gepflegt\\ Zugriff & \Programm{git}-Repositorium:\newline \verb+$git clone git://repo.or.cz/wortliste.git+\\ Stand & 15.\,6.\,2009\\ \addlinespace\bottomrule \end{tabularx} \bigskip\bigskip \noindent\lrand{\medskip Leipziger Liste} \begin{tabularx}{\linewidth}[t]{lL} \toprule\addlinespace Urheber & Liste des Wortschatzprojekts der Universität Leipzig% \footnote{\url{http://wortschatz.uni-leipzig.de/}}\\ Rechte & \Abk{gpl}\\ Wortformen & 2\,000\,000\\ Sortierkriterium & Häufigkeit\\ Rechtschreibung & mangelhaft\\ Bemerkung & automatische Internetsuche (Datenbanken, Zeitungsarchive usw.)\\ Zugriff & \ldots\\ Stand & 28.\,3.\,2008\\ \addlinespace\bottomrule \end{tabularx} \bigskip\bigskip \noindent\lrand{\medskip Mannheimer Liste} \begin{tabularx}{\linewidth}[t]{lL} \toprule\addlinespace Urheber & Korpus des Instituts für Deutsche Sprache (\Abk{ids})% \footnote{\url{http://www.ids-mannheim.de/kl/}}\\ Rechte & ">Darf in ihrer Gesamtheit -- wie vereinbart -- nicht veröffentlicht oder an Dritte weitergegeben werden."< Abgeleitete Werke können nach unserer Wahl behandelt werden.\\ Wortformen & 4\,000\,000\\ Sortierkriterium & Häufigkeitsklassen\\ Rechtschreibung & mittel\\ Zugriff & nicht öffentlich\\ Stand & 9.\,10.\,2007\\ \addlinespace\bottomrule \end{tabularx} \subsection{Welche Listen haben wir in Aussicht?} \lrand{\medskip Berliner Liste} \begin{tabularx}{\linewidth}[t]{lL} \toprule\addlinespace Urheber & Kernkorpus des Projekts Digitales Wörterbuch der Deutschen Sprache (\Abk{dwds})% \footnote{\url{http://www.dwdscorpus.de/}}\\ Rechte & \ldots\\ Wortformen & 2\,000\,000\\ Sortierkriterium & \ldots\\ Rechtschreibung & \ldots\\ Bemerkung & repräsentativer Wortschatz der deutschen Sprache\\ Zugriff & derzeit nicht\\ Stand & Juni 2009\\ \addlinespace\bottomrule \end{tabularx} \section{Bisherige Ergebnisse} \label{sec:ergebnisse} \subsection{Trennmuster} \begin{itemize} \item Das \LaTeX-Paket \texttt{dehyph-exptl} enthält die aktuellen experimentellen Trennmuster, die aus Werner Lembergs Liste generiert wurden. Diese können zusammen mit den Paketen \texttt{Babel} und \texttt{hyphsubst} verwendet werden. Das Paket \texttt{dehyph-exptl} ist im \Abk{ctan} verfügbar.% \footnote{Comprehensive \TeX\ Archive Network, \url{http://ctan.tug.org/}} \item Die bisherigen Trennmusterdateien für die traditionelle und reformierte Rechtschreibung, die Dateien \Datei{dehypht.tex} und \Datei{dehyphn.tex}, können im \Abk{ctan} bezogen werden. Sie sind \emph{nicht} im Zuge dieses Projekts entstanden. \item Die Ausnahmedatei \texttt{dehyphtex.tex} für die traditionellen deutschen Trennmuster ist im \Abk{ctan} verfügbar. \end{itemize} \subsection{Wortlisten} Die von Werner Lemberg erstellte und kontrollierte Liste steht im öffentlich zugänglichen Entwicklerrepositorium.% \footnote{\url{http://repo.or.cz/w/wortliste.git}} % Eine Kopie kann mit \begin{lstlisting}[style=shell] $git clone git://repo.or.cz/wortliste.git \end{lstlisting} bezogen werden.% \footnote{\url{http://repo.or.cz/}} Für den Zugriff auf dieses Repositorium sollte \Programm{Git}~1.5.6.5 oder jünger verwendet werden. Ältere Versionen enthalten einen Fehler im Netzwerkzugriff, der dazu führt, dass statt eines Satzes von Änderungen häufig die komplette Wortliste übertragen wird. Außerdem sollte für einen reibungslosen Betrieb nach dem Klonen dieses Repositoriums die Konfigurationsvariable \verb+core.DeltaBaseCacheLimit+ vom Standardwert 16\,MB auf mindestens 64\,MB erhöht werden. Mit älteren \Programm{Git}-Versionen können auch deutlich höhere Werte sinnvoll sein. Die Konfiguration kann beispielhaft so erfolgen: \begin{lstlisting}[style=shell] $git config core.DeltaBaseCacheLimit 64m $git config --get core.DeltaBaseCacheLimit \end{lstlisting} Das letzte Kommando sollte nun den Wert \verb+64m+ zurückliefern. Das Format der Datei \Datei{wortliste} ist in der Datei \Datei{dateikopf} beschrieben. Im Repositorium sind auch einige Skripten zur Bearbeitung der Wortliste enthalten. Aktualisiert wird die Wortliste (das gesamte lokale Repositorium) mit \begin{lstlisting}[style=shell] $git pull \end{lstlisting} \subsection{\Abk{html}-Prüfmaske} Es existiert ein Entwurf für eine interaktive Maske zur Kontrolle der Rechtschreibung von Wortlisten und der Eingabe korrekter Trennungen.% \footnote{\url{http://www.mnn.ch/opendehyph/index.php}} \raggedright \bibliography{projektbeschreibung} \end{document} %%% Local Variables: %%% mode: latex %%% TeX-PDF-mode: t %%% TeX-master: t %%% coding: iso-8859-15 %%% End: