%%% Artikelklasse mit %%% * Grundschriftgröße 11 Punkt, %%% * klassischem Satzspiegel, %%% * flachem Inhaltsverzeichnis. \documentclass[11pt,DIV9,tocleft]{scrartcl} %%% Eingabekodierung ist ISO-8859-15. \usepackage[ansinew]{inputenc} %%% Schrifteinstellung. %%% * Grundschrift Palatino, %%% * Akzidenzschrift Bera Sans, %%% * Schreibmaschinenschrift Latin Modern Typewriter. \usepackage[T1]{fontenc} \usepackage[osf]{mathpazo} \usepackage[scaled]{berasans} \renewcommand*{\ttdefault}{lmtt} \usepackage{textcomp} \linespread{1.05} \usepackage[expansion=true, letterspace=80]{microtype} %%% Lade einige Pakete. \usepackage{multicol} \usepackage{tabularx} \usepackage{booktabs} \newcolumntype{L}{>{\raggedright\arraybackslash}X} \usepackage{soul} \setul{}{.2ex} \usepackage{listings} \lstloadlanguages{[LaTeX]TeX, sh} \lstset{basicstyle=\ttfamily, keywordstyle={}, commentstyle={}, columns=flexible, showspaces=false, showstringspaces=false, % aboveskip=12pt, belowskip=12pt, frame=tb, % framesep=8pt, framerule=2pt, xleftmargin=6pt, xrightmargin=6pt, % framexleftmargin=6pt, framexrightmargin=6pt } \lstdefinestyle{LaTeX}{language=[LaTeX]TeX, basicstyle=\ttfamily, keywordstyle={}, commentstyle={\itshape}} \lstdefinestyle{shell}{language=sh, basicstyle=\ttfamily, keywordstyle={}, commentstyle={\itshape}} \newcolumntype{L}{>{\raggedright\arraybackslash}X} %%% Bette Quellkode in PDF-Ausgabe ein. \usepackage{embedfile} \embedfile[% mimetype=plain/text,% desc={LaTeX-Quelltext der Datei \jobname.pdf}% ]{\jobname.tex} \embedfile[% mimetype=plain/text,% desc={BibTeX-Quelltext der Datei \jobname.pdf}% ]{\jobname.bib} %%% Literaturverweise in runden Klammern mit Semikolon als Trenner. % \usepackage[round,semicolon]{natbib} % \renewcommand*{\bibnumfmt}[1]{(#1)} %%% Literaturverzeichnis mit Sprachunterstützung. \usepackage[fixlanguage]{babelbib} \bibliographystyle{babalpha} %%% Babelbib fordert trotz fixlanguage zuviele Sprachen an. \usepackage[english, german, ngerman]{babel} %%% Einstellungen für interaktive PDF-Dokumente. \usepackage[rgb,x11names]{xcolor} \usepackage{hyperref} \hypersetup{ pdftitle={Freie Wortlisten und Trennmuster für die deutsche Sprache}, pdfauthor={Die deutschsprachige Trennmustermannschaft} } \hypersetup{ ngerman,% For \autoref. pdfstartview={XYZ null null null},% Zoom factor is determined by viewer. colorlinks, linkcolor=RoyalBlue3, urlcolor=Chocolate4, citecolor=DeepPink2 } %%% Schriftfestlegungen. \setkomafont{title}{\normalcolor\normalfont} \setkomafont{sectioning}{\normalcolor\normalfont} \setkomafont{section}{\Large} \setkomafont{subsection}{\Large\itshape} %%% Einige Makros für logische Auszeichnungen definieren. \newcommand*{\Abk}[1]{\mbox{\textsc{\lsstyle#1}}} \newcommand*{\Programm}[1]{\textsc{\lsstyle#1}} \newcommand*{\Datei}[1]{\texttt{#1}} %%% Randnotiz am linken Rand. \newcommand{\lrand}[1]{% \mbox{}% \marginpar{% \hspace*{-2\marginparsep}% \hspace*{-\textwidth}% \hspace*{-\marginparwidth}% \parbox[t]{\marginparwidth}{% \raggedright% \small% \sffamily% \bfseries% #1% }% }% \ignorespaces% } %%% Satzspiegel erneut berechnen. \typearea{last} %%% Trennausnahmen definieren. \hyphenation{ Back-end Soft-ware-pro-jek-ten } \begin{document} %%% Dokumenttitel. \author{Die deutschsprachige Trennmustermannschaft} \title{Freie Wortlisten und Trennmuster\linebreak[1] für die deutsche Sprache} \subtitle{\bigskip Eine kurze Projektbeschreibung} \maketitle %%% Zweispaltiges Inhaltsverzeichnis. \begin{multicols}{2} \tableofcontents \end{multicols} \section{Ziele} \label{sec:ziele} Dieses Projekt beabsichtigt, hochqualitative Wortlisten, Trennmuster~\cite{liang:1983} und Ausnahmelisten für die deutsche Sprache zu schaffen, die auch österreichische und (deutsch)schweizerische Besonderheiten abdecken. Grundlage sind die verbindlichen Regeln des Dudens in der Fassung von 1991~\cite{duden:1991} und die amtlichen Regeln für die Rechtschreibung der deutschen Sprache in der Fassung von 2006~\cite{amtlRegeln:2006, amtlRegeln:2006:duden}. Teil des Projekts ist eine Infrastruktur, die die Kontrolle der Listen in verteilter Arbeit ermöglicht. Wortlisten, Trennmuster und Ausnahmelisten sollen unter freien Lizenzen jedermann zugänglich gemacht werden. \section{Wer wir sind} \label{sec:wer} Anstoß für dieses Projekt war eine Reihe von Artikeln in der \emph{\TeX{}nischen Komödie}% \footnote{Vereinsschrift der Deutschsprachigen Anwendervereinigung \TeX\ (\textls{DANTE}~e.\,V.), \url{http://www.dante.de/}}% % , die sich mit den herkömmlichen Trennmustern für die deutsche Sprache auseinandersetzen~\cite{lemberg:2003, lemberg:2005, hennig:2008}. Die deutschsprachige Trennmustermannschaft ist eine offene Gruppe und setzt sich zur Zeit aus Mitgliedern des \textls{DANTE}~e.\,V. sowie Anwendern der Programme \TeX\ und \Programm{OpenOffice}% \footnote{\url{http://de.openoffice.org/}} % zusammen. Die Kommunikation findet derzeit auf der Mailingliste der \Programm{Google}-Gruppe \Programm{Trennmuster-Opensource}% \footnote{\url{https://groups.google.com/forum/\#!forum/trennmuster-opensource}} % statt; das Projekt soll jedoch bei einem anderen Internetdienst zur Verwaltung von Softwareprojekten angemeldet werden. Ersatzweise kann für die Diskussion auch die Newsgruppe \Datei{de.comp.text.tex} genutzt werden. Wir benötigen dringend weitere Mithilfe. Informationen dazu können der Dokumentation des \TeX-Pakets \texttt{dehyph-exptl} oder der folgenden Aufgabenliste entnommen werden. \section{Aufgabenliste} \label{sec:aufgabenliste} Dieser Abschnitt enthält eine Zusammenstellung von anstehenden Aufgaben. Die Liste ist weder sortiert noch vollständig. Die meisten Punkte bestehen nur als Idee und werden zur Zeit nicht aktiv bearbeitet. \subsection{Allgemein} \begin{itemize}\raggedright \item Aufbau und Pflege des Trennmuster-Wikis% \footnote{\url{http://projekte.dante.de/Trennmuster/WebHome}} \item Umzug der Mailing-Liste auf einen anderen Host (BerliOS, Sourceforge o.\,ä.) \item Reservierung einer eigenen Domain \end{itemize} \subsection{Wortlisten} \begin{itemize}\raggedright \item Spezifikation und Implementierung der Datenbankanbindung (Wortliste~v2.0, Backend) \item Spezifikation und Gestaltung der \Abk{html}-Maske zur verteilten Kontrolle der Wortliste (Frontend) \item systematische Erweiterung der Hauptwortliste: \begin{itemize} \item um Wörter aus einer nach Häufigkeiten sortierten Liste (Quellen sind vorhanden, siehe \autoref{sec:ressourcen}), \item um Wörter aus geläufigen Sprachbereichen (Quellen werden benötigt): \begin{multicols}{2}\raggedcolumns \begin{itemize} \item Küche und Haushalt, \item Flora und Fauna, \item Handwerk, Politik, Sport, \item (alte) Literatur: Märchen, Liedtexte, \item deutsche Vor- und Nachnamen, \item Städte- und Flussnamen, \item \st{Zahlwörter und römische Zahlen}, \item \ldots \end{itemize} \end{multicols} \end{itemize} \item Erstellen von Wortlisten für fachspezifische Trennmuster (Quellen werden benötigt): \begin{multicols}{2}\raggedcolumns \begin{itemize} \item Naturwissenschaft und Technik, \item Sprachwissenschaften, \item Geschichte und Religion, \item Medizin, \item Jura, \item Kunst, \item \ldots \end{itemize} \end{multicols} \item Gewichtung der Trennstellen \item Markieren von falschen/""richtigen Ligaturen \item Unterscheidung von Lang- und Rund-s für den Satz mit gebrochenen Schriften \item Erstellen von Trennmustern unterschiedlicher Trennpriorität, für die Erkennung von Sondertrennungen (ck- und Dreikonsonantenregel), Ligaturen und die Behandlung des Rund-s \item verteilte Kontrolle von Rechtschreibung und Trennung des Wortbestands \end{itemize} \subsection{Trennmuster} \begin{itemize}\raggedright \item Können Strukturen der deutschen Sprache durch Startmuster in \Programm{Patgen} berücksichtigt werden, zum Beispiel häufige Vor- und Nachsilben wie \emph{auf-}, \emph{aus-}, \emph{ver-}, \emph{-keit}, \emph{-lich}, \emph{-lein}, etc.? \end{itemize} \subsection{\TeX} \begin{description}\raggedright \item[Sprachanbindung] Die Trennmuster für Schweizer Standarddeutsch (traditionelle Rechtschreibung) benötigen eine Sprachanbindung für \texttt{Babel} und \texttt{Polyglossia}. \item[Versionierung der Trennmuster] In Dokumenten muss trotz weiterentwickelter Trennmuster langfristig umbruchtreuer Textsatz garantiert werden können. Daher benötigt \TeX{}s Sprachenschnittstelle (Pakete \texttt{Babel} bzw. \texttt{Polyglossia}) einen Versionsmechanismus für die Trennmusteraktivierung. $\Rightarrow$ Paket \texttt{hyphsubst} \item[Verallgemeinerung des Trennalgorithmus] Derzeit benötigen \TeX-Quelltexte in deutscher Sprache verschiedene Auszeichnungen: \begin{tabularx}{\linewidth}{lL} \lstinline[style=LaTeX]+\\/ \"|+ & zur Korrektur falscher Ligaturen (\lstinline[style=LaTeX]+Auf\"|lage+) \\ \lstinline[style=LaTeX]+s:+ \emph{u.\,a.} & zur Unterscheidung von langem und rundem~\emph{s} in gebrochenen Schriften (\lstinline[style=LaTeX]+aus:setzen+) \\ \lstinline[style=LaTeX]+\"ck+ & für die richtige Trennung von \emph{ck} in der traditionellen Rechtschreibung (\lstinline[style=LaTeX]+dru\"cken+) \\ \lstinline[style=LaTeX]+\"ff \"ll+ \emph{u.\,a.} & für die richtige Trennung von Dreifachkonsonanten mit folgendem Vokal in der traditionellen Rechtschreibung (\lstinline[style=LaTeX]+Meta\"llegierung+) \\ \end{tabularx} Für die Dokumentenerstellung mit \TeX\ ergeben sich dadurch die folgenden Nachteile: \begin{enumerate} \item Alle genannten Eingriffe beeinflussen die Worttrennung in den übrigen Wortteilen. \item Das Anbringen der Auszeichnung von Hand erfordert zusätzlichen Aufwand und ist fehleranfällig. \item Physische Auszeichnung erschwert den Wechsel zwischen gebrochener und runder Schrift. \item Physische Auszeichnung erschwert den Wechsel zwischen traditioneller und reformierter Rechtschreibung. \end{enumerate} Idealerweise sollte ein Quelltext möglichst wenige physische Auszeichnungen enthalten. Es handelt sich hier um ein Mustererkennungsproblem ähnlich der Worttrennung. Denkbar ist eine Verallgemeinerung des Silbentrennalgorithmus, mit welcher diese Fälle ohne Eingriffe im Quelltext erkannt und richtig behandelt werden können: Während des Absatzumbruchs werden mehrere Tries mit entsprechenden zusätzlichen Mustern durchsucht. Je nachdem von welchen Mustern die einzelnen Trennstellen erfasst werden, erhalten diese unterschiedliche Gewichte.% \footnote{\url{http://tracker.luatex.org/view.php?id=168}} \end{description} \section{Zeitplan} \label{sec:zeitplan} Kurzfristig steht die Verbesserung der in \TeX\ und \Programm{OpenOffice} verwendeten Trennmuster im Vordergrund. Die Pflege der Wortlisten und Trennmuster ist jedoch ein Langzeitprojekt. Die verwendeten Werkzeuge und Listen sind daher gut zu dokumentieren. \section{Ressourcen} \label{sec:ressourcen} \subsection{Auf welche Wortlisten können wir zurückgreifen?} \lrand{\medskip Lembergs Liste} \begin{tabularx}{\linewidth}[t]{lL} \toprule\addlinespace Urheber & Werner Lemberg\\ Rechte & (\Abk{gpl} angestrebt)\\ Wortformen & 430\,000\\ Sortierkriterium & alphabetisch\\ Rechtschreibung & gut\\ Bemerkung & manuell gepflegt\\ Zugriff & \Programm{git}-Repositorium:\newline \verb+$git clone git://repo.or.cz/wortliste.git+\\ Stand & 15.\,6.\,2009\\ \addlinespace\bottomrule \end{tabularx} \bigskip\bigskip \noindent\lrand{\medskip Leipziger Liste} \begin{tabularx}{\linewidth}[t]{lL} \toprule\addlinespace Urheber & Liste des Wortschatzprojekts der Universität Leipzig% \footnote{\url{http://wortschatz.uni-leipzig.de/}}\\ Rechte & \Abk{gpl}\\ Wortformen & 2\,000\,000\\ Sortierkriterium & Häufigkeit\\ Rechtschreibung & mangelhaft\\ Bemerkung & automatische Internetsuche (Datenbanken, Zeitungsarchive usw.)\\ Zugriff & \ldots\\ Stand & 28.\,3.\,2008\\ \addlinespace\bottomrule \end{tabularx} \bigskip\bigskip \noindent\lrand{\medskip Mannheimer Liste} \begin{tabularx}{\linewidth}[t]{lL} \toprule\addlinespace Urheber & Korpus des Instituts für Deutsche Sprache (\Abk{ids})% \footnote{\url{http://www.ids-mannheim.de/kl/}}\\ Rechte & ">Darf in ihrer Gesamtheit -- wie vereinbart -- nicht veröffentlicht oder an Dritte weitergegeben werden."< Abgeleitete Werke können nach unserer Wahl behandelt werden.\\ Wortformen & 4\,000\,000\\ Sortierkriterium & Häufigkeitsklassen\\ Rechtschreibung & mittel\\ Zugriff & nicht öffentlich\\ Stand & 9.\,10.\,2007\\ \addlinespace\bottomrule \end{tabularx} \bigskip\bigskip \noindent\lrand{\medskip Google-Books-Korpus} \begin{tabularx}{\linewidth}[t]{lL} \toprule\addlinespace Urheber & Google\\ Rechte & Creative Commons Attribution 3.0 Unported% \footnote{\url{http://creativecommons.org/licenses/by/3.0/}}\\ Wortformen & 3\,200\,000\\ Sortierkriterium & Häufigkeit\\ Rechtschreibung & mit typischen OCR-Fehlern\\ Zugriff & googlebooks-ger-all-20090715, \url{http://ngrams.googlelabs.com/datasets}\\ Stand & 1.\,7.\,2011\\ \addlinespace\bottomrule \end{tabularx} \subsection{Welche Listen haben wir in Aussicht?} \lrand{\medskip Berliner Liste} \begin{tabularx}{\linewidth}[t]{lL} \toprule\addlinespace Urheber & Kernkorpus des Projekts Digitales Wörterbuch der Deutschen Sprache (\Abk{dwds})% \footnote{\url{http://www.dwdscorpus.de/}}\\ Rechte & \ldots\\ Wortformen & 2\,000\,000\\ Sortierkriterium & \ldots\\ Rechtschreibung & \ldots\\ Bemerkung & repräsentativer Wortschatz der deutschen Sprache\\ Zugriff & derzeit nicht\\ Stand & Juni 2009\\ \addlinespace\bottomrule \end{tabularx} \section{Bisherige Ergebnisse} \label{sec:ergebnisse} \subsection{Trennmuster} \begin{itemize} \item Das \LaTeX-Paket \texttt{dehyph-exptl} enthält die aktuellen experimentellen Trennmuster, die aus Werner Lembergs Liste generiert wurden. Diese können zusammen mit den Paketen \texttt{Babel} und \texttt{hyphsubst} verwendet werden. Die aktuelle sowie ältere Versionen des Pakets \texttt{dehyph-exptl} sind im Dateibereich des Trennmuster-Wikis verfügbar.% \footnote{\url{http://projekte.dante.de/Trennmuster/WebHome}} \item Die bisherigen Trennmusterdateien für die traditionelle und reformierte Rechtschreibung, die Dateien \Datei{dehypht.tex} und \Datei{dehyphn.tex}, können im \Abk{ctan} bezogen werden. Sie sind \emph{nicht} im Zuge dieses Projekts entstanden. \item Die Ausnahmedatei \texttt{dehyphtex.tex} für die traditionellen deutschen Trennmuster ist im \Abk{ctan} verfügbar. \end{itemize} \subsection{Wortlisten} Die von Werner Lemberg erstellte und kontrollierte Liste steht im öffentlich zugänglichen Entwicklerrepositorium.% \footnote{\url{http://repo.or.cz/w/wortliste.git}} % Eine Kopie kann mit \begin{lstlisting}[style=shell] $git clone git://repo.or.cz/wortliste.git \end{lstlisting} bezogen werden.% \footnote{\url{http://repo.or.cz/}} Für den Zugriff auf dieses Repositorium sollte \Programm{Git}~1.5.6.5 oder jünger verwendet werden. Ältere Versionen enthalten einen Fehler im Netzwerkzugriff, der dazu führt, dass statt eines Satzes von Änderungen häufig die komplette Wortliste übertragen wird. Außerdem sollte für einen reibungslosen Betrieb nach dem Klonen dieses Repositoriums die Konfigurationsvariable \verb+core.DeltaBaseCacheLimit+ vom Standardwert 16\,MB auf mindestens 64\,MB erhöht werden. Mit älteren \Programm{Git}-Versionen können auch deutlich höhere Werte sinnvoll sein. Die Konfiguration kann beispielhaft so erfolgen: \begin{lstlisting}[style=shell] $git config core.DeltaBaseCacheLimit 64m $git config --get core.DeltaBaseCacheLimit \end{lstlisting} Das letzte Kommando sollte nun den Wert \verb+64m+ zurückliefern. Das Format der Datei \Datei{wortliste} ist in der Datei \Datei{dateikopf} beschrieben. Im Repositorium sind auch einige Skripten zur Bearbeitung der Wortliste enthalten. Aktualisiert wird die Wortliste (das gesamte lokale Repositorium) mit \begin{lstlisting}[style=shell] $git pull \end{lstlisting} \subsection{\Abk{html}-Prüfmaske} Es existiert ein Entwurf für eine interaktive Maske zur Kontrolle der Rechtschreibung von Wortlisten und der Eingabe korrekter Trennungen.% \footnote{\url{http://www.mnn.ch/opendehyph/index.php}} \raggedright \bibliography{projektbeschreibung} \end{document} %%% Local Variables: %%% mode: latex %%% TeX-PDF-mode: t %%% TeX-master: t %%% coding: iso-8859-15 %%% End: