\documentclass{article} \usepackage{amsthm} \newtheorem{lemma}{Lemma} \begin{document} \begin{lemma}[Foo]\label{thm:foo} Foo \end{lemma} \begin{lemma}\label{thm:bar} Bar \end{lemma} \begin{lemma}\label{thm:baz} Baz \end{lemma} \begin{lemma}[Qux] Qux \end{lemma} \end{document}