正規表示式表狀詞法分析器
使用正規表示式清單實作詞法分析器。
剖析器主要處理語言結構，特別是語言組成如何結合。最基本的語言組成（例如關鍵字、數字和名稱）剖析器可以清楚辨識。然而，我們通常會將這個階段分開成詞法分析器。透過使用不同的步驟來辨識這些終端符號，我們簡化了剖析器的建構。
直接實作詞法分析器（也稱為詞法分析器）相對簡單。詞法分析器穩固地停留在正規語言的空間中，這表示我們可以使用標準正規表示式 API 來實作它們。對於正規表示式表狀詞法分析器，我們使用正規表示式清單，每個都與特定終端符號相關聯。我們掃描輸入，將輸入的個別部分與適當的正規表示式相關聯，並產生一個命名個別終端符號的權杖串流。這個權杖串流就是剖析器的輸入。
更多詳細資訊，請參閱 DSL 書籍 的 第 20 章