デバッガーは行を解析するために、まずトークン化または字句解析という処理を行い、行を一連のトークンに変換します。トークン化は、状態マシンによって行われます。
デバッガーが行からコマンドへのトークン化を開始すると、状態マシンは字句状態 LKEYWORD を使用して、トークン化された文字を処理します。LKEYWORD 状態の字句トークン規則に基づいて、字句トークンを表す最も長い文字列を識別します。
字句トークンが識別されると、デバッガーはその字句トークンをトークン化された行に追加し、トークナイザーの状態を変更してから、次のトークンの処理を開始します。