字句

字句（じく）とは、プログラミング言語においてソースコードに出現する文字列の中で意味を持つ最小単位のことであり、トークンとも言う。

トークンとは、プログラミング言語においてソースコードに出現する文字列の中で意味を持つ最小単位のことである。

main, if, $a などの関数名や変数名、{} () [] などの括弧、+-=*などの演算記号、;,:などといった区切り文字、3.14159のような定数はすべてトークンに相当する。

ソースコードをコンパイルするにあたって、最初の段階でまずトークンを取り出し種別に分類必要がある。この処理を字句解析と呼ぶ。 この処理のため、各種のトークンはどのような文字から構成されるかが規定されている。

• （例）変数名は、英字で始まり、その後に0個以上の英字、数字または下線 (_) が続く文字列である。

通常、このような構成規則はバッカス・ナウア記法 (BNF) または正則表現で表現される。上の例を正規表現で表すと [a-zA-Z][a-zA-Z0-9_]* となる。

関連項目

• 字句解析