1)
A
tribu
ty tokenu mohou být rozdílné:
[
id
,
E
Pos
],
[
int
,
60
],
[
*
,
]
Token
y
v praxi
ukazatel
celé číslo
nic
20
/35
•
Tokeny reprezentují každý lexém ze zdrojového
programu jednotně. Obecně tvar tokenu je:
[
type
,
attribute
]
Pozn.
:
V praxi se používají většinou rozdílné atributy.
2
)
Atributy tokenu mají stejný typ:
[
1
,
2
]
,
[
2
,
3
]
,
[
3
,
1
]