PanLinx

ภาษาไทยtha-000
โทเค็น
العربيةarb-000رمز مميز
българскиbul-000знак
българскиbul-000маркер
българскиbul-000символ
češtinaces-000token
普通话cmn-000标记
國語cmn-001語彙基元
danskdan-000stafet
danskdan-000token
Deutschdeu-000Token
eestiekk-000luba
eestiekk-000sõne
Englisheng-000token
suomifin-000tunnus
françaisfra-000jeton
עבריתheb-000אסימון
हिन्दीhin-000टोकन
hrvatskihrv-000token
magyarhun-000lexikális elem
magyarhun-000token
magyarhun-000vezérjel
italianoita-000token
日本語jpn-000トークン
한국어kor-000토큰
lietuviųlit-000atpažinimo ženklas
latviešulvs-000daļiņa
latviešulvs-000marķieris
Nederlandsnld-000token
bokmålnob-000token
polskipol-000token
portuguêspor-000token
românăron-000simbol
русскийrus-000лексема
русскийrus-000маркер
slovenščinaslv-000žeton
españolspa-000símbolo (token)
españolspa-000testigo
srpskisrp-001token
svenskaswe-000(en) token
українськаukr-000маркер


PanLex

PanLex-PanLinx