PanLinx

русскийrus-000
лексема
العربيةarb-000رمز مميز
беларускаяbel-000лексема
беларускаяbel-000лексэма
българскиbul-000знак
българскиbul-000лексема
българскиbul-000символ
catalàcat-000lexema
češtinaces-000jednotka slovní zásoby
češtinaces-000lexém
češtinaces-000token
普通话cmn-000标记
普通话cmn-000词位
普通话cmn-000辞范
國語cmn-001詞位
國語cmn-001語彙基元
國語cmn-001辭範
Hànyǔcmn-003cí wei
Hànyǔcmn-003cífàn
danskdan-000token
Deutschdeu-000Lexem
Deutschdeu-000Token
eestiekk-000sõne
Englisheng-000lexeme
Englisheng-000lexical element
Englisheng-000lexical token
Englisheng-000lexical unit
Englisheng-000token
suomifin-000lekseemi
suomifin-000sane
suomifin-000tunnus
françaisfra-000jeton
françaisfra-000lexème
Srpskohrvatskihbs-001leksem
Srpskohrvatskihbs-001лексем
עבריתheb-000אסימון
हिन्दीhin-000टोकन
hrvatskihrv-000leksem
hrvatskihrv-000token
magyarhun-000lexikális elem
magyarhun-000lexéma
magyarhun-000token
italianoita-000lessema
italianoita-000token
日本語jpn-000トークン
日本語jpn-000語彙素
한국어kor-000어휘 항목
한국어kor-000어휘소
한국어kor-000토큰
lietuviųlit-000atpažinimo ženklas
lietuviųlit-000leksema
latviešulvs-000daļiņa
Nederlandsnld-000lexeem
Nederlandsnld-000token
bokmålnob-000token
polskipol-000leksem
polskipol-000token
polskipol-000wyraz
portuguêspor-000lexema
portuguêspor-000token
românăron-000Lexem
românăron-000lexem
românăron-000simbol
русскийrus-000вокабула
русскийrus-000слово
slovenčinaslk-000lexéma
slovenščinaslv-000žeton
españolspa-000lexema
españolspa-000símbolo (token)
srpskisrp-001token
svenskaswe-000(en) token
svenskaswe-000lexem
ภาษาไทยtha-000โทเค็น
українськаukr-000лексема
українськаukr-000маркер
tiếng Việtvie-000từ vị


PanLex

PanLex-PanLinx