1， 簡單分詞器
- 分詞器simple.py, 按照除了缩写符号（撇號"'"）和连字符号"-"以外的其它标点符号以及空格嚟划分单词。 用於教學同AI訓練。
- 含有縮寫符號" ' "。 比如：“hor' mxhoryiq(可唔可以)”中嘅“hor'”代表“horyiq”嘅縮寫； “'deih”代表"keoiqdeih"嘅縮寫；
- 含有英語。比如： "I'm";
- 含有普通話。比如： "开玩笑-zor"。"开玩笑"發普通話音，"-zor"發粵語音，表示完成態。
- 含有字母同數字。比如： "AK47", "7-11"。