
本文目录
在中文材料中反复出现的词,值得列入复习候选,但词频表仍需要解读。中文书写通常不在词与词之间加空格。工具必须先判断词语从哪里开始、在哪里结束,才能统计次数;分词边界不对,排在前面的就可能是错误的条目。
先选一小段自己确实想读懂的材料,检查分词,再决定哪些词参与统计,最后为要保留的词补上原句和释义。下面用一段原创短文,完整演示从原始文本到小型复习词表的过程,统计数值也可以自行复现。
选定有明确用途的材料
一个章节、一篇短文或一段课堂阅读,都能为词表划定清楚的范围。复制正文,并保存一份干净的原文。分析前去掉重复导航、广告、页眉以及OCR重复识别的行,否则这些内容的高频词会混入阅读材料。若保留标题参与统计,在比较不同材料时也要记下这个决定。
以下是本篇原创练习短文,描述去图书馆和阅读的过程,并非摘自已出版书籍,也不是真实人物的经历:
周末,我去图书馆看书。图书馆有中文书,也有英文书。我借了两本中文书,准备下周还书。看书以后,我在笔记本上写下新词,再用新词写句子。
叙述者周末去图书馆,借了两本中文书,打算下周归还,并把新词写在笔记本上。后面判断词义时,这个语境很重要:它说明了书的语言,也决定了“还书”中的动词含义。
把短文粘贴到中文分词与词频统计工具中,第一次分析先不填写保留词和排除词。除了词频表,还要阅读分词结果。表格把重复出现的词合并为一行,分词视图则保留原来的顺序和标点。
统计前先核对词语边界
当前工具第一次分析得到33个词次、25个不同条目,其中“中文书”被切成了“中”和“文书”。这两个片段虽然都可能出现,但这里想表达的是中文书籍,这样切分并不合适。仅仅能在词典里找到一个看似合理的词,不足以证明它符合原句。
在保留完整词语的输入框中单独一行填写中文书,然后重新分析。两处“中文书”都会保留为整体,结果变为31个词次、24个不同条目。这里是为了本次阅读练习,把“中文书”作为一个学习项,并不表示所有中文组合都只有一种通用的正确切法。
如果学习目的不同,也可以把“中文”和“书”分别学习,或专门讲解“两”和书籍量词“本”。分词结果只是辅助判断的起点。不要为了让词表变短,就把整句塞进自定义词语。只有在人名或表达确实应作为整体统计时,才把它加入。
自定义词语会影响输入中所有匹配的位置。加入很短或容易歧义的词后,要回看所在的句子。比较不同章节时,应保持同一套自定义词语,并与结果一起保存;中途改变边界,会同时改变词表条目和用于比较的总数。
结合次数理解占比
一个词次就是一个参与统计的出现位置,不同条目则是不同的词语字符串。保留“中文书”后,“图书馆”“看书”“中文书”和“新词”各出现两次,“我”出现三次。标点和空格可以在分词结果中看到,但不会计入词频总数。
| 统计设置 | 词次总数 | 不同条目 | 图书馆次数 | 图书馆占比 |
|---|---|---|---|---|
| 不设保留词或排除词 | 33 | 25 | 2 | 6.06% |
| 保留中文书为整体 | 31 | 24 | 2 | 6.45% |
| 再排除我、有、也、了、在、上 | 22 | 18 | 2 | 9.09% |
占比等于某词出现次数除以保留词次的总数。排除前,“图书馆”的计算是2 ÷ 31 × 100,约6.45%;排除后是2 ÷ 22 × 100,约9.09%。这个词没有多出现一次,变化的只是分母。
若第二遍主要想挑选词汇,可以把表格中的六个排除词分行输入,共排除九个词次。排除规则匹配完整词语,因此排除“书”不会移除自定义的“中文书”。被排除的词仍保留在分词视图中,只是不再参与统计。
这六个词本身都很有用,不能在所有课程中一律删掉。学习语法或句型时,反而应该保留它们。排除数字对某些材料有帮助,却可能删去时刻表或购物文章中的关键信息。先确定学习目的,再选过滤条件,并在保存结果时注明。
把词义留在原句里
挑词时,应综合考虑频率、已有词汇量和阅读任务。反复出现但已经熟悉的词,不必投入太多时间;只出现一次的词,也可能决定整段的意思。本例中“借”只出现一次,却明确了书是借来的。只截取前十名,并不能保证得到最合适的学习清单。
为每个选中的词保留原句或一个完整短分句,并补上此处的含义和核对过的读音。“准备下周还书”中的“还”表示归还,读huán;若只记住其他语境中表示仍然、另外的hái,就会误解原句。同样,这里的“笔记本”是写字的纸本,而不是笔记本电脑。
一条有用的记录可以包含词语、读音、本文词义、原句和材料标题。暂不确定的地方标出来,之后再核对,不要把自动生成的读音直接当成定论。制作人名、专业词语或多音字的词卡前,应结合完整句子和合适的词典确认。
导出可以继续使用的词表
确定保留词和排除词后,再下载CSV。文件包含保留词语、次数和百分比,涵盖全部结果页。页面百分比保留两位小数,CSV保留四位;轻微的舍入差异不表示次数改变,显示的百分比相加也不一定恰好等于100%。
CSV是一份统计清单,并不是已经配好释义的词卡。把它与原文、设置说明放在一起,文件名中可以包含材料编号及是否使用过滤。比较长度不同的文本时,除了次数,还应看按总量计算的占比,并保持分词和过滤规则一致。
要继续复习,可以把选出的词放进中文词汇学习卡片工具,准备好词语、拼音和此处的含义,检查并编辑卡片后再练习或导出。不要把词频CSV的次数列当作拼音列直接粘贴。原句可以保存在学习笔记或卡片的释义栏中。
回到原来的阅读材料
复习一组数量合适的词后,再读一遍短文,看看能否不查词表就理解这次图书馆之行,尤其是借书、还书和记笔记几个动作。这样,整理词汇就有了收集条目之外的明确成果。
处理长篇材料时,按一致的方式分段,先核对范围与设置,再比较结果。简繁体、专名和不同写法可能保留为不同条目,意思相近也不代表是同一个统计词语。所选材料中的词频只描述这份材料,不是通用中文词频排名、语言等级,也不是理解了多少内容的百分比。
评论
加载中…
暂无评论。