Составление словаря по китайскому тексту

Слово, которое повторяется в китайском тексте, стоит рассмотреть для повторения, но частотный список требует осмысления. В китайской письменности слова обычно не разделяются пробелами. Перед подсчётом инструмент должен определить начало и конец каждого слова; неверная граница может вывести неподходящую единицу в верхнюю часть списка.

Начните с короткого отрывка, который действительно хотите прочитать. Проверьте разбиение, решите, какие слова учитывать, а затем добавьте к выбранной лексике предложение и значение. Ниже авторский абзац проходит путь от исходного текста до небольшого учебного списка с воспроизводимыми числами.

Выберите текст с понятной целью

Глава, короткая статья или учебный отрывок задают ясные границы материала. Скопируйте основной текст и сохраните чистый оригинал. Перед анализом удалите повторяющиеся меню, рекламу, колонтитулы и строки, продублированные при OCR: иначе их частотные слова будут конкурировать с лексикой самого чтения. Если учитываете заголовок, зафиксируйте это решение для последующих сравнений.

Этот оригинальный учебный абзац описывает посещение библиотеки и привычку работать с прочитанным. Он не взят из опубликованной книги и не рассказывает о реальном человеке:

周末，我去图书馆看书。图书馆有中文书，也有英文书。我借了两本中文书，准备下周还书。看书以后，我在笔记本上写下新词，再用新词写句子。

Рассказчик идёт в библиотеку в выходные, берёт две книги на китайском, собирается вернуть их на следующей неделе и записывает новые слова в тетрадь. Этот контекст понадобится дальше: он уточняет язык книг и значение глагола в 还书.

Вставьте абзац в анализатор частоты китайских слов, оставив пользовательские и исключаемые слова пустыми при первом запуске. Читайте не только таблицу, но и разбитый на единицы текст. Таблица объединяет повторения в одну строку, а представление сегментации сохраняет исходный порядок и пунктуацию.

Проверьте границы перед подсчётом

Текущая версия инструмента при первом запуске даёт 33 учитываемых употребления и 25 различных единиц. 中文书 разделяется на 中 и 文书. Такие последовательности возможны, но разделение не передаёт смысл книг на китайском языке в этом абзаце. Правдоподобная словарная единица ещё не доказывает правильность прочтения.

Добавьте 中文书 в поле пользовательских слов отдельной строкой и повторите анализ. Оба употребления сохранятся целиком. Получится 31 употребление и 24 различные единицы. Здесь мы намеренно рассматриваем «книгу на китайском» как один учебный элемент; это выбор для данного упражнения, а не утверждение, что у каждого китайского сочетания есть единственный универсально правильный способ разбиения.

Для другой учебной цели можно оставить 中文 и 书 раздельно или обсудить 两 и счётное слово для книг 本. Результат сегментатора служит отправной точкой для решения. Не добавляйте целые предложения лишь ради сокращения списка. Объединяйте имя или выражение, когда задача действительно требует считать его употребления одной единицей.

Пользовательские термины влияют на совпадения во всём введённом тексте. Добавив короткое или неоднозначное выражение, проверьте окружающие предложения. Для сравнения глав используйте один и тот же набор терминов и сохраняйте его вместе с результатами. Изменение границ в середине работы меняет и состав списка, и сравниваемые итоги.

Читайте числа вместе с долями

Токен — одно учитываемое употребление, а различная единица — отдельная строка символов. При сохранении 中文书 целиком слова 图书馆, 看书, 中文书 и 新词 встречаются по два раза, 我 — три раза. Знаки препинания и пробелы видны в сегментации, но в общий частотный подсчёт не входят.

Доля равна числу употреблений слова, делённому на общее число оставшихся токенов. До исключений для 图书馆 получаем 2 ÷ 31 × 100, примерно 6,45%. После — 2 ÷ 22 × 100, примерно 9,09%. Слово не появилось ещё раз: изменился только знаменатель.

Для второго прохода с акцентом на лексику внесите шесть исключаемых слов из таблицы, каждое на своей строке. Они удаляют в сумме девять употреблений. Исключения совпадают с целыми токенами: исключение 书 не удалит пользовательский токен 中文书. Сегментированный текст остаётся доступным и для слов, не вошедших в статистику.

Все шесть слов полезны в китайском, поэтому не следует автоматически убирать их из каждого урока. Сохраняйте их при изучении грамматики или конструкций. Исключение чисел тоже может помочь в одном тексте, но скрыть важную информацию в расписании или материале о покупках. Сначала определите цель, затем выбирайте фильтры и подписывайте сохранённые результаты соответствующим образом.

Сохраняйте значение в предложении

Отбирайте лексику с учётом частоты, уже известных слов и цели чтения. Частое знакомое слово требует мало внимания, а единственное употребление может объяснить весь абзац. Здесь 借 встречается один раз, но показывает, что книги взяли на время. Ограничение первыми десятью строками не гарантирует лучший учебный набор.

Для каждого выбранного слова сохраните точное предложение или короткую завершённую часть предложения, контекстное значение и проверенное произношение. В 准备下周还书 слово 还 означает возвращать и читается huán. Если знать только hái со значениями «ещё» или «также» в других контекстах, смысл будет понят неверно. Аналогично, 笔记本 здесь — бумажная тетрадь для записей, а не ноутбук.

Полезная запись может включать слово, произношение, значение в отрывке, исходное предложение и название текста. Отмечайте сомнения для последующей проверки, не принимая автоматически выданное чтение за окончательное. Перед созданием карточки с именем, специальным термином или неоднозначным произношением сверьтесь с полным предложением и подходящим словарём.

Экспортируйте список для дальнейшей работы

Скачивайте CSV после окончательного выбора пользовательских слов и исключений. Файл содержит оставленные слова, число употреблений и проценты со всех страниц результатов. Экран округляет проценты до двух знаков, CSV сохраняет четыре. Небольшое расхождение из-за округления не означает изменения чисел, а сумма отображённых долей не обязана равняться ровно 100%.

CSV представляет статистику, а не готовый набор определений. Храните его вместе с оригиналом и заметкой о настройках. В имени файла можно указать отрывок и наличие фильтров. Сравнивая тексты разной длины, смотрите не только на абсолютные числа, но и на доли, при одинаковых правилах разбиения и фильтрации.

Для повторения перенесите выбранные слова в карточки китайской лексики. Подготовьте слово, пиньинь и контекстное значение, затем проверьте и исправьте карточки перед занятиями или экспортом. Не вставляйте частотный CSV так, будто столбец количества содержит произношение. Исходное предложение можно сохранить в учебных заметках или в поле значения карточки.

Вернитесь к исходному чтению

Повторив посильную группу слов, перечитайте абзац. Проверьте, удаётся ли без списка понять посещение библиотеки, особенно действия «взять на время», «вернуть» и «записать». Так упражнение даёт конкретный результат, а не только коллекцию записей.

Длинный текст разбирайте последовательно по сопоставимым частям и сравнивайте результаты после проверки охвата и настроек. Упрощённые и традиционные написания, имена и разные письменные формы могут остаться отдельными единицами; близкое значение не делает токены одинаковыми. Частота выбранного отрывка описывает именно этот отрывок, а не общую частотность китайского, уровень владения языком или процент понятого смысла.