Створення словника з китайського тексту

Слово, яке повторюється в китайському тексті, варто розглянути для повторення, але список частот потребує осмислення. Китайське письмо зазвичай не розділяє слова пробілами. Перш ніж рахувати, інструмент має визначити початок і кінець кожного слова; помилкова межа може вивести невідповідний елемент угору списку.

Почніть із короткого уривка, який справді хочете прочитати. Перевірте поділ, визначте слова для статистики, а тоді додайте до відібраної лексики речення й значення. Нижче авторський абзац проходить шлях від початкового тексту до невеликого навчального списку з відтворюваними числами.

Оберіть текст із чіткою метою

Розділ, коротка стаття або навчальний текст задають зрозумілі межі списку. Скопіюйте основний текст і збережіть чистий оригінал. Перед аналізом приберіть повторювані меню, рекламу, колонтитули та рядки, продубльовані OCR: інакше їхні слова конкуруватимуть із лексикою читання. Якщо враховуєте заголовок, запишіть це рішення для подальших порівнянь.

Цей оригінальний навчальний абзац описує відвідини бібліотеки та звичку працювати з прочитаним. Він не походить із виданої книжки й не розповідає про реальну людину:

周末，我去图书馆看书。图书馆有中文书，也有英文书。我借了两本中文书，准备下周还书。看书以后，我在笔记本上写下新词，再用新词写句子。

Оповідач іде до бібліотеки на вихідних, позичає дві книжки китайською, планує повернути їх наступного тижня й записує нові слова в зошит. Цей контекст знадобиться далі: він пояснює мову книжок і значення дієслова в 还书.

Вставте абзац в аналізатор частоти китайських слів, залишивши власні й виключені слова порожніми під час першого запуску. Читайте і таблицю, і поділений текст. Таблиця об’єднує повторення в один рядок, а подання сегментації зберігає початковий порядок та пунктуацію.

Перевірте межі перед підрахунком

Поточний інструмент спочатку дає 33 враховані вживання та 25 різних одиниць. 中文书 розділяється на 中 і 文书. Обидві послідовності можливі, але цей поділ не передає зміст книжок китайською мовою в абзаці. Правдоподібна словникова одиниця сама по собі не доводить правильності прочитання.

Додайте 中文书 до поля власних слів окремим рядком і повторіть аналіз. Обидва вживання залишаться цілими. Результат міститиме 31 вживання й 24 різні одиниці. Тут ми свідомо розглядаємо «книжку китайською» як навчальний елемент; це вибір для вправи, а не твердження про єдиний універсально правильний поділ кожного китайського поєднання.

Інша навчальна мета може вимагати окремого вивчення 中文 і 书 або пояснення 两 та лічильного слова для книжок 本. Результат сегментації є відправною точкою для такого рішення. Не додавайте цілі речення лише заради коротшого списку. Об’єднуйте ім’я чи вираз, коли цього справді потребує завдання.

Власні терміни впливають на всі відповідні місця у введеному тексті. Після додавання короткого чи неоднозначного терміна перевірте навколишні речення. Порівнюючи розділи, використовуйте той самий набір і зберігайте його копію з результатами. Зміна меж посеред роботи змінює і словникові одиниці, і загальні числа, які ви порівнюєте.

Читайте кількості разом із частками

Токен — це одне враховане вживання, а різна одиниця — інша послідовність символів. Якщо 中文书 збережено цілісним, 图书馆, 看书, 中文书 і 新词 трапляються по два рази, а 我 — три. Пунктуація й пробіли залишаються видимими в сегментації, але не входять до частотного підсумку.

Частка — це кількість уживань слова, поділена на суму всіх залишених токенів. До виключень для 图书馆 отримуємо 2 ÷ 31 × 100, приблизно 6,45%. Після — 2 ÷ 22 × 100, приблизно 9,09%. Слово не з’явилося ще раз: змінився лише знаменник.

Для другого проходу з акцентом на лексику введіть шість виключених слів із таблиці, кожне окремим рядком. Разом вони прибирають дев’ять уживань. Виключення збігаються з цілими токенами, тому вилучення 书 не видалить власний токен 中文书. Поділений текст залишається доступним навіть для слів, які вже не входять у статистику.

Усі шість слів корисні в китайській, тож не варто автоматично прибирати їх із кожного уроку. Зберігайте їх під час вивчення граматики чи конструкцій. Так само виключення чисел може допомагати в одному тексті, але приховувати важливу інформацію в розкладі чи матеріалі про покупки. Спершу визначте мету, потім обирайте фільтри й відповідно позначайте збережені результати.

Зберігайте значення в реченні

Обирайте слова з урахуванням частоти, попередніх знань і завдання читання. Знайоме часте слово потребує мало уваги, а слово з єдиним уживанням може пояснити весь абзац. Тут 借 трапляється один раз, але показує, що книжки взято на певний час. Перші десять рядків не обов’язково утворюють найкращий навчальний набір.

Для кожного елемента збережіть точне речення або коротку завершену частину речення, контекстне значення й перевірену вимову. У 准备下周还书 слово 还 означає повертати й читається huán. Якщо знати лише hái зі значеннями «ще» або «також» в інших контекстах, речення буде зрозуміле неправильно. Так само 笔记本 тут — паперовий зошит для письма, а не ноутбук.

Корисний запис може містити слово, вимову, значення в уривку, оригінальне речення й назву тексту. Позначайте сумніви для пізнішої перевірки, а не приймайте автоматично запропоноване читання за остаточне. Перед створенням картки з ім’ям, фаховим терміном чи неоднозначною вимовою перевірте повне речення та відповідний словник.

Експортуйте список для подальшої роботи

Завантажуйте CSV, коли власні слова та виключення вже визначено. Він містить залишені слова, кількість і відсотки з усіх сторінок результатів. Екран округлює відсотки до двох десяткових знаків, CSV зберігає чотири. Невелика різниця округлення не означає зміни кількостей, а сума показаних часток не обов’язково дорівнює точно 100%.

CSV — це статистичний список, а не готовий набір визначень. Зберігайте його з оригіналом і нотаткою про налаштування. Назва файла може вказувати уривок і наявність фільтрів. Порівнюючи тексти різної довжини, дивіться і на абсолютні кількості, і на частки, застосовуючи однаковий поділ та фільтрацію.

Для повторення перенесіть обрані слова в картки китайської лексики. Підготуйте слово, піньїнь і контекстне значення; перевірте та відредагуйте картки перед вправами чи експортом. Не вставляйте частотний CSV так, ніби стовпець кількості містить вимову. Початкове речення можна зберегти в навчальних нотатках або полі значення картки.

Поверніться до початкового читання

Повторивши посильну групу слів, перечитайте абзац. Перевірте, чи розумієте без списку відвідини бібліотеки, особливо дії «позичити», «повернути» й «записати». Так вправа дає конкретний результат, а не лише накопичення записів.

Довгі тексти опрацьовуйте послідовними частинами й порівнюйте результати після перевірки обсягу та налаштувань. Спрощені й традиційні написання, імена та різні письмові форми можуть залишатися окремими одиницями; близький зміст не робить токени тотожними. Частота у вибраному уривку описує саме цей уривок, а не загальний рейтинг китайської лексики, мовний рівень чи відсоток зрозумілого змісту.