"Яндекс" обновил морфологический анализатор

Одна из задач компьютерной лингвистики — определение словарной формы слова. Чтобы решить эту задачу, в 2006 году поисковая система «Яндекс» выпустил для некоммерческого использования mystem — морфологический анализатор русского языка. Это небольшая консольная программа, которая производит морфологический анализ слов, причем как известных словарю, так и новых.

В новую версию программы внесено большое количество изменений и улучшений. В первую очередь они коснулись словаря и интерфейса. Основные алгоритмы и принципы работы остались теми же, сообщает Компьюлента.

Словарь увеличился более чем вдвое (в том числе благодаря помощи проекта AOT). Добавлен также частотный словарь русского языка, созданный сотрудниками Института им. В. В. Виноградова на основе Национального корпуса русского языка.

Поскольку словарный запас программы стал больше, разбор текста в новом mystem будет иным, нежели в старой версии.

В интерфейсе добавлена поддержка различных кодировок и упразднены некоторые устаревшие опции.

Найти всю необходимую справочную информацию, а также загрузить новую версию приложения можно отсюда.