Викисловарь

Викислова́рь (англ. Wiktionary) — свободно пополняемый многофункциональный многоязычный словарь и (тезаурус), основанный на вики-движке. Один из проектов фонда «Викимедиа». Изначально появился на английском языке 12 декабря 2002 года.

Викисловарь
англ. Wiktionary
URL	wiktionary.org
Коммерческий	Нет
Тип сайта	Сетевой словарь
Регистрация	Необязательная
Язык (-и)	170
Расположение сервера	Майами
Владелец	Фонд Викимедиа
Создатель	(Джимми Уэйлс)
Начало работы	12 декабря 2002
Медиафайлы на Викискладе

В словаре содержатся (грамматические) описания, толкования и переводы слов. Кроме того, в статьях может отражаться информация об этимологии, фонетических свойствах и семантических связях слов. Таким образом, Викисловарь — попытка объединить в одном продукте , толковый, этимологический и многоязычный словари, а также тезаурус.

Данные Викисловаря активно используются при решении различных задач, связанных с машинной обработкой текста и речи^[⇨].

Лексикографическая концепция

Благодаря взаимосвязи между разными языковыми разделами Wiktionary, а также между участниками словарного и других проектов «Фонда Викимедиа», участники каждого из них могут использовать концепции, инструменты и лексикографические материалы, созданные их коллегами — носителями других языков. В ходе работы над различными языковыми разделами словаря сложилась комплексная концепция универсального лексикографического ресурса, ставшая впервые возможной благодаря электронным технологиям. Концепция предполагает в конечном итоге полное, всестороннее описание всех лексических единиц всех естественных (и основных искусственных) языков, имеющих письменность. Полнота описания означает наличие сведений о фонетике, морфологии, синтаксических и семантических свойствах лексической единицы, её этимологии, сочетаемости и фразеологии. Полнота и степень последовательности реализации этой концепции может варьироваться в разных языковых разделах проекта.^[]

В каждом языковом разделе «титульный» язык является центральным — все статьи пишутся исключительно на нём, кроме того, ставится цель дать переводы слов и других единиц этого языка на максимально возможное число других языков. Слова других языков переводятся, как правило, только на этот «титульный» язык. Так, в русском Викисловаре для русских слов даются толкования и переводы на иностранные языки, для иностранных слов вместо толкований даются переводы на русский язык.

При описании морфологии делается попытка дать максимально полную картину словоизменения, включая указание класса словоизменения. В частности, морфологические сведения по русским лексемам даются в соответствии с классификацией, предложенной А. А. Зализняком.^[]

Для пополнения Викисловаря создан обширный список литературы, в Английском Викисловаре выработаны правила по включению термина в словарь (см. Criteria for inclusion). В отличие от русской Википедии, где приоритет при подборе материала отдаётся авторитетным источникам, в русском Викисловаре превалирует проведённый редактором статьи анализ словоупотребления.

Тезаурус

Викисловарь содержит следующие семантические отношения: синонимы, (антонимы), (гиперонимы), (гипонимы), , (холонимы), (меронимы), (паронимы).^[]

Википедия и Викисловарь

Викисловарь не включает подробного описания фактов и энциклопедической информации. Тем не менее Викисловарь предоставляет уникальную информацию, отсутствующую в Википедии: словосочетания, поговорки, аббревиатуры, акронимы, описание ошибок правописания, упрощённые/искажённые варианты написания / произнесения слов, спорные случаи употребления, протологизмы, (ономатопею), разные стили (напр., разговорный) и предметные области. Таким образом, Википедия и Викисловарь дополняют друг друга.

Викисловарь сходен с Википедией в том, что (1) есть внутренние ссылки на статьи о словах внутри Викисловаря, (2) есть категории, (3) есть (интервики), ссылающиеся на статьи о том же слове в иноязычном словаре.

Русскоязычный раздел

Внешние видеофайлы
	Силонов А. Ф. «Викисловарь: цели, методы формирования и структура» // Семинар «Компьютерная лингвистика», 2015

Динамика развития русского Викисловаря

Русский раздел Wiktionary был создан весной 2004 года. На протяжении полутора лет он практически не развивался, пополняясь бессистемно, преимущественно недоброкачественным материалом. Ситуация начала меняться в конце 2005 — начале 2006 годов.^[]

В 2006 году был назначен первый администратор русского викисловаря Schwallex, объём статей увеличился почти в четыре раза по сравнению с предыдущим годом, создан мощный инструментарий для описания морфологии, начала формироваться развитая система семантических категорий.

К осени 2006 года число статей в русском Викисловаре достигло 10 000; затем, благодаря созданию бота, использующего словники других разделов Wiktionary для генерации статей-болванок в русском разделе, за полтора месяца было добавлено ещё около 70 000 статей. 7 ноября 2006 года Викисловарь преодолел отметку 80 000, а 10 декабря 2006 года был взят рубеж в 100 000 статей. 17 декабря 2018 года количество статей превысило 1 000 000. Число активных участников составило порядка 230.

В отличие от ситуации с традиционными словарями, полнота Викисловаря не может быть адекватно оценена по формальному показателю количества статей. Автоматический счётчик не делает различий между полупустыми болванками и по-настоящему информативными статьями, кроме того, он не учитывает внутриязыковой и межъязыковой омонимии. К примеру, словарный вход бор числится как одна статья, между тем в этой статье описано несколько омонимичных лексем русского языка, а также одноименные лексемы других языков (болгарского, татарского), — в традиционных словарях этот материал был бы оформлен и учтён в виде нескольких статей.^[]

Большинство исследователей признаёт лексикографическую значимость Русского Викисловаря, однако отмечает его неакадемический характер, говорит о нём как о форме народной лексикографии.

Сравнение с другими Викисловарями

Число русских слов в Русском Викисловаре (слева) и в Английском Викисловаре (справа), данные на 2011 год

Начиная с августа 2008 года русский Викисловарь вышел на первое место по размеру базы данных среди всех викисловарей. В то же время количество статей в русском Викисловаре не самое большое. Это отчасти объясняется тем, что у проектов, в которых статей больше, чем в русском Викисловаре, статьи могут иметь в среднем меньший размер, в чём можно убедиться на сайте статистики.

Кроме того, русский Викисловарь по сравнению с другими разделами Wiktionary содержит большее количество вспомогательной информации, включая справочные таблицы, списки частотных слов и т. п. (в отличие от словарных статей, составляющих так называемое основное пространство имён, такая информация размещается в разделах «Приложения», «Индексы» и т. п.). Значительное количество статей в русском Викисловаре всё ещё является болванками, сгенерированными ботами. Хотя иногда и можно встретить критику большого количества статей-болванок, такая предварительная разметка даёт много преимуществ. Во-первых, она помогает быстрее создавать статьи за счёт предварительного включения некоторой информации типа части речи описываемого слова. Во-вторых, структура статей стандартизируется. За счёт повсеместного применения шаблонов (которые обычно сразу проставляются ботами при автоматическом создании статей) возникает возможность централизованно менять внешний вид сразу многих статей. Наличие большого количества шаблонов также помогает проводить дальнейшее автоматизированное редактирование уже созданных статей — например, автоматически проставлять перевод по заранее подготовленным словарям (так как ботам легче ориентироваться в структуре статьи, уже размеченной специализированными конструкциями, а не человеческим языком). Отличительной особенностью русского Викисловаря является проработанная концепция развития (которую можно найти на главной странице). Из-за проработанной концепции и широкого применения шаблонов статьи в русском Викисловаре выглядят более однотипно, чем во многих других проектах (в основном одинаковы количество разделов, порядок их следования, оформление каждого раздела).^[]

Авторами было подсчитано число словарных статей о русских словах, число статей с толкованиями и без них — в двух Викисловарях (на иллюстрации). Политика редакторов Английского Викисловаря (не создавать статей-заготовок) подтвердилась: словарных статей о русских словах без толкований всего 5,57 %. В Русском Викисловаре таких статей — 60,39 %. Однако в Русском Викисловаре (по данным на 2011 год) почти в 3,4 раза больше словарных статей с толкованиями для русских слов, чем в Английском Викисловаре: 53,6 тысячи против 15,7 тысячи.

Применение в NLP задачах

Для использования лексикографических данных викисловарей при решении задач автоматической обработки текста и речи — необходимо преобразовать тексты словарных статей ((слабоструктурированные данные)) в машиночитаемый формат.

Извлечение данных из викисловарей является непростой задачей. Можно выделить следующие трудности: (1) регулярное и частое изменение как данных, так и самой структуры статей, (2) разные викисловари имеют различную структуру и формат статей, (3) технология вики изначально ориентирована на удобство работы человека, а не на машинную обработку.

Существует несколько парсеров для разных викисловарей:

•  — одно из расширений проекта (DBpedia), данные извлекаются из Английского, Французского, Немецкого и Русского Викисловарей. Извлекаются: язык, часть речи, толкование, семантические отношения, переводы. Для извлечения данных используются: декларативное описание структуры словарной статьи, (регулярные выражения) и FST-разновидность (конечного автомата).
• JWKTL (Java Wiktionary Library) — API к данным Английского и Немецкого Викисловарей. Извлекаются: язык, часть речи, толкование, цитаты, семантические отношения, этимология и переводы. Программа доступна для некоммерческого использования.
• wikokit — парсер Английского и Русского Викисловарей. Извлекаются: язык, часть речи, толкование, цитаты (только для Русского Викисловаря), семантические отношения и переводы. Исходный код программы доступен на условиях открытой (мультилицензии).

С помощью викисловарей решаются разнообразные задачи, связанные с обработкой текста и речи:

• машинный перевод на основе правил между нидерландским и языком африкаанс; используются данные Английского и Нидерландского Викисловарей и двух википедий в рамках системы (Apertium);
• создание машиночитаемого словаря парсером NULEX, интегрирующего открытые лингвистические ресурсы: Английский Викисловарь, (WordNet) и VerbNet. Для существительного из Английского Викисловаря извлекались часть речи и форма множественного числа, для глаголов — время. Для извлечения данных из Викисловаря использовалась методика Screen scraping;
• распознавание и синтез речи, где Викисловарь выступает в роли источника данных для автоматического построения словаря произношений. Извлекаются пары слово-произношение (транскрипция в системе МФА) из Чешского, Английского, Французского, Немецкого, Польского и Испанского Викисловарей. При проверке самое большое число ошибок оказалось в транскрипциях, извлечённых из Английского Викисловаря;
• построение онтологий и баз знаний;
• (отображение онтологий);
• упрощение текста. В работе выполняется оценка сложности слов на основе данных Викисловаря. Для слова из Английского Викисловаря извлекаются: размер словарной статьи, число частей речи, число значений и число переводов. Авторы предположили, что более простыми, базовыми, употребимыми будут те слова, у которых больше значений (то есть размер статьи будет больше), больше частей речи и больше переводов. Далее найденные в тексте «сложные» слова необходимо перефразировать, найти более «простые» эквиваленты, что приведёт к упрощению (адаптации) текста;
• (частеречная разметка). В работе (Ли и др., 2012) на основе данных Английского Викисловаря построены POS-tagger’ы для восьми языков, имеющих «бедные лингвистические ресурсы», с использованием (скрытых марковских моделей).
• (анализ тональности текста).

См. также

• (Татоэба)

Примечания

Комментарии

1. Статьи в Википедии должны основываться на опубликованных авторитетных источниках.

2. Викисловарь: Лексикографическая концепция

   При наличии разногласий относительно каких-либо описываемых свойств какой-либо языковой единицы приоритет (с точки зрения доказательности) отдаётся корпусным источникам.

3. Сравните, например, структуру и правила оформления статей в Английском Викисловаре и Русском Викисловаре.
4. Если в словарной статье несколько транскрипций, то берётся первая.
5. Исходный код программы и результаты частеречной разметки доступны онлайн: https://code.google.com/p/wikily-supervised-pos-tagger от 14 апреля 2013 на Wayback Machine

Источники

1. Zesch et al, 2008, p. 2.
2. Смирнов и др., 2012.
3. Статистика викисловарей: Размер базы данных  (неопр.). Дата обращения: 28 октября 2010. Архивировано 10 августа 2011 года.
4. Статистика викисловарей  (неопр.). Дата обращения: 14 февраля 2010. Архивировано 5 января 2009 года.
5. Статистика викисловарей: Байтов на статью  (неопр.). Дата обращения: 14 февраля 2010. Архивировано 10 августа 2011 года.
6. Meyer and Gurevych, 2012, p. 140.
7. Zesch et al, 2008, Figure 1, p. 4.
8. Meyer and Gurevych, 2010, p. 40.
9. Крижановский, Преобразование, 2010, с. 1.
10. Hellmann and Auer, 2013, стр. 16 в PDF, p. 302.
11. Hellmann et al, 2012, Table 1, p. 3.
12. Hellmann et al, 2012, pp. 8—9.
13. Hellmann et al, 2012, p. 10.
14. Hellmann et al, 2012, p. 11.
15. Zesch et al, 2008.
16. Крижановский, Преобразование, 2010.
17. Крижановский, 2011.
18. Крижановский, Сравнение, 2010.
19. Смирнов и др., 2012, pp. 233—234.
20. Otte and Tyers, 2011.
21. McFate and Forbus, 2011.
22. Schlippe et al., 2012.
23. Schlippe et al., 2012, p. 4804.
24. Meyer and Gurevych, 2012.
25. ConceptNet 5  (неопр.). Дата обращения: 17 апреля 2013. Архивировано 19 апреля 2013 года.
26. Lin and Krizhanovsky, 2011.
27. Medero and Ostendorf, 2009.
28. Li et al, 2012.
29. Chesley et al, 2006.

Литература

• Крижановский А. Преобразование структуры словарной статьи Викисловаря в таблицы и отношения реляционной базы данных : препринт. — 2010.
• Крижановский А. Сравнение тезаурусов Русского и Английского Викисловарей, преобразованных в машиночитаемый формат : препринт. — 2010.
• Крижановский А. Оценка использования корпусов и электронных библиотек в Русском Викисловаре // Труды международной конференции «Корпусная лингвистика–2011». — СПб.: С.-Петербургский гос. университет, Филологический факультет, 2011. — С. 217—222. — 348 с. — .
• Мейстер Г. И. Русский Викисловарь как лексикографический проект // Nová rusistika. — 2022. — Т. 15, № 2. — С. 21-38.
• Смирнов А. В., Круглов В. М., Крижановский А. А., Луговая Н. Б., Карпов А. А., Кипяткова И. С. Количественный анализ лексики русского WordNet и викисловарей // Труды СПИИРАН. — СПб., 2012. — Т. 23. — С. 231–253.
• Chesley P., Vincent B., Li Xu, Srihari R. K. Using verbs and adjectives to automatically classify blog sentiment // Training. — 2006. — Т. 580. — С. 233—235.
• Hellmann S., Brekle J., Auer S. Leveraging the Crowdsourcing of Lexical Resources for Bootstrapping a Linguistic Data Cloud : Proc. Joint Int. Semantic Technology Conference (JIST), Dec 2-4. — Nara, Japan, 2012.
• Hellmann S., Auer S. Towards Web-Scale Collaborative Knowledge Extraction // The People’s Web Meets NLP / Gurevych, Iryna; Kim, Jungi. — Springer, 2013. — С. 287—313. — 378 с. — (Theory and Applications of Natural Language Processing). — .
• Li S., Graça J. V., Taskar B. Wiki-ly supervised part-of-speech tagging : Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. — Jeju Island, Korea: Association for Computational Linguistics, 2012. — С. 1389—1398. 22 мая 2013 года.
• Lin F., Krizhanovsky A. Multilingual ontology matching based on Wiktionary data accessible via SPARQL endpoint // Proc. of the 13th Russian Conference on Digital Libraries RCDL’2011. October 19-22, Voronezh, Russia. — 2011. — С. 19—26.
• McFate C., Forbus K. NULEX: An Open-License Broad Coverage Lexicon // The 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Proceedings of the Conference, 19-24 June, 2011, Portland, Oregon, USA - Short Papers. — The Association for Computer Linguistics, 2011. — С. 363—367. — .
• Medero J. and Ostendorf M. Analysis of vocabulary difficulty using wiktionary // Proc. SLaTE Workshop. — 2009.
• Meyer C. M. and Gurevych I. Worth its Weight in Gold or Yet Another Resource - A Comparative Study of Wiktionary, OpenThesaurus and GermaNet : Proc. 11th International Conference on Intelligent Text Processing and Computational Linguistics,. — Iasi, Romania, 2010. — С. 38—49. 1 декабря 2017 года.
• Meyer C. M. and Gurevych I. OntoWiktionary – Constructing an Ontology from the Collaborative Online Dictionary Wiktionary // Semi-Automatic Ontology Development: Processes and Resources / M. T. Pazienza and A. Stellato. — IGI Global, 2012. — С. 131—161. — .
• Otte P., Tyers F. M. Rapid rule-based machine translation between Dutch and Afrikaans // EAMT 2011: proc. of the 15th conference of the European Association for Machine Translation / Mikel L. Forcada, Heidi Depraetere, Vincent Vandeghinste. — Leuven, Belgium, 2011. — С. 153—160.
• Schlippe T., Ochs S., Schultz T. Grapheme-to-phoneme model generation for Indo-European languages // In Proceedings of The 37th International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2012), Kyoto, Japan, 25-30 March. — 2012. — С. 4801—4804.
• Zesch T., Müller C., Gurevych I. Extracting Lexical Semantic Knowledge from Wikipedia and Wiktionary. : Proc. of the 6th International Conference on Language Resources and Evaluation. — Marrakech, Morocco, 2008.

Ссылки

• Wiktionary
• Русский Викисловарь