Эмбеддинги в системах машинного перевода

Вернуться к списку статей
Доклады Башкирского университета. 2026. Том 11. № 3. С. 158-165.

Авторы

Мифтахова Р. Г.*
Уфимский университет науки и технологий
Ханов А. Т.
Уфимский университет науки и технологий

Абстракт

Рассматриваются основные подходы к построению эмбеддингов – векторных представлений слов, позволяющих моделям машинного обучения учитывать семантические и синтаксические свойства языка. Представлен обзор ключевых методов, преимуществ и ограничений. Выполняется опыт с искусственным языком, состоящим из небольшого словаря, для выявления различий между one-hot кодированием и современными методами построения эмбеддингов.

Ключевые слова

  • machine translation
  • neural networks
  • embeddings
  • vector representation of words

Литература

  1. Salton G., Wong A., Yang C. S. A Vector Space Model for Automatic Indexing // Communications of the ACM. 1975. Vol. 18. No. 11. З. Р. 613–620.
  2. Harris Z. S. Distributional Structure // Word. 1954. Vol. 10. No. 2–3. P. 146–162.
  3. Turney P. D., Pantel P. From Frequency to Meaning: Vector Space Models of Semantics // Journal of Artificial Intelligence Research. 2010. Vol. 37. P. 141–188.
  4. Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. Distributed Representations of Words and Phrases and their Compositionality. In: 2013 Conference on Neural Information Processing Systems. NeurIPS, 2013. P. 3111–3119.
  5. Pennington J., Socher R., Manning C. D. GloVe: Global Vectors for Word Representation. In: Conference on Empirical Methods in Natural Language Processing, 2014. Association for Computational Linguistics, 2013. P. 1532–1543.
  6. Peters M. E., Neumann M., Iyyer M., Gardner M., et al. Deep Contextualized Word Representations. In: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers). Association for Computational Linguistics, 2018. P. 2227–2237.
  7. Vaswani A., Shazeer N., Parmar N., et al. Attention Is All You Need. In: 2017 Conference on Neural Information Processing Systems. NeurIPS, 2017. P. 5998–6008.

Embeddings in machine translation systems

Authors

Abstract

The main approaches to the construction of embeddings – vector representations of words that allow machine learning models to take into account semantic and syntactic properties of the language are considered. An overview of key methods, advantages and limitations is presented. An experiment is performed with an artificial language consisting of a small dictionary to identify the differences between one-hot coding and modern embedding methods.

Keywords

  • машинный перевод
  • нейронные сети
  • эмбеддинги
  • векторное представление слов
Вернуться к списку статей