Federated Learning in Named Entity Recognition

Efim Luboshnikov; I. Makarov

doi:10.1007/978-3-030-71214-3_8

Публикации

?

Federated Learning in Named Entity Recognition

Ch. 8. P. 90–101.

Efim Luboshnikov, Макаров И. А.

This article is devoted to the implementation of the federated approach to named entity recognition. The novel federated approach is designed to solve data privacy issues. The classic BiLSTM-CNNs-CRF and its modifications trained on a single machine are taken as baseline. Federated training is conducted for them. Influence of use of pretrained embedding, use of various blocks of architecture on training and quality of final model is considered. Besides, other important questions arising in practice are considered and solved, for example, creation of distributed private dictionaries, selection of base model for federated learning.

Язык: английский

Полный текст

DOI

Текст на другом сайте

Ключевые слова: named entity recognition Federated learning Federated averaging BiLSTM-CNNs-CRF Федеративное обучение в задаче распознавания именованных сущностей

В книге

Recent Trends in Analysis of Images, Social Networks and Texts. 9th International Conference, AIST 2020, Skolkovo, Moscow, Russia, October 15–16, 2020 Revised Supplementary Proceedings

Vol. 12602. , Springer, 2021.

Federated Reinforcement Learning for Intelligent Traffic Signal Control: A Privacy-Preserving Approach with Edge-Assisted Aggregation

Ali J. Dayoub, Ehab S. Suleiman, , in: Proceedings of the 2026 8th International Youth Conference on Radio Electronics, Electrical and Power Engineering (REEPE).: IEEE, 2026. Ch. 159 P. 1–5.

Добавлено: 30 апреля 2026 г.

Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization

Demidovich Y., Petr Ostroukhov, Malinovsky G. и др., , in: The Thirteenth International Conference on Learning Representations: ICLR 2025.: ICLR, 2025.

Добавлено: 15 июля 2025 г.

Refined Analysis of Constant Step Size Federated Averaging and Federated Richardson-Romberg Extrapolation

Paul M., Durmus A., Dieuleveut A. и др., , in: Proceedings of The 28th International Conference on Artificial Intelligence and Statistics, 3-5 May 2025, Splash Beach Resort in Mai Khao, Thailand, PMLR: vol. 258Vol. 258.: PMLR, 2025. Ch. 258 P. 5023–5031.

Добавлено: 18 мая 2025 г.

Efficient Conformal Prediction under Data Heterogeneity

Plassier V., Kotelevskii N., Rubashevskii A. и др., , in: Proceedings of The 27th International Conference on Artificial Intelligence and Statistics (AISTATS 2024), 2-4 May 2024, Palau de Congressos, Valencia, Spain. PMLR: Volume 238Vol. 238.: Valencia: PMLR, 2024. P. 4879–4887.

Добавлено: 30 мая 2024 г.

Queuing dynamics of asynchronous Federated Learning

Leconte L., Jonckheere M., Самсонов С. В. и др., , in: Proceedings of The 27th International Conference on Artificial Intelligence and Statistics (AISTATS 2024), 2-4 May 2024, Palau de Congressos, Valencia, Spain. PMLR: Volume 238Vol. 238.: Valencia: PMLR, 2024. P. 1711–1719.

Добавлено: 26 мая 2024 г.

Исследовательский потенциал корпуса советских песен: эмоциональная тональность и география песенных текстов через призму компьютерных технологий

Колмогорова А. В., Зарембо В. С., Ткачева Е. С. и др., В кн.: Лингвистическая семантика в пространственном измерении: Словарь. Дискурс. Корпус.: Екатеринбург: Кабинетный ученый, 2024. Гл. 10 С. 423–445.

Цель данного исследования – описать характеристики текста популярной советской песни как лингвоидеологического феномена. В качестве материала используется корпус советской песни, собранный исследовательской группой. В фокусе данной публикации – две характеристики: изменения эмоциональной тональности популярных песен, выпускавшихся на граммпластинках фирмой «Мелодия» в разные периоды советской эпохи, и города, упоминавшиеся в песнях с 1950 по 2000 гг. ...

Добавлено: 10 декабря 2023 г.

Federated Learning Strategies Over Wireless Channels

Али А., , in: 22nd International Conference, NEW2AN 2022, Tashkent, Uzbekistan, December 15–16, 2022, Proceedings. Internet of Things, Smart Spaces, and Next Generation Networks and Systems. LNCS, volume 13772Issue 13772.: Springer, 2023. P. 525–533.

Добавлено: 18 мая 2023 г.

Adaptation Diffusion Strategy Over Wireless Fading Channels

Али А., , in: 2022 International Conference on Smart Applications, Communications and Networking (SmartNets).: IEEE, 2022. P. 1–4.

Добавлено: 16 мая 2023 г.

NEREL-BIO: A Dataset of Biomedical Abstracts Annotated with Nested Named Entities

Loukachevitch N., Manandhar S., Baral E. и др., Bioinformatics 2023 Vol. 39 No. 4 Article btad161

Добавлено: 5 апреля 2023 г.

АДАПТАЦИЯ СТРАТЕГИЯ ДИФФУЗИИ ПО БЕСПРОВОДНЫМ КАНАЛАМ С ЗАМИРАНИЕМ

Али А., Кучерявый Е. А., Эбрахим А., В кн.: Инновационные, информационные и коммуникационные технологии. Сборник трудов XIX Международной научно-практической конференции.: М.: Ассоциация выпускников и сотрудников ВВИА им. проф. Жуковского, 2022. С. 38–42.

Добавлено: 22 февраля 2023 г.

Decentralized personalized federated learning: Lower bounds and optimal algorithm for all personalization modes

Sadiev A., Borodich E., Безносиков А. Н. и др., EURO Journal on Computational Optimization 2022 Vol. 10 Article 100041

Добавлено: 28 октября 2022 г.

Using Text Analytics for Health to Get Meaningful Insights from a Corpus of COVID Scientific Papers

Сошников Д. В., Soshnikova V., / Series Computer Science "arxiv.org". 2021.

Since the beginning of COVID pandemic, there have been around 700000 scientific papers published on the subject. A human researcher cannot possibly get acquainted with such a huge text corpus -- and therefore developing AI-based tools to help navigating this corpus and deriving some useful insights from it is highly needed. In this paper, we ...

Добавлено: 22 февраля 2022 г.

NEREL: A Russian Dataset with Nested Named Entities, Relations and Events

Loukachevitch N., Артемова Е. Л., Batura T. и др., , in: International Conference Recent Advances in Natural Language Processing, RANLP 2021.: Association for Computational Linguistics, 2021. P. 876–886.

Добавлено: 27 сентября 2021 г.

RENERSANs: Relation Extraction and Named Entity Recognition as Sequence Annotation

Davletov A., Gordeev D., Rei A. и др., , in: Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции «Диалог» (Москва, 17–20 июня 2020 г.)Issue 19(26): дополнительный том.: -, 2020. P. 187–197.

Добавлено: 10 октября 2020 г.

RUREBUS-2020 Shared Task: Russian Relation Extraction for Business

Ivanin V., Артемова Е. Л., Batura T. и др., , in: Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции «Диалог» (Москва, 17–20 июня 2020 г.)Issue 19(26): дополнительный том.: -, 2020. P. 401–416.

В статье представлены результаты соревнования по распознаванию именованных сущностей и извлечению отношений. Целью соревнова- ния является сравнение методов извлечения сущностей и отношений на русском языке в постановке, приближенной к индустриальным за- дачам. В качестве исходной коллекции текстов использовался корпус Минэкономразвития РФ, содержащий программы стратегического развития. Корпус был размечен в соответствии с инструкцией, раз- работанной авторами ...

Добавлено: 21 июня 2020 г.

RuREBus-2020 Shared Task: Russian Relaton Extraction for Business

Артемова Е. Л., Batura T., Саркисян В. В. и др., , in: Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной международной конференции «Диалог» (Москва, 17 июня — 20 июня 2020 г.)Вып. 19(26).: М.: Изд-во РГГУ, 2020. P. 416–432.

In this paper, we present a shared task on core information extraction problems, named entity recognition and relation extraction. In contrast to popular shared tasks on related problems, we try to move away from strictly academic rigor and rather model a business case. As a source for textual data we choose the corpus of Russian ...

Добавлено: 11 июня 2020 г.

СЕМАНТИЧЕСКАЯ ОБРАБОТКА НЕСТРУКТУРИРОВАННЫХ ТЕКСТОВЫХ ДАННЫХ НА ОСНОВЕ ЛИНГВИСТИЧЕСКОГО ПРОЦЕССОРА PULLENTI

Козеренко Е. Б., Кузнецов К. И., Романов Д. А., Информатика и ее применения 2018 Т. 12 № 3 С. 91–98

Представлена методика создания систем извлечения знаний, основанная на подходе, главным инструментом которого является программный пакет PullEnti, включающий алгоритмы морфологического и семантико-синтаксического анализа для выделения сущностей определенных типов из текстов естественного языка (персоны, организации, локации и другие целевые семантические объекты). В системе PullEnti используются динамически подключаемые компоненты (плагины), что позволяет без перекомпилирования активировать различные функциональные возможности. ...

Добавлено: 19 декабря 2018 г.

FactRuEval 2016: Evaluation of Named Entity Recognition and Fact Extraction Systems for Russian

Starostin A. S., Bocharov V. V., Alexeeva S. V. и др., , in: Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной международной конференции «Диалог» (Москва,1–4 июля 2016 г.)Вып. 15.: М.: Изд-во РГГУ, 2016. P. 688–705.

Добавлено: 7 октября 2016 г.