ВИКОРИСТАННЯ МОДЕЛІ BERT ДЛЯ АВТОМАТИЗАЦІЇ ПОШУКУ В ІНЖЕНЕРНІЙ ДІЯЛЬНОСТІ
DOI:
https://doi.org/10.5281/zenodo.8328341Ключові слова:
NLP, BERT, Машинне навчання, Інтелектуальні технологіїАнотація
У сучасному цифровому світі, де щодня створюється та поширюється величезна кількість даних, для інженерів стає дедалі складніше знайти відповідну інформацію, намагаючись вирішити свої технічні проблеми або вдосконалити свою технологію. Поточні програми пошуку та керування знаннями значною мірою покладаються на автоматизацію на основі NLP. Останні досягнення в навчанні трансферу NLP призвели до створення потужних моделей, таких як BERT, які добре виконують завдання текстового пошуку у загальній сфері. У цій роботі ми оцінюємо різні підходи до адаптації BERT до галузі інженерії. Ми порівнюємо кілька предметно-спеціальних моделей щодо їхньої здатності ідентифікувати нові технології та призначати теми інженерним статтям. Наші експерименти показують, що доменно-адаптаційна стратегія подальшого попереднього навчання на предметно-специфічних даних без розширення словника забезпечує найкращу продуктивність у вирішенні цих завдань. Після оцінки ми описуємо проблеми та обмеження нашого підходу та надаємо напрямки для майбутніх досліджень.
Посилання
R. STARK, H. Bedenbender, P. Müller, F. Pasch, R. Drewinski, and H. Hayka. “Kollaborative Produktentwicklung und digitale Werkzeuge”. In: Defizite heute-Potenziale morgen (2013).
C. L. Giles, Y. Petinot, P. B. Teregowda, H. Han, S. Lawrence, A. Rangaswamy, and N. Pal. “eBizSearch: A niche search engine for e-business”. In: Proceedings of the 26th annual international ACM SIGIR conference on Research and development in informaion retrieval. 2003, pp. 413–414.
A. McCallumzy, K. Nigamy, J. Renniey, and K. Seymorey. “Building domain-specific search engines
M. Kroetsch and G. Weikum. “Special issue on knowledge graphs”. In: Journal of Web Semantics 37.38 (2016), pp. 53–54
X. Zou. “A survey on application of knowledge graph”. In: Journal of Physics: Conference Series. Vol. 1487. 1. IOP Publishing. 2020, p. 012016
Z. Zhao, S.-K. Han, and I.-M. So. “Architecture of knowledge graph construction techniques”. In: International Journal of Pure and Applied Mathematics 118.19 (2018), pp. 1869–1883.
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. “Bert: Pre-training of deep bidirectional transformers for language understanding”. In: arXiv preprint arXiv:1810.04805 (2018).
J. Alammar. The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning). url: http://jalammar.github.io/illustrated-bert/ (visited on 03/11/2021).
A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, I. Sutskever, et al. “Language models are unsupervised multitask learners”. In: OpenAI blog 1.8 (2019), p. 9.
T. B. Brown, B. Mann, N. Ryder, M. Subbiah, J. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, et al. “Language models are few-shot learners”. In: arXiv preprint arXiv:2005.14165 (2020).
J. Howard and S. Ruder. “Universal language model fine-tuning for text classification”. In: arXiv preprint arXiv:1801.06146 (2018).
T. Wolf, J. Chaumond, L. Debut, V. Sanh, C. Delangue, A. Moi, P. Cistac, M. Funtowicz, J. Davison, S. Shleifer, et al. “Transformers: State-of-the-art natural language processing”. In: Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. 2020, pp. 38–45.
A. Wang, A. Singh, J. Michael, F. Hill, O. Levy, and S. R. Bowman. “GLUE: A multitask benchmark and analysis platform for natural language understanding”. In: arXiv preprint arXiv:1804.07461 (2018).
Downloads
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2023 Сергій Полуектов
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial 4.0 International License.
