За декілька останніх років галузь природньої обробки мови (далі NLP) мала стрімкий розвиток. У 2020 році світовий ринок NLP оцінювався у $13,16 млрд. За прогнозами цей сегмент буде мати розвиток і надалі, і до 2026 року його вартість досягне $42,04 млрд, водночас 85% діяльності підприємств буде зроблено без участі людини.
Окрім впливових гравців ринку NLP, а саме Google, Microsoft, Amazon, IBM, Apple, які продовжують розвиток й вдосконалення своїх продуктів, з’являється велика кількість нових стартапів (42Chat, Canary Speech, Gamalon, Green Key Technologies).
Найбільш значущі розробки за останній час:
- BERT (Bidirectional Encoder Representations from Transformers) лежить в основі пошукової системи Завдяки здатності аналізувати запит як ціле речення (з прийменниками й сполучниками) та орієнтуватися на контекст, забезпечує підбір релевантних результатів пошукової видачі. Продукт працює на 72 мовах.
- ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately) – нова розробка Google. В новому продукті він зберіг всі переваги BERT і створив енкодер, який ефективно навчається й точно класифікує замінені токени. Таким чином, продукт має переваги над попередніми розробками, водночас залишив незмінними витрати на обчислювальні потужності.
- GTP-3 (Generative Pre-trained Transformer) – третя версія алгоритму обробки природньої мови від OpenAI, яка має в основі таку саму архітектуру Transformerб що і його попередники. На цей час нова версія алгоритму є найбільшою мовною моделлю (175 млрд. параметрів).
