Алгоритм BERT від Google – наближається революція

BERT — це найновіша технологія, розроблена компанією Google півтора року тому. Її завдання — краще та точніше опрацьовувати природну мову, завдяки чому пошукова система краще розумітиме запити користувачів.

Bidirectional Encoder Representations from Transformers, скорочено BERT — це найновіша технологія, розроблена компанією Google півтора року тому. Її мета — покращити та точніше обробляти природну мову, завдяки чому пошукова система краще розумітиме запити користувачів.

Як працює алгоритм BERT?

На кожен запит, введений у пошуковик, існують сотні тисяч сторінок з корисною інформацією. Алгоритми враховують понад 200 різних чинників, які допомагають оцінити корисність конкретної сторінки та в кінці показати найбільш релевантні результати. Нова технологія від Google базується на використанні нейронної мережі. BERT розуміє слова у запиті, їхній контекст, порядок, відмінювання за відмінками та сприймає їх як єдине ціле. Особливу увагу приділено правильному розумінню заперечень, займенників, сполучників і прийменників (так званих стоп-слів), які раніше ігнорувалися. Крім того, BERT визначає, яке зі слів у запиті є найважливішим, і підбирає найкращі результати. Ця технологія особливо ефективна у випадках складних фраз. Приблизно 15% запитів, які щодня потрапляють до пошуковика Google, раніше ніколи не зустрічалися, тому BERT — це алгоритм для результатів, які неможливо передбачити. За словами Google, ця технологія настільки потужна, що для її роботи знадобилася велика кількість ресурсів, через що компанія вперше використала Cloud TPUs і розмістила BERT у хмарі.

Як BERT вплине на пошук?

Фахівці Google переконують, що новий алгоритм впливає на 1 з 10 пошукових запитів. В той час як попередні оновлення впливали на результати лише на 3–4%. BERT підлаштовує запити під тексти, написані природною мовою, які містяться на сторінках. Однак BERT не замінює RankBrain — Google застосує новий алгоритм лише тоді, коли визначить, що запит буде краще інтерпретований за допомогою BERT. Те, що точно зміниться, — це використання ключових слів. Раніше підбір фраз базувався на використанні найважливіших слів у називному відмінку. Після впровадження нового алгоритму враховуватимуться відмінки та сполучники, які також впливають на контекст запиту.

Проте для детального аналізу ефективності доведеться трохи почекати. Нове рішення наразі повністю впроваджене лише для англійської мови. Натомість з 9 грудня 2019 року воно також починає впроваджуватися для польської мови.