Алгоритм BERT от Google – наступает революция

BERT — это новейшая технология, разработанная компанией Google полтора года назад. Ее задача — более точная и качественная обработка естественного языка, благодаря чему поисковая система лучше понимает запросы пользователей.

Bidirectional Encoder Representations from Transformers, сокращенно BERT, — это новейшая технология, разработанная компанией Google полтора года назад. Ее задача — более качественная и точная обработка естественного языка, благодаря чему поисковая система лучше понимает запросы пользователей.

Как работает алгоритм BERT?

На каждый запрос, введенный в поисковую систему, приходится сотни тысяч страниц с полезной информацией. Алгоритмы учитывают более 200 различных факторов, которые помогают оценить полезность каждой страницы и в итоге показать самые релевантные результаты. Новая технология от Google основана на использовании нейронной сети. BERT понимает слова в запросе, их контекст, порядок, падежные формы и рассматривает их как единое целое. Особое внимание уделено правильному пониманию отрицаний, местоимений, союзов и предлогов (так называемых стоп-слов), которые ранее часто игнорировались. Кроме того, BERT определит, какое из слов в запросе является ключевым, и подберет наилучшие результаты. Эта технология особенно эффективна при работе со сложными фразами. Около 15% запросов, которые ежедневно поступают в Google, никогда ранее не встречались, поэтому BERT — это алгоритм для тех результатов, которые трудно предсказать заранее. По мнению Google, технология настолько мощная, что для её работы потребовалось использование Cloud TPU впервые, а сам BERT размещён в облаке.

Как BERT повлияет на поиск?

Специалисты Google уверены, что новый алгоритм влияет на 1 из 10 поисковых запросов. В то время как предыдущие обновления затрагивали лишь 3–4% результатов. BERT сопоставляет запросы с содержимым страниц, написанным естественным языком. Однако BERT не заменяет RankBrain — Google будет использовать новый алгоритм только тогда, когда посчитает, что запрос будет лучше проинтерпретирован с помощью BERT. Безусловно, изменится подход к использованию ключевых слов. Раньше подбор фраз основывался на использовании важных слов в именительном падеже. После внедрения нового алгоритма будут учитываться падежные формы и союзы, которые также влияют на контекст запроса.

Однако для точного анализа эффективности придётся подождать. Пока новое решение полностью внедрено только для английского языка. Начиная с 9 декабря 2019 года, технология также внедряется для польского языка.