Как обработка естественного языка меняет способ поиска

Google стремится повысить релевантность списков, представленных на страницах результатов поисковой системы (SERP), с каждым обновлением алгоритма. Недавнее обновление поисковой выдачи — это представление двунаправленного кодировщика Google от трансформаторов (BERT), в котором используется обработка естественного языка. BERT считается одним из самых значимых изменений, внесенных Google за последние пять лет, — он напрямую затрагивает каждый десятый поисковый запрос.

Он направлен на отображение более релевантных результатов за счет правильной интерпретации сложных поисковых запросов с длинным хвостом. В этом посте мы обсудим, что это значит и как это меняет способ поиска.

Что такое БЕРТ?

Это метод предварительного обучения NLP на основе нейронной сети, который позволяет Google более точно определять контекст слов в заданном поисковом запросе.

Например, рассмотрим фразы «от шести до 10» и «без четверти шесть», один и тот же предлог «до» имеет разное значение в каждой фразе, что может быть неочевидно для поисковых систем. Однако именно здесь BERT становится полезным, поскольку он может эффективно различать контекст предлога в первой фразе и то, как он используется во второй фразе. Понимание контекста может дать более релевантные результаты.

Нейронные сети алгоритмов облегчают распознавание образов, а нейронные сети, обученные на наборах данных, могут идентифицировать закономерности. Его типичные приложения включают в себя изображение, прогнозирование тенденций финансового рынка и даже распознавание рукописного ввода. В то время как обработка естественного языка или НЛП — это часть искусственного интеллекта (ИИ), которая занимается лингвистикой.

• НЛП позволяет компьютерам понять, как люди общаются естественным образом.
• Алгоритмы НЛП обеспечивают интерпретацию, понимание и распознавание языковых паттернов.
• Модели НЛП выделяют грамматику и слова, чтобы найти смысл в бесконечном количестве текста и речи.

Достижения, обеспечиваемые НЛП, которые интернет-пользователи и онлайн-компании используют каждый день, включают инструменты социального прослушивания, подсказки слов и чат-боты.

Что это значит?

BERT — это алгоритм НЛП, который использует нейронные сети для создания предварительно обученных моделей. Эти модели обучаются с использованием бесконечного количества данных, доступных в Интернете. Предварительно обученные модели — это общие модели НЛП, которые дополнительно уточняются для выполнения конкретных задач НЛП. В ноябре прошлого года Google открыл исходный код BERT, заявив, что он предоставил полные и актуальные результаты по 11 задачам НЛП, включая набор данных для ответов на вопросы Стэнфордского университета.

Двунаправленность BERT отличает его от других алгоритмов, поскольку это позволяет ему придавать контекст слову. Это можно сделать, не только рассматривая части предложения, ведущие к этому слову, но и принимая во внимание части, следующие за ним. Двунаправленность позволяет поисковым системам понимать значение такого слова, как «фильм», которое имеет другое значение при использовании в «оконной пленке», а не при использовании рядом с «блокбастером».

При поиске BERT облегчает понимание ключевых деталей запроса, особенно когда речь идет о сложных диалоговых запросах или запросах с предлогами. Например, в запросе «Индийскому путешественнику на Бали в 2021 году нужна виза» предлог «to» предполагает, что путешественник едет из Индии на Бали. Изменив предлог, вы можете полностью изменить предложение, которое будет звучать так: «Индийскому путешественнику с Бали в 2021 году нужна виза» и может означать, что путешественники с Бали и им нужна виза в Индию. BERT позволяет понять контекстуальную разницу между двумя предложениями.

В чем разница между BERT и RankBrain?

RankBrain был первым методом искусственного интеллекта Google, примененным в поиске. Он работает параллельно с алгоритмами ранжирования органического поиска и вносит коррективы в результаты, рассчитанные этими алгоритмами. RankBrain корректирует результаты, предлагаемые алгоритмами, на основе исторических запросов.

RankBrain также помогает Google интерпретировать поисковые запросы, чтобы он мог отображать результаты, которые могут не содержать точных слов в качестве запроса. Например, при поиске «высоты ориентира в Дубае» автоматически будет показана информация, связанная с Бурдж-Халифа.

С другой стороны, двунаправленный компонент BERT заставляет его работать совсем по-другому. В то время как традиционные алгоритмы просматривают содержимое страницы для оценки релевантности, алгоритмы НЛП делают еще один шаг вперед, просматривая содержимое до или после слова для получения дополнительного контекста. Поскольку человеческое общение обычно сложное и многоуровневое, это делает существенным прогресс в обработке естественного языка.

Вместе BERT и RankBrain используются Google для обработки и понимания запросов. BERT не заменяет RankBrain, но может применяться вместе с другими алгоритмами Google или в сочетании с RankBrain, в зависимости от поискового запроса.

Улучшение поиска на других языках

Благодаря возможности взять то, что мы узнали из одного языка , и применить это к другому, BERT используется для того, чтобы сделать результаты поиска более релевантными для пользователей Интернета по всему миру. Например, то, что мы узнали из наиболее широко используемых языков в Интернете, таких как английский, затем применяется к другим языкам. Таким образом, предлагая улучшенные результаты на других языках, на которых люди ищут. Кроме того, модель BERT также повышает актуальность избранных фрагментов в разных странах и на разных языках.

Как BERT влияет на ваш бизнес?

BERT также влияет на Google Assistant, заставляя его предлагать избранные фрагменты или веб-результаты, на которые повлияло обновление BERT. Технология NLP, такая как BERT, улучшает машинное понимание, и это нововведение, несомненно, полезно для многих онлайн-пользователей и предприятий. Однако в отношении SEO принципы остаются прежними. Если у вас есть передовой опыт SEO, встроенный в вашу маркетинговую стратегию, вы можете быть уверены в своем успехе в Интернете. Веб-сайты, которые постоянно производят высококачественный, актуальный и свежий контент, получат наибольшую выгоду от этого обновления алгоритма.

Написание превосходного контента на основе исследования ключевых слов — это упражнение, которое останется приоритетным фактором ранжирования в поисковых системах. Владельцы веб-сайтов, которые сосредотачиваются на том, чтобы их пользователи получали информативный и точный контент, которого они ожидают, в конечном итоге получают хороший рейтинг в поисковой выдаче. Мониторинг производительности страниц при создании отличного контента поможет веб-сайтам оставаться актуальными.

Решает ли НЛП намерение поиска?

С BERT, независимо от языка или слов, используемых в запросе, шансы Google на получение правильных результатов стали выше, но все еще не равны 100%. Например, даже с помощью BERT любой, кто ищет «какой штат находится к югу от Небраски», скорее всего, получит результаты «Южная Небраска», а не Канзас, что, вероятно, является ответом, который ищет пользователь.

Помощь машинам в понимании языка остается постоянной задачей, а получение определенного значения из любого заданного запроса — сложный процесс. Когда Google применяет NLP к списку ключевых слов, отображаемые результаты могут не содержать некоторых или даже только одного из необходимых ключевых слов, что делает эти результаты нерелевантными. С помощью BERT Google улучшила свою игру, предложив сложное обновление своего алгоритма, но поиск остается нерешенной проблемой из-за сложной природы человеческого языка.