Семантический поиск - ветер перемен

Что такое семантический поиск ?

За грубым техническим термином скрывается невинное желание, старое, как само человечество.

Мы всегда пытались заглянуть в прошлое и проникнуть в более глубокий смысл того, что нас окружает.

Иногда это приводило нас к глубоким открытиям. В других случаях нам удавалось эффектно проигрывать.

Теперь у нас есть технология, которая поможет нам расширить и углубить наши поиски смысла.

Войдите в семантический поиск.

Магия слов и семантический поиск

Семантика - это увлекательная сторона лингвистики, которой приписывается задача поиска смысла.

Значение слов и их отношение друг к другу. Семантика должна объяснять, почему мы выбираем определенные слова и фразы для описания вещей.

Что определяет семантику как неотъемлемую часть семантического поиска, так это то, что мы должны искать и создавать связи.

Представьте, что вы ищете иголку в стоге сена - это, несомненно, нервотрепка.

Вы бы искали в Интернете что-то примерно с таким же успехом, если бы не инструменты, обеспечивающие быстрые и интуитивно понятные результаты.

К счастью, стремление сделать нашу жизнь структурированной и взаимосвязанной проявляется даже в том, как мы ищем что-то в Интернете. Так появился семантический поиск.

Более подробное объяснение того, что такое семантический поиск, мы получаем из публикации Ханны Баст и соавторов.

По их словам , семантический поиск - это «поиск со смыслом». И мы можем найти смысл, по крайней мере, в нескольких частях поискового процесса.

Во-первых, в самом запросе. Здесь нам нужно выяснить истинное намерение запроса.

Затем мы должны рассмотреть данные, которые мы должны получить, и действительно ли они соответствуют тому, что мы ищем.

Или, если мы правильно представим информацию, чтобы она имела значение для поиска.

Разрушение смысла семантического поиска

Говоря языком непрофессионала, семантический поиск стремится понимать естественный язык так, как это сделал бы человек, и давать соответствующие результаты семантического веб-поиска .

Что это обозначает?

Ну, допустим, я набираю в поисковой строке Google «это самое маленькое млекопитающее».

Понятно, что поисковая система ответит на мой вопрос, исходя из предположения, что я хочу выяснить, какое самое маленькое млекопитающее, а не искать точные совпадения с введенной мной фразой.

Так я получаю в качестве первого результата статью под названием «6 самых маленьких млекопитающих в мире», за которой следуют фотографии этрусской бурозубки, которая, кстати, является самым маленьким известным млекопитающим на планете.

Стремление понять смысл моего запроса помогает семантическим поисковым системам также предлагать исправления для слов с ошибками.

Так что, если я ошибусь в слове «млекопитающее», Google предложит вместо «млекопитающее» ввести «млекопитающее».

Как появился семантический поиск?

Наш вид тянется искать порядок - и если он отсутствует, мы не можем не пытаться его создать.

Понятно, что мы создаем виртуальный мир, который отвечает нашим потребностям в порядке и оптимизации времени.

Помимо предоставления правильных ответов, поисковые системы также добавляют к ним смысл с помощью искусственного интеллекта.

Они используют машинное обучение семантического поиска, чтобы обрабатывать и ранжировать информацию, а также могут понимать естественную человеческую речь.

Все это, в конце концов, дает адекватные результаты по нашим запросам.

Но как именно они могут ответить на такие вопросы, как «Самый большой пончик в мире?»

Семантический поиск возник из семантической сети, поэтому, чтобы соответствовать моей собственной природе упорядочивания, давайте сначала посмотрим, что такое семантическая сеть .

Семантический веб-источник

Вкратце: семантическая паутина - это расширение всемирной паутины.

И, согласно Консорциуму World Wide Web (W3C), он обеспечивает общую основу для обмена и повторного использования данных.

Это справедливо для приложений, предприятий и сообществ.

Структура или «онтология», как ее называют в области информатики, собирает факты и информацию, которые в конечном итоге становятся системой знаний.

Проще говоря, семантическая сеть структурирует и маркирует данные таким образом, чтобы компьютеры могли их читать.

Семантическая сеть позволяет анализировать конкретные входные данные на основе сети или связанных факторов. Он использует наборы, свойства и отношения, чтобы понять огромное количество данных, из которых состоит Интернет.

Я бы сравнил это с попыткой построить свое генеалогическое древо.

Я точно не смогу понять, кто те люди, которых моя бабушка называет моими дальними родственниками по материнской линии. Мне не хватает контекста, потому что я их не знаю.

Семантическая сеть, однако, лучше разбирается в вопросах.

Видение семантической сети

Конечная цель Семантической паутины, по мнению ее основателя Тима Бернерса-Ли, состоит в том, чтобы позволить компьютерам лучше манипулировать информацией от нашего имени.

Концепция семантической сети превратилась в два важных типа данных, которые сегодня ее образуют - связанные открытые данные и семантические метаданные .

Порядок в хаосе - наведение порядка с помощью инструментов семантического поиска

Связанные открытые данные (LOD) моделируются в виде графика и публикуются таким образом, чтобы можно было связываться между серверами.

По сути, он представляет собой структурированные данные . В 2006 году Тим Бернерс-Ли формализовал Четыре правила связанных данных следующим образом:

1. Используйте универсальные идентификаторы ресурсов (URI) в качестве имен для вещей.
2. Используйте HTTP-URI, чтобы люди могли найти эти имена.
3. Когда кто-то ищет URI, предоставьте полезную информацию, используя стандартное форматирование (RDF, SPARQL).
4. Включите ссылки на другие URI. чтобы они могли узнать больше.

LOD позволяет людям и машинам получать доступ к данным на разных серверах и легче интерпретировать их семантику.

В результате семантическая сеть переходит от пространства, состоящего из связанных документов, к пространству, содержащему связанную информацию.

Это, в свою очередь, позволяет создать взаимосвязанную смысловую сеть, обрабатываемую машиной.

Существуют тысячи наборов данных, опубликованных как LOD в разных секторах.

Некоторые примеры: энциклопедии, географические данные, правительственные данные, научные базы данных и статьи, развлечения, путешествия и т. Д.

Поскольку они взаимосвязаны, эти наборы данных образуют гигантскую сеть данных или сеть знаний.

График соединяет огромное количество описаний сущностей и концепций общего значения.

Игра тегов - инструменты семантического поиска Vol. 2

Второй важный инструмент, на который рассчитывает семантическая сеть, - это семантические метаданные.

В основном это семантические теги, добавляемые к обычным веб-страницам для лучшего описания их значения.

Например, домашняя страница Нобелевской премии может быть семантически аннотирована со ссылками на несколько соответствующих концепций и сущностей - Швецию, академические достижения, культуру и награды, среди прочего.

Эти четко определенные отношения между субъектами и соответствующими результатами лучше всего представлены с помощью схем структурированных метаданных , таких как Schema.org.

Метаданные значительно упрощают поиск веб-страниц на основе семантических критериев.

Изучая прошлые результаты и создавая связи между объектами, поисковая система может затем вывести ответ на запрос пользователя, а не предоставлять несколько ссылок, которые могут содержать или не содержать правильный ответ.

Метаданные устраняют любую потенциальную двусмысленность и гарантирует , что , когда мы ищем принц (музыкант), мы не будем получать страницы о любом из многих князей , которые роялти, например.

За это можно поблагодарить семантическую сеть .

Теперь.

Структура семантической сети дает нам представление о том, что такое семантический поиск. Он даже говорит нам, как поисковая система определяет, какой самый большой пончик в мире.

Но

Давайте посмотрим на его историю.

Провидцы в области семантического поиска

Как и в любом крупномасштабном движении, за изменениями стоит лидер. Мы уже упоминали имя Тима Бернерса-Ли, который, по мнению многих, стоит за семантическим поиском.

В 1998 году, в период зарождения современной сети, Бернерс-Ли уже говорил об этой идее в опубликованном им отчете, озаглавленном «Дорожная карта семантической паутины».

21 год спустя его идеи были приняты, и смысловой поиск стал реальностью.

Google был компанией, которая внесла изменения и дала толчок развитию семантического поиска .

«Машины должны иметь возможность общаться друг с другом так же, как люди», - заявил Бернерс-Ли.

Google сейчас работает над воплощением своего видения.

Как?

Поворотный момент для семантического поиска

Хотя с 1998 года произошло много событий, 2012 год стал поворотным для семантического поиска.

Именно в этом году 20% всех поисковых запросов в Google были новыми. Не только это, но и ключевые слова с длинным хвостом составляют около 70% всех поисковых запросов.

Это сообщило Google, что пользователи проявляют интерес к использованию своей поисковой системы в качестве инструмента для ответов на вопросы и решения проблем.

Это уже не было просто поиском фактов и поиском отдельных веб-сайтов.

Так был сделан первый шаг к семантическому обновлению .

Сеть знаний

Представленная в 2012 году сеть знаний знаменовала переход Google к пониманию сущностей и контекста вместо бездумного сравнения строк ключевых слов.

Или, как выразился Google, «вещи, а не строки».

Что такое сеть знаний?

Википедия утверждает, что Google и его сервисы используют Сеть знаний для улучшения результатов своей поисковой системы с помощью информации из различных источников.

Другими словами, граф знаний - это программный способ моделирования предметной области с помощью экспертов в данной области, связывания данных и алгоритмов машинного обучения.

Этот конкретный граф стал инструментом семантического поиска благодаря тому, как он собирал информацию.

Он собирал данные, которые считались общественным достоянием (например, от размера Земли до имен участников группы), вместе со свойствами каждой сущности (дни рождения, братья и сестры, родители, занятия - все, что может быть связано с этим. организация.)

Или

Можно сказать, что он построен на основе существующих баз данных, чтобы связывать вместе огромные объемы данных - объединяя как структурированную информацию (списки), так и неструктурированную.

Граф знаний собирает информацию, необходимую поисковым системам для получения разумных ответов.

График Google закладывает основу для грядущих крупномасштабных алгоритмических изменений. А вскоре за ним последовал Колибри.

Ускорение к успеху с колибри

Колибри стала поворотным моментом. Алгоритм повлиял примерно на 90% поисковых запросов по всему миру.

Он был разработан, чтобы быть точным и быстрым, и многие называют его инструментом, который ввел «разговорный поиск» в поисковую деятельность.

Это была звезда технологии семантического поиска .

Однако Hummingbird не просто предлагает ответы на разговорные вопросы.

Алгоритм обращает внимание на каждое слово в запросе.

Затем я проверяю, учитывается ли весь запрос, все предложение или значение, а не отдельные слова.

Намерение состоит в том, чтобы страницы соответствовали более глубокому значению, а не только фактическим словам.

Есть больше.

Помимо повышения скорости и точности обновления Hummingbird, Google позаботился о том, чтобы оно интегрировало семантический поиск.

Они значительно улучшили понимание поисковых запросов - даже длиннохвостого поиска - и, следовательно, намерений пользователей.

Как результат:

Были идентифицированы, нацелены и интерпретированы целые запросы и отношения групп слов в поисковых запросах.

Эффекты алгоритма колибри

Улучшения Hummingbird были особенно сосредоточены на контекстном и диалоговом поиске.

Обе области тесно связаны с фундаментальной семантикой и отношениями между словами.

Теперь.

Алгоритм обрабатывает естественный язык, чтобы получить нишевые результаты для запросов как на уровне головы, так и на уровне длинного хвоста.

Другими словами, он использует контекстный поиск, при котором Google все чаще возвращает результаты, соответствующие цели запроса.

Результаты больше не ограничиваются самими словами, а включают интерпретацию цели поиска.

Как именно?

Инструмент проверяет отношения, которые не были явно смоделированы.

Этот процесс объединяет грамматику, статистику и словари для создания реляционных тегов.

Оценивая намерение семантическим способом и сосредотачиваясь на синонимах и связанных с темами темах, Hummingbird позволяет своим пользователям уверенно искать темы и подтемы вместо того, чтобы пытаться «абракадабрировать» свой путь через поиск.

Алгоритм во многом является определением семантического поиска.

Примером, показывающим, как на самом деле работает Колибри, может быть поисковый запрос, например «Президент Англии».

Теперь.

В Англии нет президента, а есть премьер-министр, который является главой правительства. В Англии также есть глава государства, королева.

И Google это знает, поэтому он будет отображать результаты, связанные с премьер-министром или королевой.

В каком-то смысле Hummingbird позволяет людям получить ответ на вопрос, который они не знают, как задать, и получать результаты, которые помогают пользователям находить то, что они ищут.

Ориентированный на местоположение

Еще одно усовершенствование Hummingbird - это результаты, ориентированные на местные условия.

Благодаря использованию контекста локальные результаты становятся более точными.

Итак, когда вы ищете хорошие итальянские рестораны, Google предположит, что вы хотите поужинать в своем городе.

Вот почему он будет использовать данные о вашем местоположении, чтобы рекомендовать хорошую пиццу в вашем районе, а не перечислять рестораны в Италии.

Мы часто считаем само собой разумеющимся точность, с которой мы получаем правильные результаты.

Это плод многолетних исследований и разработок за кулисами.

Мечта о семантическом поиске сформировалась благодаря сочетанию обработки разговорного языка и понимания намерений человека на основе данных о местоположении.

Колибри стала важным прорывом в семантическом поиске, но Google на этом не остановился.

Позже они внесли еще одно очень важное улучшение - RankBrain.

Искусственный интеллект в мире семантической паутины

RankBrain - это инструмент машинного обучения для семантического поиска , который стал ответом на проблему, с которой Google столкнулся при ответах на запросы по ключевым словам.

Несколько лет назад около 15% поисковых запросов в Google состояли из слов, которых он никогда раньше не видел.

У него не было возможности точно узнать, что искал пользователь.

На первый взгляд 15% могут показаться неважными.

Тем не менее, Google обрабатывает миллиарды запросов каждый день, так что в абсолютном выражении этот процент был довольно значительным.

Около 450 миллионов поисковых запросов содержали ключевые слова, которые ранее не обрабатывались.

Итак, что вы делаете, если не знаете, как ответить на вопрос?

Угадай?

Именно так поступал Google, когда получал запросы по любому из этих неизвестных ключевых слов.

К сожалению, это не привело к точным результатам. Поисковая система просто искала страницы, содержащие все ключевые слова, введенные пользователем, не понимая их смысла.

Он не знал, как реализовать и произвести семантический поиск запросов, которые поисковая система никогда раньше не получала.

Это подтолкнуло Google к поиску решения и внедрению инструмента, который можно обучать на ходу.

Введите RankBrain

Машинного обучения на основе алгоритма поисковой системы помогает Google результаты поиска процесс и обеспечить более релевантные результаты поиска для пользователей.

Google использует алгоритм ИИ не только для решения этих поисковых запросов, но также для их обработки и понимания.

Что изменилось с RankBrain?

До RankBrain 100% алгоритма Google кодировались вручную.

Таким образом, этот процесс во многом полагался на человеческих инженеров, которые пытались угадать, что может улучшить результаты поиска.

Сегодня человеческие инженеры все еще работают над алгоритмом, но RankBrain также выполняет свои функции в фоновом режиме.

Процесс

Короче говоря, RankBrain может настраивать свой собственный алгоритм, чтобы обеспечить лучший отклик.

В зависимости от ключевого слова RankBrain увеличивает или уменьшает важность обратных ссылок, свежесть контента, длину контента, авторитет домена и другие переменные ранжирования.

Затем я наблюдаю, как пользователи взаимодействуют с новыми результатами поиска. Если им больше нравится новый алгоритм, он останется.

Если нет, RankBrain откатывает старый алгоритм.

С помощью интеллектуального семантического обновления Google может понять, что вы имеете в виду, даже если он ранее не связывал ваш запрос.

Как?

К вашим никогда ранее не видели ключевые слова ключевые слова , которые он видел раньше.

В качестве примера того, как работает семантическая сеть , Google RankBrain мог заметить, что люди ищут «самый большой пончик в мире».

И он узнал, что люди, которые ищут это, в значительной степени стремятся найти самый большой пончик из когда-либо сделанных.

Поэтому, когда кто-то ищет «самый большой пончик в мире», RankBrain показывает аналогичные результаты.

И в случае с тестовым орехом первые три веб-страницы, которые вы получаете по обоим поисковым запросам, одинаковы.

Метод RankBrain

Google прокомментировал, как они используют машинное обучение, чтобы лучше понять намерения пользователей при помощи технологии Word2vec, которая превращает ключевые слова в концепции.

Например, они говорят, что эта технология семантической паутины «понимает, что Париж и Франция связаны такими же отношениями, как Берлин и Германия (столица и страна), и иначе, чем Мадрид и Италия».

И даже если они специально не упомянули, что RankBrain работает таким же образом, мы можем догадаться, что он использует аналогичную технологию.

Возвращаясь к идее концепций, а не соответствия ключевым словам - RankBrain пытается выдавать результаты на основе цели вашего поиска.

Удовлетворенность пользователей и RankBrain

Конечно, RankBrain может рискнуть понять новые ключевые слова. И он даже может настроить алгоритм самостоятельно.

Тогда вопрос номер один:

Как только RankBrain показывает набор результатов, как он узнает, хороши ли они?

Хорошо, - замечает.

RankBrain использует сигналы UX - по крайней мере, это технический термин.

Проще говоря, это означает, что RankBrain показывает вам набор результатов поиска, которые, по его мнению, вам понравятся.

Если многим людям понравится одна конкретная запись, они повысят рейтинг этой странице.

Что, если они этого не сделают?

Затем алгоритм удаляет эту страницу и заменяет ее другой.

Что именно наблюдает RankBrain?

Он уделяет пристальное внимание тому, как мы взаимодействуем с результатами поиска.

Он отслеживает несколько сигналов:

1. Органический CTR
2. Время пребывания
3. Показатель отказов
4. Пого-прилипание

Они известны как сигналы взаимодействия с пользователем (сигналы UX).

Давайте посмотрим на пример и посмотрим, как семантическая сеть Google интерпретирует мой поиск.

Если я ищу «лучший дрон для детей», первым делом я получаю статью, опубликованную в середине июня.

Это напоминает о свежести контента, который RankBrain оценивает, предлагая ответы на запросы.

Но оставим это на время.

Алгоритм обратит внимание на сайт, который я открываю. Он будет сравнивать, сколько раз он открывался раньше, для получения аналогичных результатов, что дает CTR.

Как только я открою страницу, RankBrain будет наблюдать за моим временем ожидания. Это время, которое я провожу на сайте. Таким образом, алгоритм оценит, нашел ли я информацию полезной.

Если я открываюсь и вижу контент, который не имеет ничего общего с моим запросом или плохо представлен, я быстро вернусь на страницу результатов.

Если это сделает достаточно людей, рейтинг сайта упадет.

И если страница не загружается вовремя, вероятность отказов увеличивается, а вместе с этим и рейтинг страницы резко падает.

Теперь предположим, что я не могу найти то, что ищу, при первом щелчке по странице. Я, вероятно, буду продолжать исследовать полученные результаты, пока не найду их.

И это еще один фактор, который RankBrain использует для анализа успешности своей работы - pogo-sticking.

Чем больше я иду туда-сюда, тем меньше вероятность того, что RankBrain предложит эти неудачные страницы следующему пользователю с похожими поисковыми запросами.

Теперь.

Мы рассмотрели основные семантические инструменты, которые используются поисковыми системами, такими как Google, для понимания и предложения адекватных ответов на запросы своих пользователей.

Итак, мы можем посмотреть, как мы можем использовать их в наших интересах.

Как оптимизировать контент для семантического SEO

Для оптимизаторов поисковых систем понимание семантического поиска имеет большие преимущества. Большая часть - это способность оставаться впереди в гонке.

Есть несколько шагов к хорошей семантической стратегии SEO , предложенные всеми экспертами.

И поскольку семантический поиск с течением времени становится все более влиятельным, эти шаги являются хорошим советом, который поможет любому оптимизировать свой контент и повысить рейтинг своего веб-сайта.

1. Рассматривайте темы, а не только ключевые слова
2. Соответствие содержания цели поиска
3. Включите связанные ключевые слова в свой контент
4. Оптимизируйте свой контент для избранных фрагментов
5. Включите структурированные данные в контент
6. Рассматривайте темы, а не только ключевые слова

Как мы видели ранее в статье, все дело в тематике - контексте поиска. И Google, и другие поисковые системы стремятся предоставить нам наиболее релевантные результаты.

Так что контент должен быть более полным и информативным, чем когда-либо прежде.

Если вы думаете о создании коротких и плоских страниц контента для каждого варианта широкого поискового запроса - не беспокойтесь. Вместо этого вам следует создать исчерпывающее и продолжительное руководство, охватывающее всю тему.

Затем вы должны использовать передовые методы оптимизации ключевых слов, чтобы обеспечить полную оптимизацию контента как для поисковых систем, так и для читателей.

Соответствие содержания поисковому запросу

Прежде чем создавать контент для ключевых слов SEO, на которые вы хотите ориентироваться, вы должны спросить, почему пользователь будет искать эту фразу. Определите, какое намерение представляет ключевое слово, и вам также будет намного проще привлечь вашу аудиторию.

Целью ключевого слова может быть:

1. Информационный - пользователь пытается чему-то научиться, поэтому он использует ключевые слова «знать» для поиска информации и получения ответов;
2. Навигация - пользователь пытается перейти на конкретный сайт или найти конкретный элемент, поэтому он использует ключевые слова «go», чтобы найти веб-сайт знакомого бренда;
3. Транзакционный - пользователь пытается совершить покупку, поэтому он использует ключевые слова «делать», чтобы найти продукт для покупки или страницу для совершения транзакции.

Включите связанные ключевые слова в контент

Чтобы проверить семантическую панель семантического поиска, вы должны добавить в контент связанные ключевые слова или ключевые слова латентного семантического индексирования (LSI).

Ключевые слова LSI - это фразы, которые тесно связаны с целевым ключевым словом. Они придают контекст контенту и помогают поисковым системам лучше понимать, что означает контент и как он служит аудитории.

Поэтому, когда вы говорите о шоколаде, вы должны хотя бы связать его с какао.

Оптимизировать контент для избранных фрагментов

Поисковые системы любят отображать расширенные результаты, которые предоставляют пользователям нужную информацию - прямо на их странице результатов.

Чтобы увеличить видимость поиска, вы можете:

1. Оптимизация содержимого для блоков ответов и избранных фрагментов абзацев, списков и таблиц
2. Четко отвечайте на вопросы в содержании, уделяя особое внимание ключевым словам с длинным хвостом.
3. Используйте форматирование, чтобы сделать информацию привлекательной для избранных фрагментов.

Наконец, включите структурированные данные в контент

Другой способ помочь поисковым системам понять значение и актуальность вашего контента - это структурированные данные.

Структурированные данные или разметка схемы - это форма микроданных, которая добавляет дополнительный контекст для копирования на веб-страницу.

Он использует набор стандартных структур данных, которые классифицируют контент для поисковых систем.

Эта дополнительная информация помогает поисковым системам ранжировать контент и определять информацию, которая может отображаться в расширенных результатах поиска.

На практике все, что мы сказали до сих пор, сводится к одному.

Чтобы максимально использовать возможности нашего присутствия в Интернете, информация, которую мы публикуем, должна быть семантически организована.

Контекст - это будущее семантического веб-поиска. Хотя нам еще предстоит собрать кусочки головоломки, семантическая сеть уже жива.

Возможно , уже не за горами тот день, когда интеллектуальная сеть следующего поколения будет помогать нам, планируя встречи, делая покупки, находя нужную информацию и связывая нас с единомышленниками.

Сверху делает это автономно.

Тогда нам точно не придется спрашивать, что такое семантический поиск . Он станет неотъемлемой частью нашей повседневной жизни.