자연어 처리가 검색 방식을 바꾸는 방법
게시 됨: 2020-05-14Google은 알고리즘을 업데이트할 때마다 검색 엔진 결과 페이지(SERP)에 표시되는 목록의 관련성을 향상시키기 위해 노력합니다. SERP에 대한 최근 업데이트는 자연어 처리를 활용하는 Google의 BERT(Bidirectional Encoder Representations from Transformers)입니다. BERT는 지난 5년 동안 Google이 도입한 가장 중요한 변화 중 하나로 간주되며 검색 쿼리 10개 중 1개에 직접적인 영향을 미칩니다.
복잡한 롱테일 검색 쿼리를 올바르게 해석하여 보다 관련성 높은 결과를 표시하는 것을 목표로 합니다. 이 게시물에서는 이것이 무엇을 의미하고 검색 방식이 어떻게 바뀌는지에 대해 논의할 것입니다.
BERT는 무엇입니까?
Google이 주어진 검색어에서 단어의 문맥을 보다 정확하게 식별할 수 있도록 하는 NLP 사전 훈련을 위한 신경망 기반 기술입니다.
예를 들어, "six to 10"과 "a quarter to six"라는 구를 생각해 보십시오. 동일한 전치사 "to"는 각 구에서 다른 의미를 가지므로 검색 엔진에 명확하지 않을 수 있습니다. 그러나 여기에서 BERT가 유용해집니다. 첫 번째 구의 전치사 컨텍스트와 두 번째 구에서 사용되는 방식을 효과적으로 구분할 수 있기 때문입니다. 컨텍스트에 대한 이해를 통해 보다 관련성 높은 결과를 제공할 수 있습니다.
알고리즘의 신경망은 패턴 인식을 용이하게 하는 반면, 데이터 세트에 대해 훈련된 신경망은 패턴을 식별할 수 있습니다. 일반적인 응용 프로그램에는 이미지 콘텐츠, 금융 시장 동향 예측 및 필기 인식까지 포함됩니다. 반면 자연어 처리 또는 NLP는 언어학을 다루는 인공 지능(AI)의 일부입니다.
- NLP를 사용하면 컴퓨터가 인간이 자연스럽게 의사소통하는 방식을 이해할 수 있습니다.
- NLP 알고리즘은 해석, 이해 및 언어 패턴 인식을 가능하게 합니다.
- NLP 모델은 문법과 단어를 강조 표시하여 수많은 텍스트와 음성에서 의미를 찾습니다.
인터넷 사용자와 온라인 비즈니스가 매일 사용하는 NLP로 촉진된 발전에는 소셜 리스닝 도구, 단어 제안 및 챗봇이 포함됩니다.
이것은 무엇을 의미 하는가?
BERT는 신경망을 활용하여 사전 훈련된 모델을 생성하는 NLP 알고리즘입니다. 이러한 모델은 웹에서 사용할 수 있는 무한한 양의 데이터를 사용하여 학습됩니다. 선행 학습된 모델은 특정 NLP 작업을 수행하도록 더욱 세분화된 일반 NLP 모델입니다. 작년 11월 Google은 BERT를 오픈 소스로 공개하여 스탠포드 질문 응답 데이터 세트를 포함하여 11개의 NLP 작업에 대한 완전하고 관련성 있는 결과를 제공했다고 주장했습니다.
BERT의 양방향성은 단어에 컨텍스트를 제공할 수 있기 때문에 다른 알고리즘과 차별화됩니다. 그것은 그 단어로 이어지는 문장의 일부를 고려하는 것뿐만 아니라 그 뒤에 나오는 부분도 고려함으로써 그렇게 할 수 있습니다. 양방향성은 "블록버스터"와 함께 사용될 때와 반대로 "윈도우 필름"에서 사용될 때 다른 의미를 갖는 "필름"과 같은 단어의 의미를 검색 엔진이 이해할 수 있도록 합니다.
검색에서 BERT는 특히 복잡한 대화형 쿼리 또는 전치사가 포함된 쿼리의 경우 쿼리의 주요 세부 정보를 쉽게 이해할 수 있도록 합니다 . 예를 들어, "2021 발리로 가는 인도 여행자는 비자가 필요합니다"라는 쿼리에서 전치사 "to"는 여행자가 인도에서 발리로 가는 것을 암시합니다. 전치사를 변경하여 문장을 완전히 바꿀 수 있습니다. "2021 발리에서 온 인도 여행자는 비자가 필요합니다."는 여행자가 발리에서 왔고 인도를 위해 비자가 필요함을 의미할 수 있습니다. BERT를 사용하면 두 문장 간의 문맥적 차이를 이해할 수 있습니다.
BERT와 RankBrain의 차이점은 무엇입니까?
RankBrain은 검색에 적용된 Google의 첫 번째 AI 방법입니다. 자연 검색 순위 알고리즘과 병렬로 실행되며 해당 알고리즘에 의해 계산된 결과를 조정합니다. RankBrain은 과거 쿼리를 기반으로 알고리즘에서 제공하는 결과를 조정합니다.
RankBrain은 또한 Google이 검색 쿼리를 해석하여 정확한 단어가 쿼리로 포함되지 않은 결과를 표시할 수 있도록 합니다. 예를 들어 '두바이 랜드마크의 높이'를 검색하면 부르즈 할리파 관련 정보가 자동으로 표시된다.
반면에 BERT의 양방향 구성 요소는 매우 다른 방식으로 작동합니다. 기존 알고리즘이 관련성을 측정하기 위해 페이지의 콘텐츠를 살펴보는 반면, NLP 알고리즘은 추가 컨텍스트를 위해 단어 전후의 콘텐츠를 살펴봄으로써 한 단계 더 나아갑니다. 인간의 의사소통은 일반적으로 복잡하고 계층화되어 있기 때문에 자연어 처리의 이러한 발전이 필수적입니다.
Google은 BERT와 RankBrain을 함께 사용하여 쿼리를 처리하고 이해합니다. BERT는 RankBrain을 대신할 수는 없지만 검색어에 따라 다른 Google 알고리즘과 함께 적용하거나 RankBrain과 함께 적용할 수 있습니다.
더 많은 언어로 검색 개선
한 언어에서 배운 내용을 다른 언어에 적용 하는 기능을 통해 BERT는 전 세계 인터넷 사용자에게 더 관련성 높은 검색 결과를 제공하는 데 활용됩니다. 예를 들어 영어와 같이 웹에서 가장 널리 사용되는 언어에서 배운 내용은 다른 언어에 적용됩니다. 따라서 사람들이 검색하는 다른 언어에서도 향상된 결과를 제공합니다. 또한 BERT 모델은 국가 및 언어 전반에 걸쳐 추천 스니펫의 관련성을 향상시킵니다.
BERT는 비즈니스에 어떤 영향을 미칩니까?
BERT는 또한 BERT 업데이트의 영향을 받는 추천 스니펫 또는 웹 결과를 제공하도록 Google 어시스턴트를 트리거하여 Google 어시스턴트에 영향을 미칩니다. BERT와 같은 NLP 기술은 기계 이해력을 향상시키며 이 혁신은 의심할 여지없이 많은 온라인 사용자와 비즈니스에 유익합니다. 그러나 SEO와 관련하여 원칙은 동일하게 유지됩니다. 마케팅 전략에 SEO 모범 사례가 뿌리 내리고 있다면 웹 성공을 확신할 수 있습니다. 고품질의 관련성 있고 신선한 콘텐츠를 지속적으로 생산하는 웹 사이트는 이 알고리즘 업데이트의 혜택을 가장 많이 받을 것입니다.
키워드 연구를 기반으로 우수한 콘텐츠를 작성하는 것은 검색 엔진에서 우선순위 순위 요소로 남을 연습입니다. 사용자가 기대하는 유익하고 정확한 콘텐츠를 얻는 데 집중하는 웹사이트 소유자는 결국 SERP에서 좋은 순위를 얻게 됩니다. 훌륭한 콘텐츠를 만드는 동안 페이지의 성능을 모니터링하면 웹 사이트의 관련성을 유지하는 데 도움이 됩니다.
NLP는 검색 의도를 해결합니까?
BERT를 사용하면 쿼리에 사용된 언어나 단어에 관계없이 Google이 올바른 결과를 얻을 가능성이 높아지지만 여전히 100%는 아닙니다. 예를 들어, BERT를 사용하더라도 "네브래스카 남쪽에 있는 주가"를 검색하는 사용자는 Kansas 대신 "South Nebraska"에 대한 결과를 얻을 가능성이 높으며, 이는 사용자가 찾고 있는 답변일 가능성이 높습니다.
기계가 언어를 이해하도록 돕는 일은 여전히 진행 중인 노력이며 주어진 쿼리에서 명확한 의미를 도출하는 것은 복잡한 과정입니다. Google이 핵심 키워드 목록에 NLP를 적용하면 표시되는 상위 결과에 필수 키워드 중 일부 또는 하나만 포함되지 않을 수 있으므로 해당 결과가 관련성이 없게 됩니다. BERT를 통해 Google은 알고리즘에 대한 정교한 업데이트를 제공하여 게임을 향상시켰지만 검색은 인간 언어의 복잡한 특성으로 인해 해결되지 않은 문제로 남아 있습니다.