검색의 AI: Bing의 Fabrice Canel에서 얻은 인사이트

저는 최근에 Microsoft에서 26년 동안 검색을 해 온 베테랑이자 Bing에서 크롤링, 처리 및 인덱싱 팀을 이끄는 수석 제품 관리자인 Fabrice Canel과 연결했습니다.

Canel은 검색의 인공 지능 상태와 새로운 Bing의 채팅 경험 통합에 대한 통찰력을 제공합니다.

Bing Chat으로 가장 최근 공지 사항에 대해 논의할 수 있습니까?

Fabrice Canel(FC) : 2023년 2월에 완전히 새로운 AI 기반 Bing과 웹용 부조종사인 Microsoft Edge를 세상에 선보였습니다. 그 이후로 이전보다 더 많은 사용자가 Bing을 사용하고 있으며 최근에는 일일 사용자 1억 명과 채팅 1억 건을 달성했습니다.

그런 다음 음성 액세스를 포함하여 Windows, Skype, Edge 모바일 및 Bing 모바일에서 새로운 AI 기반 Bing을 활성화했습니다.

최근 몇 주 동안 우리는 이러한 기능을 장치와 전 세계 수백만 명의 추가 사용자에게 확장하는 새로운 AI 기반 환경과 상호 작용할 수 있는 다양한 방법을 추가했습니다.

• Bing Image Creator는 자신의 단어로 이미지를 생성할 수 있는 기능을 제공하여 사실, 이미지 기반 타임라인, 투표, 작업 및 관련 주제를 통해 Bing 고객이 관심을 갖는 주제를 탐색할 수 있는 새로운 AI 기반 시각적 스토리를 가능하게 합니다.
• AI로 생성된 스토리는 Bing 고객에게 텍스트, 이미지, 비디오 및 오디오를 통해 짧은 정보를 소비하는 다양한 방법을 제공합니다.
• AI로 생성된 Bing 지식 카드는 Bing 고객이 사실, 이미지 기반 타임라인, 투표, 작업 및 관련 주제를 통해 Bing 고객이 관심을 갖는 주제를 탐색하는 데 도움이 됩니다.
• 새로운 Bing에 액세스하고 상호 작용하는 또 다른 방법은 SwiftKey 키보드 앱에서 활성화하는 것입니다. 이렇게 하면 타사 키보드를 지원하는 모든 iOS 또는 Android 모바일 환경에서 Bing AI 환경을 원터치로 사용할 수 있습니다. 여기에서 전체 발표를 볼 수 있습니다. (저자 주: Bing은 2016년에 SwiftKey를 인수했습니다.)

Chat 환경을 검색에 통합하는 것에 대한 생각(철학, 기대치)에 대해 논의할 수 있습니까?

FC: 비하인드 스토리를 살펴보겠습니다. 새로운 Bing과 그 탄생 과정에 대해 조금 더 공유하고 싶습니다.

차세대 모델 . 새로운 Bing은 검색을 위해 특별히 맞춤화된 새로운 차세대 대규모 언어 모델에서 실행됩니다. 과거 모델의 주요 학습과 발전이 필요하며 훨씬 더 빠르고 정확하며 더 많은 기능을 제공합니다. 요컨대, 합성, 요약, 채팅 및 생성 기능이 훨씬 더 뛰어납니다.

마이크로소프트 프로메테우스 모델 . 우리는 차세대 모델의 성능을 최대한 활용하기 위해 독점적인 작업 방식을 개발했습니다.

이러한 기능 및 기술 모음을 Prometheus 모델이라고 합니다. 이 조합은 Bing 고객에게 향상된 안전성과 함께 보다 관련성 있고 시의적절하며 목표가 지정된 결과를 제공합니다.

대규모 언어 모델(LLM)에 돌파구가 생겼을 때 다른 LLM과 마찬가지로 주어진 시점을 통해 데이터로 학습되었으므로 결합하여 사용자 경험을 더 풍부하고 관련성 있고 정확하게 만들 수 있다고 생각했습니다. Bing의 백엔드 기능을 활용합니다.

좀 더 구체적으로 말하자면, 신선하고 포괄적인 Bing 지수, 순위 및 답변 결과와 가장 진보된 모델의 창의적인 추론 기능을 결합한 최초의 AI 모델인 Prometheus라는 독점 기술을 개발했습니다.

Prometheus는 Bing 및 언어 모델의 기능을 활용하여 Bing Orchestrator라는 구성 요소를 통해 내부 쿼리 집합을 반복적으로 생성합니다. 주어진 대화 맥락 내에서 사용자 쿼리에 대해 정확하고 풍부한 답변을 제공하는 것을 목표로 합니다. 모두 몇 밀리초 안에 가능합니다. 이 Prometheus 생성 답변을 채팅 답변이라고 합니다.

관련 내부 쿼리를 선택하고 각 Bing 검색 결과를 활용하는 것은 Prometheus의 중요한 구성 요소입니다. Prometheus는 모델에 관련성 있고 새로운 정보를 제공하여 최근 질문에 답하고 부정확성을 줄일 수 있기 때문입니다. 이 방법을 접지라고 합니다.

다른 말로 하면 모델은 Bing에서 제공한 데이터에 대해 추론합니다. 따라서 Bing 데이터는 Bing Orchestrator를 통해 이를 접지합니다.

아래 다이어그램은 Prometheus가 높은 수준에서 작동하는 방식을 보여줍니다.

마지막 단계는 Prometheus가 날씨, 주식, 스포츠, 뉴스 등과 같은 관련 Bing 검색 답변을 Chat 답변에 첨부하여 Bing의 기능을 더욱 활용하는 보다 풍부하고 매력적인 사용자 경험을 제공하는 것입니다.

Bing 접지 기술 덕분에 Prometheus는 사용자가 쉽게 클릭하여 해당 소스에 액세스하고 정보를 확인할 수 있도록 인용문을 Chat 답변의 문장에 통합할 수도 있습니다.

이러한 소스로 트래픽을 보내는 것은 건강한 웹 에코시스템에 중요하며 Bing의 최우선 목표 중 하나입니다. 콘텐츠를 만드는 사람들에게 트래픽을 보내지 않으면 웹 생태계가 없기 때문에 이것은 우리에게 중요합니다. 사람들은 이유가 있어서 콘텐츠에 투자하고 보상을 받지 못하면 투자를 중단합니다.

핵심 검색 알고리즘에 AI 적용 . 또한 핵심 Bing 검색 순위 엔진에 AI 모델을 적용하여 20년 만에 가장 큰 관련성 점프를 달성했습니다.

이 AI 모델은 기본적인 검색 쿼리도 더 정확하고 적절하게 만듭니다. 새로운 모델은 인터넷 문서에 대한 우리의 이해를 향상시켰고 이러한 문서를 사용자 쿼리와 일치시키는 방법에 대한 이해를 향상시켰습니다.

새로운 사용자 경험 – 검색 및 채팅 병합. 우리는 Bing 고객을 통합된 경험으로 끌어들여 검색, 브라우저 및 채팅과 상호 작용하는 방식을 재구상했습니다. 이것은 웹과 상호작용하는 완전히 새로운 방식을 열어줄 것입니다.

Prometheus는 사용자 경험 관점에서 볼 때 놀랍고 선구적인 AI 기반 혁신이지만 그 기능을 Bing에 통합하는 방법이 명확하지 않았습니다. 두 가지 주요 관점이 있었습니다.

• 우리 팀의 일부는 검색이 오늘날의 웹 검색과 같은 UX를 유지하고 기본 UX에 Prometheus 기반 Chat 응답을 추가해야 하는 뿌리깊은 습관이라고 느꼈습니다. 다른 답변과 마찬가지로 채팅 답변은 쿼리와의 관련성에 따라 자리를 차지합니다.
• Bing의 다른 사람들은 이것이 고전적인 웹의 검색 패러다임을 바꾸고 결과에 대한 답변을 새로운 대화형 채팅 기반 검색 방식으로 바꿀 수 있는 기회라고 느꼈습니다.

두 학파 모두 부분적으로는 옳았지만 어느 쪽도 완전한 그림을 가지고 있지 않았습니다.

클래식 검색을 옹호하는 팀은 일반적으로 탐색 쿼리를 사용하여 관점을 방어했습니다.

대화식 접근 방식을 추진하는 팀은 쇼핑이나 여행과 같은 연구와 유사한 검색 세션을 제공합니다. 이 관찰을 설명하기 위해 아래 그래프에 쿼리를 표시했습니다.

그런 다음 일부 쿼리는 클래식 또는 검색 모드에서 더 잘 수행되는 반면 다른 쿼리는 대화 또는 채팅 모드에서 더 잘 수행된다는 것이 분명해졌습니다.

또한 일부 사용자는 쿼리에 따라 둘 중 하나를 선호할 수 있습니다. 따라서 이상적인 Bing 검색 제품은 사용자의 의도와 선호도에 따라 검색 모드와 채팅 모드 간에 원활하게 전환되어야 합니다.

우리의 디자인 팀은 도전을 받아들였고, 여러 번의 반복을 거쳐 단일 인터페이스에서 검색과 채팅을 통합하는 새로운 UX를 개발했습니다. 사용자는 페이지에서 UX 요소를 클릭하거나 단순히 위아래로 스크롤하거나 스 와이프하여 쉽게 앞뒤로 전환할 수 있습니다.

이 제품 또는 UX 혁신은 사람들이 직관적으로 제품의 잠재력을 최대한 활용할 수 있도록 보장하는 Prometheus 기술만큼 중요합니다.

요즘 UX와 SEO는 거의 항상 같은 목표를 가지고 있다고 생각합니다. 그것에 대해 어떻게 생각하세요?

FC: 동의합니다. 사용자가 귀하의 웹페이지 중 하나를 방문했을 때 무엇을 하기를 원하는지 이해하는 것이 중요합니다.

그렇게 하려면 웹페이지를 디자인해야 합니다. 대상 UX는 검색 엔진에도 중요합니다. 관련성은 방정식의 일부일뿐입니다.

방문자가 귀하의 사이트를 방문하여 전환에 관심이 있지만 귀하의 사이트에 문제가 있어서 방문하지 않는 경우 검색 엔진에 나쁜 경험이 됩니다.

Google에는 EEAT 표준이 있으며 EEAT에 해당하는 Bing은 매우 유사합니다. 콘텐츠 자체에 관한 것이 아닙니다. 사용자는 작업을 완료하기를 원하며 우리는 사용자가 작업을 수행하는 데 도움이 되는 페이지 순위를 더 높게 지정하고자 합니다.

검색 마케터가 의존하는 일일 뉴스레터를 받으세요.

처리 중…기다려 주십시오.

구독하다

용어를 참조하십시오.

오류 가능성이 있는 경우 Bing은 사람들에게 Bing Chat의 출력을 사용하도록 어떻게 조언합니까?

FC: 새로운 AI 기반 Bing 및 Edge를 세상에 출시한 지 두 달이 조금 넘었습니다. 우리는 그 동안 많은 것을 배웠고 몇 가지 개선 사항을 출시했습니다.

우리는 우리 모델과 경험의 강력한 Bing 개선을 주도하는 선순환적인 피드백 주기와 반복에 대해 기쁘게 생각합니다.

예를 들어 다음 사이에서 채팅 톤을 전환하는 기능을 도입했습니다.

• 더 짧고 검색 중심의 답변에 중점을 둔 정확한 .
• 창의적 , 더 길고 설명적인 응답을 제공합니다.
• 중간 설정인 Balance 는 중간에 있습니다.

Bing 고객은 선택에 따라 UX에서 보라색, 파란색 및 녹색 사이의 색상 변화를 알 수 있습니다. 우리의 목표는 Bing 고객이 자신의 요구에 가장 잘 맞는 채팅 동작 유형을 결정할 수 있도록 하는 것입니다. 피드백을 기반으로 이 환경을 계속 조정할 것입니다.

Bing은 최상의 결과를 제공하기 위해 최선을 다하고 있습니다. Bing Chat에 지구가 평평한지 물어보면 온라인에 이 주제에 대해 오해의 소지가 있는 콘텐츠가 많이 있더라도 지구가 평평하지 않다고 알려줄 것입니다.

우리는 AI가 사람, 산업 및 사회를 도울 수 있는 일에 대해 낙관하기 때문에 AI에 막대한 투자를 했습니다.

우리는 AI의 약속을 책임감 있게 실현하기 위해 기술과 사람을 하나로 모으는 데 전념하고 있습니다. 피드백과 데이터는 답변의 품질을 개선하는 데 도움이 됩니다. 계속해서 의견을 보내주세요.

사람들이 Bing Chat을 사용하여 편집하지 않고 콘텐츠를 만들고 게시해야 합니까?

FC: 최고의 콘텐츠를 찾기 위해 최선을 다합니다.

우리는 아직있다? 아니요, 아직 완벽하지 않습니다. 아무도 없습니다.

언젠가는 될까요? 아마도. 도구라는 점을 기억하세요. 이 문제는 생각보다 어렵습니다.

예를 들어 평판이 좋은 웹사이트에서 상충되는 답변이 여러 개 있는 경우가 있습니다. 어느 것이 잘못되었는지 파악하기 어려울 수 있습니다.

나는 최근에 내 딸의 복잡한 수학 기하학 문제에 대한 질문에 답하기 위해 이 연습을 했고 존경받는 전문가로부터 두 가지 다른 답을 찾았습니다. 하나는 맞았지만 알아내는 데 1 ~ 2 시간이 걸렸습니다. 전문가도 실수를 합니다.

Bing Search의 사용은 Bing Chat에 액세스할 수 있는 사람들의 사용과 어떻게 비교됩니까?

FC: 아직 믿을 수 없을 정도로 초기 단계입니다. 우리는 불과 두 달 전에 출시했으며 대부분의 Bing 고객은 생애 처음으로 검색 엔진과 채팅할 수 있는 이 기능을 경험하고 있습니다. 그들은 발견하고 배우고 있습니다. 그들은 하나의 경험에서 검색, 채팅, 답변 및 작성 기능을 모두 갖는 가치를 찾고 있습니다.

현재 Bing의 일일 활성 사용자는 1억 명 이상입니다. 채팅과 같은 새로운 시나리오는 1억 개 이상의 채팅을 포함하여 참여를 유도합니다.

미리 보기의 수백만 사용자 중 1/3이 Bing을 처음 사용하여 게시자와 웹마스터에게 완전히 새로운 기회를 제공합니다. 이것은 아직 초기 데이터이지만 징후는 고무적입니다.

SEO의 경우 아직 초기 단계이므로 이전과 동일한 SEO 플레이북을 고수하는 것이 좋습니다.

그러나 새로운 Bing의 사용이 계속 증가하고 사람들의 검색 방식이 변화함에 따라 필요한 조정을 위해 우리의 통신을 추적하고 데이터를 모니터링하십시오.

앞으로 몇 주 내에 Bing 웹마스터 도구 웹사이트 및 Bing 웹마스터 도구 API에서 Bing Chat 클릭 및 노출 보고를 시작할 예정입니다.

데이터 신선도의 중요성에 대해 논의할 수 있습니까?

FC: LLM의 최근 돌파구는 훌륭하지만 이러한 모델은 주어진 시점까지의 데이터로 훈련됩니다. Bing의 특별한 점은 LLM 과 Bing Search의 백엔드 기능을 활용할 수 있다는 것입니다.

이는 Bing Chat에 몇 초 전에 온라인으로 게시된 콘텐츠가 포함되어 있음을 의미합니다. 오늘 일어난 일을 Bing Chat으로 보낼 수 있습니다. 바로 지금 일어나고 있는 일입니다.

신선함은 요즘 특히 젊은 세대에게 매우 중요합니다. 최근 이벤트에 대해 자세히 알아보기 위해 Bing Chat을 사용하는 아이들을 보는 것이 흥미로웠습니다. Bing은 Bing 인덱스 위에 구축되기 때문에 Bing Chat에서도 이러한 유형의 쿼리를 잘 처리할 수 있습니다.

사람들이 많은 시간을 보내는 영역 중 하나는 유명인사 뉴스와 같은 뉴스 형식의 이벤트입니다. 사람들은 지금 일어나고 있는 일에 많은 시간을 할애합니다.

IndexNow가 무엇인지에 대한 개요를 제공할 수 있습니까?

FC: IndexNow는 웹사이트 소유자가 웹사이트의 최신 콘텐츠 변경 사항에 대해 모든 검색 엔진에 즉시 알릴 수 있는 쉬운 방법입니다.

가장 간단한 형태의 IndexNow는 검색 엔진이 URL과 해당 콘텐츠가 추가, 업데이트 또는 삭제되었음을 알 수 있도록 하는 간단한 핑이므로 검색 엔진이 검색 결과에 이러한 변경 사항을 신속하게 반영할 수 있습니다.

동급 최고의 AI 모델을 활용하는 Bing Chat의 맥락에서 이 질문을 하고 IndexNow에 대해 이야기하는 것이 흥미로웠습니다.

AI는 온라인에서 최고의 콘텐츠를 검색하고 웹사이트에서 변경된 사항을 확인하는 데 탁월하지만 사이트에서 콘텐츠를 추가, 수정 또는 삭제했는지 여부를 100% 정확하게 알 수 없습니다. 그러나 당신은 그것을 100% 정확하게 알고 있거나 적어도 당신의 CMS는 그것을 알고 있습니다.

콘텐츠가 변경되었는지 확인하기 위해 반복적으로 크롤링하는 대신 웹마스터에게 검색 엔진 크롤러가 방문하여 최신 콘텐츠 변경 사항을 수집하도록 요청할 수 있는 기능을 제공합니다.

2021년 가을에 IndexNow 프로토콜을 활성화한 이후 IndexNow의 채택이 계속 증가했습니다.

오늘날 2천만 개 이상의 웹사이트에서 IndexNow API에 매일 25억 개가 넘는 URL을 게시합니다. 이번 달, IndexNow는 웹 검색 결과에서 클릭된 모든 새 URL의 10%에 기여했습니다.

또한 더 많은 검색 엔진, 콘텐츠 관리 시스템(예: Wix) 및 IndexNow를 채택하는 상위 웹사이트를 보게 되어 기쁩니다. 우리는 2년 이내에 웹의 50% 이상이 IndexNow를 채택하는 것을 목표로 합니다.

크롤링이 왜 그렇게 복잡한가요? 웹의 크기는 얼마나 됩니까?

인터넷의 진정한 크기는 무한합니다. 매일 우리는 700억 개 이상의 개별 URL을 발견합니다. 스팸과 중복 콘텐츠가 너무 많습니다.

스패머는 도메인을 확보하고 수백 개의 하위 도메인을 생성합니다. 인덱스 크기는 좋은 품질 측정 기준이 아니기 때문에 더 이상 검색 엔진에서 인덱스 크기에 대해 통신하지 않습니다.

가장 큰 문제는 모든 저품질 콘텐츠를 탐색하여 중요한 항목을 인덱싱하는 방법입니다. 이를 더 쉽게 하려면 검색 엔진을 실제 항목으로 안내하는 데 도움을 줄 웹마스터가 필요합니다. 이를 수행하는 가장 좋은 방법은 IndexNow와 XML 사이트맵을 조합하는 것입니다. 이것은 모든 검색 엔진에 적합한 설정입니다.

Bing은 새로운 Bing Chat 모델의 웹사이트로 얼마나 많은 트래픽이 이동할 것으로 예상합니까?

FC: 앞으로 몇 주 내에 각 웹사이트 소유자가 Bing 검색 페이지와 비교할 수 있도록 Bing 웹마스터 도구에서 Bing Chat 클릭 및 노출을 보고하기 시작할 것입니다.

검색 엔진은 사람들이 원하는 콘텐츠를 찾도록 돕는 역할을 했습니다. 새로운 Bing은 채팅, 답변 및 콘텐츠 생성과 같은 새로운 기능을 통해 사람들의 검색 요구 사항을 더 잘 해결하도록 돕고 있습니다.

우리의 목표는 이 새로운 검색 세계에서 Bing 사용자를 만족시키고 게시자에게 더 많은 트래픽을 유도하는 것입니다. 이것이 우리의 최우선 목표이며 부분적으로는 새로운 Bing/Edge에서 전송하는 트래픽의 양으로 성공을 측정합니다.

초기 진행 상황이 고무적입니다. 미리 보기의 데이터를 기반으로 모든 유형의 사용자로부터 더 많은 트래픽을 유도하고 있습니다. 채팅과 같은 새로운 시나리오를 위해 더 많은 사람들을 Bing/Edge로 데려왔고 사용량이 증가하고 있습니다.

그런 다음 소스에 링크된 채팅 답변 본문 내의 인용과 추가 소스에 대한 링크로 "자세히 알아보기" 위한 채팅 결과 아래의 인용을 포함하여 게시자에게 트래픽을 유도하는 고유한 방법을 구현했습니다.

퍼블리셔의 링크 위로 마우스를 가져가면 해당 퍼블리셔의 더 많은 링크가 표시되는 확장된 호버 경험을 활성화하여 사용자가 더 많은 참여 방법을 제공하고 퍼블리셔의 웹 사이트에 더 많은 트래픽을 유도합니다.

우리는 또한 귀를 기울이고 있으며 전체 생태계에 대해 이러한 새로운 경험을 극대화할 수 있는 기회를 모색하면서 긍정적인 피드백을 듣고 있습니다.

Bing Chat에서 인용할 가능성이 높은 콘텐츠는 어떻게 만드나요?

FC: 완전히 새로운 AI 기반 Bing 및 Microsoft Edge의 출시와 함께 경험을 지원하기 위해 Bing 웹마스터 도구 지침을 개선했습니다.

Bing Chat 내의 순위는 일반적으로 기본 웹 검색 결과 페이지와 동일한 매개변수에 의존한다고 명시했습니다.

따라서 이 시점에서는 아직 초기 단계이므로 이전과 동일한 SEO 플레이북을 고수하는 것이 좋으며 대부분의 권장 플레이북은 Bing 웹마스터 도구 지침에 나열되어 있습니다.