A plataforma de IA emocional revela que os sorrisos diminuíram 32% devido ao COVID-19

Com sede em Londres, Realeyes é uma plataforma de rastreamento ocular e medição de emoções que usa IA e aprendizado de máquina para obter informações sobre o comportamento e a expressão humana. Seus clientes incluem Buzzfeed, Coca-Cola, Conde Nast, eBay, Mars e Publicis Groupe, entre outros.

Realeyes usa câmeras frontais, visão computacional e tecnologias de aprendizado de máquina para detectar a atenção e a emoção entre públicos que optam por participar enquanto assistem ao conteúdo de vídeo.

ClickZ conversou recentemente com Max Kalehoff, VP de Marketing e Crescimento da Realeyes para discutir a tecnologia inovadora da empresa e os recursos que ela oferece aos profissionais de marketing e editores.

Uma experiência em medição digital

Kalehoff aprendeu sobre Realeyes depois de co-liderar uma apresentação de painel com o CEO de Realeyes na Conferência de Marcas Sustentáveis ​​em 2017. Ele começou a trabalhar com a empresa em novembro passado.

Kalehoff começou sua carreira em start-ups com foco em análise e nova inteligência em marketing, incluindo a Media Metrix, que foi adquirida pela comScore no início de agosto.

Ele fez parte da equipe de gestão fundadora da BuzzMetrics, que foi adquirida pela Nielsen e se tornou Nielsen Digital. Kalehoff também fez parte da equipe de gestão fundadora da Clickable, uma empresa de tecnologia de pesquisa.

“Estou realmente apaixonado pelo espaço de marketing”, diz Kalehoff, “acho que é interessante, especialmente a análise, que é a cola que faz tudo funcionar”.

Kalehoff reconheceu que uma grande parte do que estava faltando na análise era a noção de medir a atenção. Ele começou um blog sobre isso com a Advertising Research Foundation (ARF) em 2006, um dos primeiros blogs de marketing que examinou atenção versus engajamento.

“Acho que a atenção é uma oportunidade grande e desconhecida”, explica Kalehoff. “Realeyes traz uma nova perspectiva para medição de atenção aplicando emoção IA e visão computacional para ajudar a entender a atenção, especialmente com vídeo e com espaços interativos.”

A tecnologia de IA por trás da medição da emoção

Realeyes usa câmeras frontais em dispositivos como laptops, telefones celulares e tablets. Com a permissão do usuário, Realeyes ativa um algoritmo leve, que aplica coordenadas básicas sobre o rosto do usuário e o sistema usa essas coordenadas para medir pistas faciais.

Exemplo do sistema de Realeyes mapeando o rosto de Kalehoff

O sistema Realeyes pode detectar emoções importantes, incluindo felicidade, confusão, desprezo, repulsa, empatia, medo e surpresa.

A tecnologia é baseada em um ramo da psicologia iniciado por Paul Ekman, nas décadas de 1970 e 80. Ekman criou a codificação facial, uma técnica que os psicólogos usam para detectar emoções por meio da observação passiva do rosto de alguém.

Diz Kalehoff: “É uma escola de psicologia estabelecida. Usamos psicólogos treinados e anotadores humanos para revisar mídias como vídeos ou memes e outras experiências que acontecem digitalmente. Temos esses usuários humanos marcando quais emoções estão acontecendo em certos pontos. Com o tempo, as máquinas aprendem e se tornam muito precisas na compreensão da emoção. ”

Cerca de um ano atrás, Realeyes foi pioneira no monitoramento de atenção como uma inovação fundamental em sua tecnologia. O monitoramento de atenção mede o envolvimento de um usuário com o conteúdo que está assistindo e aplica diferentes níveis de intensidade com base em sua interação com os estímulos que está recebendo.

A atenção pode ser fortalecida ou degradada com base no nível de distração do usuário - ele está desviando o olhar, bebendo algo, mascando chiclete, etc.?

“Em marketing e publicidade, o elemento fundamental é a atenção”, explica Kalehoff. “É o que as pessoas compram e vendem. Se você é um editor, está vendendo atenção. Se você é um profissional de marketing ou um comprador de mídia, está atraindo atenção. ”

Realeyes usa as mesmas plataformas de resposta de painel que Nielsen, Kantar e Ipsos usam. Os profissionais de marketing podem fazer upload de um vídeo para o site do Realeyes, que é então visualizado pelos respondentes do painel que integraram o software do Realeyes ao seu dispositivo.

“Entregamos um vídeo de exposição forçada e os painelistas passam por um processo de consentimento para que entendam que vamos ligar suas câmeras, o propósito do que estamos fazendo e que estamos procurando entender sua resposta aos anúncios e outras mídias. ”

Aplicando IA emocional ao marketing

Hoje, Realeyes está usando sua tecnologia de IA emocional para ajudar os profissionais de marketing na medição da atenção. Compreender a atenção em um criativo de anúncio permite que os profissionais de marketing prevejam qual conteúdo ou criativo vai ganhar mais atenção depois de colocá-lo no mercado.

Os classificadores de emoção permitem que o sistema faça previsões sobre o nível de atenção que um criativo receberá antes de entrar no mercado ou ser promovido pela mídia paga.

“Este é um benefício muito direto dos avanços na precisão da detecção de emoções”, diz Kalehoff. “Outro benefício importante é que avançamos nosso conjunto de treinamento usando novos classificadores para detectar com precisão a emoção dos asiáticos que representam uma grande parte do nosso mundo. Ter a capacidade de ser relevante e aplicar a tecnologia em outros países, incluindo países asiáticos, é uma grande parte do avanço nos classificadores de emoção. ”

Daqui para frente, Realeyes está levando sua IA emocional para a experiência ao vivo. Eles têm produtos beta com várias grandes empresas de plataforma de vídeo e jogos, onde estamos usando detecção de atenção em streaming ao vivo no aplicativo, jogos e experiências móveis.

Diz Kalehoff: “Pense em sua plataforma de vídeo favorita sendo capaz de entender a atenção dos usuários por meio de codificação facial real ou imagine se você é uma empresa de streaming de jogos que é capaz de entender se os usuários estão prestando atenção ao streaming da celebridade do videogame Ninja, ou eles estão focados no jogo que estão acontecendo em outra janela? ”

Os classificadores de Realeyes permitem que eles usem a atenção para prever os resultados do criativo da publicidade. Os classificadores de emoção permitem que os usuários acessem novos mercados e culturas. O futuro desta tecnologia está na medição da experiência ao vivo.

Medindo o sucesso em sorrisos

Realeyes publicou recentemente um estudo de caso com foco no monitoramento de normas. Kalehoff explica.

“Conforme o COVID-19 se consolidou, fizemos uma análise sobre a 'parcela de sorrisos' ou felicidade que os consumidores têm ao assistir a vídeos”, diz Kalehoff. “Encontramos uma diminuição de 32% nos sorrisos como resultado da experiência COVID-19. A redução de sorrisos foi impulsionada por certos setores, como viagens, hotelaria, eletrônicos de consumo e bens de luxo. Isso é significativo porque fornece um contexto de que o sentimento do consumidor está mudando e, possivelmente, em grande escala. ”

Realeyes também fez um estudo de caso com a empresa de publicidade digital móvel Teads, que oferece experiências de publicidade móvel interativa entre editores premium em uma escala global.

Teads trabalhou com Realeyes para usar classificação de emoção e medição de atenção para construir seu modelo de previsão de atenção. Esse modelo permite que o sistema analise o criativo ou conteúdo existente, teste esse criativo em um teste de exposição forçada e preveja a atenção na visualização que esses anúncios acumularão no futuro.

“É uma inteligência muito poderosa para o profissional de marketing e um editor ter”, diz Kalehoff. “A Teads é uma editora de tecnologia e está usando essa inteligência diretamente para impulsionar o desempenho e melhores resultados de seus anunciantes.”