La plateforme d'IA émotionnelle révèle que les sourires ont baissé de 32% en raison de COVID-19

Basée à Londres, Realeyes est une plate-forme de suivi oculaire et de mesure des émotions qui utilise l'IA et l'apprentissage automatique pour mieux comprendre le comportement et l'expression humains. Leurs clients incluent Buzzfeed, Coca-Cola, Conde Nast, eBay, Mars et Publicis Groupe, entre autres.

Realeyes utilise des caméras frontales, des technologies de vision par ordinateur et d'apprentissage automatique pour détecter l'attention et l'émotion parmi les publics opt-in lorsqu'ils regardent du contenu vidéo.

ClickZ s'est récemment entretenu avec Max Kalehoff, vice-président du marketing et de la croissance pour Realeyes, pour discuter de la technologie innovante de l'entreprise et des capacités qu'elle apporte aux spécialistes du marketing et aux éditeurs.

Une formation en mesure numérique

Kalehoff a découvert Realeyes après avoir co-dirigé une présentation avec le PDG de Realeyes lors de la Sustainable Brands Conference en 2017. Il a commencé à travailler avec l'entreprise en novembre dernier.

Kalehoff a commencé sa carrière dans des start-ups axées sur l'analyse et les nouvelles intelligences en marketing, notamment Media Metrix qui a été racheté par comScore au début.

Il faisait partie de l'équipe de direction fondatrice de BuzzMetrics, qui a été racheté par Nielsen et est devenu Nielsen Digital. Kalehoff faisait également partie de l'équipe de direction fondatrice de Clickable, une entreprise de technologie de recherche.

« Je suis vraiment passionné par l'espace marketing », déclare Kalehoff, « Je pense que c'est intéressant, en particulier l'analyse qui est le ciment qui fait que tout fonctionne. »

Kalehoff a reconnu qu'une grande partie de ce qui manquait à l'analyse était la notion de mesure de l'attention. Il a lancé un blog à ce sujet avec la Advertising Research Foundation (ARF) en 2006, l'un des premiers blogs marketing à examiner l'attention par rapport à l'engagement.

«Je pense que l'attention est une grande opportunité inexplorée», explique Kalehoff. « Realeyes apporte une nouvelle perspective à la mesure de l'attention en appliquant l'IA des émotions et la vision par ordinateur pour aider à comprendre l'attention, en particulier avec la vidéo et les espaces interactifs. »

La technologie d'IA derrière la mesure des émotions

Realeyes utilise les caméras frontales sur des appareils tels que les ordinateurs portables, les téléphones portables et les tablettes. Avec la permission de l'utilisateur, Realeyes active un algorithme léger, qui applique des coordonnées de base sur le visage de l'utilisateur et le système utilise ces coordonnées pour mesurer les indices du visage.

Exemple du système de Realeyes cartographiant le visage de Kalehoff

Le système Realeyes peut détecter les émotions majeures, notamment le bonheur, la confusion, le mépris, le dégoût, l'empathie, la peur et la surprise.

La technologie est basée sur une branche de la psychologie lancée par Paul Ekman, dans les années 1970 et 1980. Ekman a créé le codage facial, une technique utilisée par les psychologues pour détecter les émotions en observant passivement le visage de quelqu'un.

Dit Kalehoff, « C'est une école de psychologie établie. Nous utilisons des psychologues qualifiés et des annotateurs humains pour examiner des médias comme des vidéos ou des mèmes et d'autres expériences qui se produisent numériquement. Nous demandons à ces utilisateurs humains de marquer quelles émotions se produisent à certains moments. Au fil du temps, les machines apprennent et deviennent très précises pour comprendre l'émotion.

Il y a environ un an, Realeyes a été le pionnier de la surveillance de l'attention en tant que percée fondamentale dans sa technologie. La surveillance de l'attention mesure l'engagement d'un utilisateur avec le contenu qu'il regarde et applique différents niveaux d'intensité en fonction de son interaction avec les stimuli qu'il reçoit.

L'attention peut être renforcée ou dégradée en fonction du niveau de distraction de l'utilisateur : regarde-t-il ailleurs, boit-il quelque chose, mâche-t-il de la gomme, etc. ?

« Dans le marketing et la publicité, l'élément fondamental est l'attention », explique Kalehoff. « C'est ce que les gens achètent et vendent. Si vous êtes un éditeur, vous vendez de l'attention. Si vous êtes un spécialiste du marketing ou un acheteur de médias, vous attirez l'attention. »

Realeyes utilise les mêmes plates-formes de réponse de panneau que Nielsen, Kantar et Ipsos. Les spécialistes du marketing peuvent télécharger une vidéo sur le site Web de Realeyes, qui est ensuite visionnée par les intervenants du panel qui ont intégré le logiciel de Realeyes à leur appareil.

« Nous livrons une vidéo à exposition forcée et les panélistes passent par un processus de consentement afin qu'ils comprennent que nous allons allumer leur appareil photo, le but de ce que nous faisons et que nous cherchons à comprendre leur réponse aux publicités et d'autres médias.

Application de l'IA émotionnelle au marketing

Aujourd'hui, Realeyes utilise sa technologie d'IA émotionnelle pour aider les spécialistes du marketing à mesurer l'attention. Comprendre l'attention dans une création publicitaire permet aux spécialistes du marketing de prédire quel contenu ou quelle création leur attirera le plus d'attention une fois qu'ils l'auront mis en ligne sur le marché.

Les classificateurs d'émotions permettent au système de faire des prédictions sur le niveau d'attention que recevra un créatif avant même d'entrer sur le marché ou d'être poussé par des médias payants.

« C'est un avantage très direct des progrès réalisés dans la précision de la détection des émotions », explique Kalehoff. « Un autre avantage important est que nous avons amélioré notre ensemble de formation en utilisant de nouveaux classificateurs pour détecter avec précision les émotions des Asiatiques qui représentent une grande partie de notre monde. Avoir la capacité d'être pertinent et d'appliquer la technologie dans d'autres pays, y compris les pays asiatiques, est une énorme partie de l'avancement des classificateurs d'émotions.

À l'avenir, Realeyes applique son IA émotionnelle à l'expérience en direct. Ils ont des produits bêta avec diverses grandes plates-formes vidéo et sociétés de jeux où nous utilisons la détection d'attention sur le streaming en direct dans l'application, les jeux et les expériences mobiles.

Selon Kalehoff, « pensez à votre plate-forme vidéo préférée capable de comprendre l'attention des utilisateurs grâce à un codage facial réel ou imaginez si vous êtes une société de streaming de jeux capable de comprendre si les utilisateurs prêtent attention au streaming de la célébrité du jeu vidéo Ninja, ou sont-ils concentrés sur le jeu qu'ils ont dans une autre fenêtre ? »

Les classificateurs de Realeyes leur permettent d'utiliser l'attention pour prédire les résultats des créations publicitaires. Les classificateurs d'émotions permettent aux utilisateurs de se diversifier dans de nouveaux marchés et cultures. L'avenir de cette technologie réside dans la mesure de l'expérience en direct.

Mesurer le succès dans les sourires

Realeyes a récemment publié une étude de cas portant sur le contrôle des normes. Kalehoff explique.

« Alors que COVID-19 s'installait, nous avons effectué une analyse sur la" part de sourires "ou de bonheur que les consommateurs ont lorsqu'ils regardent une vidéo", explique Kalehoff. «Nous avons constaté une diminution de 32% des sourires à la suite de l'expérience COVID-19. La réduction des sourires a été provoquée par certaines industries, comme les voyages, l'hôtellerie, l'électronique grand public et les produits de luxe. C'est important car cela donne un contexte selon lequel le sentiment des consommateurs est en train de changer et peut-être à grande échelle. »

Realeyes a également réalisé une étude de cas avec la société de publicité numérique mobile Teads, qui propose des expériences publicitaires mobiles interactives à des éditeurs haut de gamme à l'échelle mondiale.

Teads a travaillé avec Realeyes pour utiliser la classification des émotions et la mesure de l'attention pour construire leur modèle de prédiction de l'attention. Ce modèle permet au système d'examiner la création ou le contenu existant, de tester cette création sur un test d'exposition forcée et de prédire l'attention que ces publicités attireront à l'avenir.

« C'est une intelligence très puissante pour le spécialiste du marketing et un éditeur », déclare Kalehoff. "Teads est un éditeur de technologie et ils utilisent cette intelligence directement pour améliorer les performances et les meilleurs résultats de leurs annonceurs."