Platform AI Emosional mengungkapkan bahwa senyum turun 32% karena COVID-19

Berkantor pusat di London, Realeyes adalah platform pelacakan mata dan pengukuran emosi yang menggunakan AI dan pembelajaran mesin untuk mendapatkan wawasan tentang perilaku dan ekspresi manusia. Klien mereka antara lain Buzzfeed, Coca-Cola, Conde Nast, eBay, Mars, dan Publicis Groupe.

Realeyes menggunakan kamera depan, visi komputer, dan teknologi pembelajaran mesin untuk mendeteksi perhatian dan emosi di antara pemirsa yang ikut serta saat mereka menonton konten video.

ClickZ baru-baru ini berbicara dengan Max Kalehoff, Wakil Presiden Pemasaran & Pertumbuhan untuk Realeyes untuk membahas teknologi inovatif perusahaan dan kemampuan yang mereka bawa ke pemasar dan penerbit.

Latar belakang pengukuran digital

Kalehoff mengetahui tentang Realeyes setelah memimpin presentasi panel bersama CEO Realeyes di Konferensi Merek Berkelanjutan pada tahun 2017. Dia mulai bekerja dengan perusahaan tersebut pada November lalu.

Kalehoff memulai karirnya di start-up yang berfokus pada analitik dan kecerdasan baru dalam pemasaran, termasuk Media Metrix yang diakuisisi oleh comScore di awal.

Dia adalah bagian dari tim manajemen pendiri di BuzzMetrics, yang diakuisisi oleh Nielsen dan menjadi Nielsen Digital. Kalehoff juga berada di tim manajemen pendiri Clickable, sebuah perusahaan teknologi pencarian.

“Saya sangat bersemangat tentang ruang pemasaran,” kata Kalehoff, “Saya pikir ini menarik, terutama analitik yang merupakan perekat yang membuat semuanya bekerja.”

Kalehoff menyadari bahwa sebagian besar dari apa yang hilang dari analitik adalah gagasan untuk mengukur perhatian. Dia memulai blog tentang hal itu dengan Advertising Research Foundation (ARF) pada tahun 2006, salah satu blog pemasaran pertama yang meneliti perhatian versus keterlibatan.

“Saya pikir perhatian adalah peluang besar yang belum dipetakan,” jelas Kalehoff. “Realeyes menghadirkan perspektif baru untuk pengukuran perhatian dengan menerapkan AI emosi dan visi komputer untuk membantu memahami perhatian, terutama dengan video dan dengan ruang interaktif.”

Teknologi AI di balik pengukuran emosi

Realeyes menggunakan kamera depan pada perangkat seperti laptop, ponsel, dan tablet. Dengan izin pengguna, Realeyes mengaktifkan algoritme ringan, yang menerapkan koordinat dasar di atas wajah pengguna dan sistem menggunakan koordinat ini untuk mengukur isyarat wajah.

Contoh sistem Realeyes yang memetakan wajah Kalehoff

Sistem Realeyes dapat mendeteksi emosi utama termasuk kebahagiaan, kebingungan, penghinaan, jijik, empati, ketakutan, dan kejutan.

Teknologi ini didasarkan pada cabang psikologi yang dipelopori oleh Paul Ekman, pada 1970-an dan 80-an. Ekman menciptakan pengkodean wajah, yaitu teknik yang digunakan psikolog untuk mendeteksi emosi menggunakan pengamatan pasif terhadap wajah seseorang.

Kata Kalehoff, “Ini adalah sekolah psikologi yang mapan. Kami menggunakan psikolog terlatih dan annotator manusia untuk meninjau media seperti video atau meme dan pengalaman lain yang terjadi secara digital. Kami memiliki pengguna manusia ini untuk menandai emosi apa yang terjadi pada titik-titik tertentu. Seiring waktu, mesin belajar dan menjadi sangat tepat dalam memahami emosi.”

Sekitar setahun yang lalu, Realeyes memelopori pemantauan perhatian sebagai terobosan mendasar dalam teknologi mereka. Pemantauan perhatian mengukur keterlibatan pengguna dengan konten yang mereka tonton dan menerapkan tingkat intensitas yang berbeda berdasarkan interaksi mereka dengan rangsangan yang mereka terima.

Perhatian dapat diperkuat atau diturunkan berdasarkan tingkat gangguan pengguna — apakah mereka memalingkan muka, meminum sesuatu, mengunyah permen karet, dll.?

“Dalam pemasaran dan periklanan, elemen mendasar adalah perhatian,” jelas Kalehoff. “Itulah yang orang beli dan jual. Jika Anda seorang penerbit, Anda menjual perhatian. Jika Anda seorang pemasar atau pembeli media, Anda sedang membeli perhatian.”

Realeyes menggunakan platform panel responder yang sama dengan yang digunakan Nielsen, Kantar, dan Ipsos. Pemasar dapat mengunggah video ke situs web Realeyes yang kemudian dilihat oleh responden panel yang telah mengintegrasikan perangkat lunak Realeyes ke perangkat mereka.

“Kami mengirimkan video paparan paksa dan panelis melalui proses persetujuan sehingga mereka mengerti bahwa kami akan menyalakan kamera mereka, tujuan dari apa yang kami lakukan, dan bahwa kami ingin memahami tanggapan mereka terhadap iklan. dan media lainnya.”

Menerapkan AI emosional ke pemasaran

Hari ini, Realeyes menggunakan teknologi AI emosional mereka untuk membantu pemasar dengan pengukuran perhatian. Memahami perhatian dalam materi iklan memungkinkan pemasar untuk memprediksi konten atau materi iklan mana yang akan mendapatkan perhatian paling besar setelah mereka menayangkannya di pasar.

Pengklasifikasi emosi memungkinkan sistem untuk membuat prediksi tentang tingkat perhatian yang akan diterima materi iklan sebelum mereka masuk ke pasar atau didorong oleh media berbayar.

“Ini adalah manfaat langsung dari kemajuan dalam akurasi deteksi emosi,” kata Kalehoff. “Manfaat penting lainnya adalah kami telah meningkatkan rangkaian pelatihan kami menggunakan pengklasifikasi baru untuk secara akurat mendeteksi emosi orang-orang Asia yang mewakili sebagian besar dunia kami. Memiliki kemampuan untuk relevan dan menerapkan teknologi di negara lain, termasuk negara-negara Asia, adalah bagian besar dari kemajuan pengklasifikasi emosi.”

Ke depannya, Realeyes membawa AI emosi mereka ke dalam pengalaman langsung. Mereka memiliki produk beta dengan berbagai platform video besar dan perusahaan game tempat kami menggunakan deteksi perhatian pada streaming langsung dalam aplikasi, game, dan pengalaman seluler.

Kata Kalehoff, “Pikirkan platform video favorit Anda dapat memahami perhatian pengguna melalui pengkodean wajah yang sebenarnya atau bayangkan jika Anda adalah perusahaan streaming game yang dapat memahami jika pengguna memperhatikan streaming video game selebriti Ninja, atau apakah mereka fokus pada permainan yang mereka lakukan di jendela lain?”

Pengklasifikasi Realeyes memungkinkan mereka menggunakan perhatian untuk memprediksi hasil dari materi iklan. Pengklasifikasi emosi memungkinkan pengguna untuk bercabang ke pasar dan budaya baru. Masa depan teknologi ini adalah dalam mengukur pengalaman langsung.

Mengukur kesuksesan dalam senyuman

Realeyes baru-baru ini menerbitkan sebuah studi kasus yang berfokus pada pemantauan norma. Kalehoff menjelaskan.

“Seiring merebaknya COVID-19, kami melakukan analisis tentang 'share of smile' atau kebahagiaan yang dimiliki konsumen saat mereka menonton video," kata Kalehoff. “Kami menemukan penurunan 32% dalam senyuman sebagai akibat dari pengalaman COVID-19. Pengurangan senyum didorong oleh industri tertentu, seperti perjalanan, perhotelan, elektronik konsumen, dan barang mewah. Ini penting karena memberikan konteks bahwa sentimen konsumen berubah dan mungkin dalam skala besar.”

Realeyes juga melakukan studi kasus dengan perusahaan iklan digital seluler Teads yang memberikan pengalaman iklan seluler interaktif di seluruh penerbit premium dalam skala global.

Teads bekerja dengan Realeyes untuk menggunakan klasifikasi emosi dan pengukuran perhatian untuk membangun model prediksi perhatian mereka. Model ini memungkinkan sistem untuk melihat materi iklan atau konten yang ada, menguji materi iklan tersebut pada pengujian paparan paksa, dan memprediksi perhatian dalam penayangan bahwa iklan tersebut akan diperoleh di masa mendatang.

“Itu kecerdasan yang sangat kuat untuk dimiliki baik oleh pemasar maupun penerbit,” kata Kalehoff. “Teads adalah penerbit teknologi dan mereka menggunakan kecerdasan ini secara langsung untuk mendorong kinerja dan hasil yang lebih baik dari pengiklan mereka.”