Visa, sektörün ilk AI Akıllı Alışveriş Değerlendirmesini yayınladı ve gerçek tüketici senaryolarını simüle ederek ana akım AI model performansını değerlendirdi ve test platformunu tüketicilere açtı. İlk tur değerlendirmesi, AI alışverişinin yalnızca %56,6'lık bir ortalama geçiş oranı elde ettiğini, bu durumun %43,4'lük bir başarısızlık oranına karşılık geldiğini ve genel performans istikrarının yetersiz olduğunu ortaya koydu. Değerlendirme, televizyonlar, dizüstü bilgisayarlar ve kişisel bakım cihazları dahil olmak üzere 15 alışveriş senaryosunda 12 geliştirme ekibinden 22 AI modelini kapsadı ve geçiş oranları %28,9 ile %82,2 arasında değişti.
Visa, AI Alışveriş Değerlendirme Standartlarını ve Test Metodolojisini Belirliyor
Visa'nın AI Akıllı Alışveriş Değerlendirme standardı, AI'nın gerçek tüketici ihtiyaçlarını doğru bir şekilde tanımlamasını gerektirir. Eğer belirtilen koşullara uyan ürün yoksa, AI sipariş vermemelidir. Referans testleri, AI'nın yeterli bilgi toplamasını ve tüketici gereksinimlerini tam olarak anlamadan yalnızca spekülasyona dayalı kararlar vermekten kaçınmasını özel olarak gerektirir. Her AI modeli, elektronik ve kişisel bakım cihazları dahil olmak üzere çeşitli alışveriş senaryolarında üç testten geçti.
Değerlendirme Sonuçları, AI Modelleri Arasında Geniş Performans Farklılıkları Gösteriyor
İlk tur değerlendirmesi, 12 AI geliştirme ekibinden 22 AI modelini 15 alışveriş senaryosunda test etti. Ortalama geçiş oranı yalnızca %56,6'ya ulaştı; en iyi performans gösteren model %82,2'ye ulaşırken, en düşük puan alan model yalnızca %28,9'da kaldı. Tüketici diyalogları aracılığıyla en fazla potansiyel satın alma ihtiyaçlarını tanımlayan beş AI modeli, ortalama %68'lik bir geçiş oranı elde etti; en az ihtiyaçları yakalayan beş model ise %44,4 ile 50'nin altında puan aldı. Test başına en yüksek maliyetli beş model ortalama %65 geçiş oranı elde ederken, en düşük maliyetli beş model %50 ile karşılaştırıldı.
Ana Bulgular, Tüketici Anlayışı ve İstikrar Açıklarını Ortaya Koyuyor
Tüm modeller ve senaryolar üzerinde yapılan kapsamlı testler, testlerin yalnızca %33'ünün üç tekrar denemesinin tamamını geçtiğini gösterdi ve bu durum AI model performans istikrarının yetersiz olduğunu ortaya koydu. Başarısız testlerin yaklaşık yarısı (%53), AI'nın tüketici gereksinimlerini karşılamadığı halde satın alma işlemlerine devam etme kararı vermesiyle sonuçlandı; bu durum, tüketici gereksinimlerini karşılamayan ürünlerin önerilmesi veya tüm satın alma koşullarının tam olarak yakalanamaması gibi durumları içeriyordu. Visa, tüketicilerin bu başarısızlık kalıplarına karşı dikkatli olmaları gerektiğini belirtti.
Visa, Genişletilmiş Referanslar ve Sektör İşbirliği Planlıyor
Visa Tayvan Genel Müdürü Huang Hui-chin, Visa'nın AI'nın ticareti yeni bir çağa taşıyacağına inandığını ve güvenin gelecekteki ticaret planlarını gerçeğe dönüştürmenin anahtarı olduğunu belirtti. AI Akıllı Alışveriş Değerlendirme standardı, Visa'nın sektördeki standart iyileştirmelerini sürekli olarak teşvik etme konusundaki somut uygulamasını temsil ediyor. Visa, hataları azaltmanın ve istikrarı artırmanın, ajans ticaretinde tüketici güveni oluşturmak için kritik noktalar olduğunu belirtti ve her iki alanda da iyileştirme gerektirdiğini vurguladı. Visa, ajans ticareti değerlendirme standartlarını genişletmeye, daha fazla alışveriş senaryosu ve ürün kategorisi eklemeye, test kapsamını ödeme, sipariş tamamlama süreçlerine uzatmaya devam etmeyi planlıyor. Visa, değerlendirme standartlarını önde gelen AI model tedarikçileriyle paylaşarak ilgili geri bildirimleri toplamayı hedefliyor.
SSS
Visa'nın AI Akıllı Alışveriş Değerlendirmesi, AI model performansı hakkında ne ortaya koydu?
Visa'nın ilk tur AI Akıllı Alışveriş Değerlendirmesi, 12 geliştirme ekibinden 22 AI modelinde ortalama %56,6'lık bir geçiş oranı gösterdi; bu da %43,4'lük bir başarısızlık oranına karşılık geliyor. Performans önemli ölçüde değişiklik gösterdi; en iyi model %82,2'ye ulaşırken, en kötü model yalnızca %28,9'da kaldı. Testlerin yalnızca %33'ü üç tekrar denemesinin tamamını geçti, bu da istikrar sorunlarını gösteriyor.
Bazı AI modelleri neden Visa'nın alışveriş değerlendirmesini geçemedi?
Başarısız testlerin yaklaşık %53'ü, AI'nın gereksinimleri karşılamadığı halde satın alma işlemlerine devam etme kararı vermesi nedeniyle gerçekleşti; bu durum, tüketici spesifikasyonlarına uymayan ürünlerin önerilmesi veya tüm satın alma koşullarının tam olarak yakalanamaması gibi durumları içeriyordu. Diyalog aracılığıyla daha az potansiyel satın alma ihtiyacını tanımlayan modeller, daha fazla tüketici gereksinimini yakalayanlara göre daha düşük geçiş oranları (%44,4) elde etti.
Visa, AI alışveriş standartlarını nasıl geliştirmeyi planlıyor?
Visa, ajans ticareti değerlendirme standartlarını genişletmeyi, daha fazla alışveriş senaryosu ve ürün kategorisi eklemeyi ve testleri ödeme, sipariş tamamlama süreçlerine uzatmayı planlıyor. Visa, değerlendirme standartlarını önde gelen AI model tedarikçileriyle paylaşarak geri bildirim toplamayı hedefliyor ve AI alışveriş sistemlerinde hataları azaltmayı ve istikrarı artırmayı amaçlıyor.
