Інтеграція Siri з ChatGPT від Apple, що мала бути революційною, додала безліч корисних функцій, однак, за все це час, навряд чи покращила обізнаність цифрового помічника про спорт. Нещодавній звіт показує, наскільки низьким є рівень виконання Siri при простих запитах, таких як запит про переможців Суперкубку.
Згідно з дослідженням Пола Кафасіса з One Foot Tsunami, Siri правильно відповіла на запит «Хто виграв Суперкубок?» лише для 20 з 58 Суперкубків, що були зіграні до цього часу. Це означає лише 34% правильних відповідей.
Невдачі Siri стали ще гіршими: зокрема, вона не змогла згадати правильних переможців з Суперкубка XVII по XXXII, а також помилково приписала 33 неіснуючі перемоги Філадельфії Ігл.
Кафасіс зафіксував усі помилкові відповіді Siri у завантажуваній таблиці, доступній на його блозі.
Інший звіт, опублікований Джоном Грубером з Daring Fireball, підтверджує ці результати. Згідно з його дослідженням, інші штучні інтелекти, такі як Google, Anthropic та DuckDuckGo, показали набагато кращі результати при відповіді на схожі запитання про Суперкубок. Крім того, ці системи могли не лише точно відповідати на запити про минулі результати, але й адекватно реагувати на хитрі запитання про майбутні події, які ще не відбулися.
Невдачі Siri не обмежуються тільки спортивною тематикою. Журналісти Daring Fireball поставили ще одне незвичне запитання: «Хто виграв чемпіонат з баскетболу серед хлопців у Північній Дакоті в 2004 році?» Чат-боти, включаючи Kagi та ChatGPT, дали правильну відповідь, причому ChatGPT навіть надав посилання на відео гри чемпіонату. Siri ж знову помилилась.
Це особливо прикро, оскільки Siri фактично працює на тому ж ChatGPT, який дає правильні відповіді, коли використовується самостійно.
Також зазначено, що старі версії Siri, що працювали без підтримки ШІ, хоча й не могли дати точну відповідь, принаймні визнавали свої обмеження та пропонували релевантні веб-посилання. Нова Siri, яка використовує ChatGPT, значно гірша через те, що надає впевнені відповіді на питання, на які не здатна дати точну відповідь – це свідчить про недосконалість штучного інтелекту.
В обох блогах зроблено висновок, що Apple слід значно поліпшити роботу Siri. Як зазначає Грубер, інтеграція ChatGPT у Siri – це «масивний регрес» порівняно з попередньою версією, яка хоч і не давала ідеальних відповідей, принаймні визнавала свої обмеження.