Google Assistant оказался умнее Siri от Apple и Cortana от Microsoft

Цель исследования проста: выяснить, какой из них является самым умным. В этом исследовании помощникам Google Assistant, Apple Siri, Mirosoft Cortana и Amazon Alexa было задано 5000 вопросов (кроме того, в тестировании приняла участие поисковая система Google).

Список вопросов состоит из стандартных повседневных запросов, задаваемых пользователями при общении с умными ассистентами или поисковой строкой в Интернете. Каждому ассистенту были заданы одни и те же вопросы из этого списка, а их ответы были сверены и сравнены по различным критериям (ответил помощник устно, или извлек ответ из базы данных, например, Knowledge Graph). Также экспериментаторы учли, был ли ответ получен из какого-либо постороннего источника – например, Wikipedia. Учтены были также ошибки при ответе, неточное распознание вопроса или его непонимание.

Тестирование Google Assistant проводилось на колонке Google Home

Тест показал, что Google Assistant является самым умным из виртуальных ассистентов. Он ответил на большинство вопросов – 68,1%. И 90,6% ответов были полными и абсолютно правильными.

Ассистент Cortana от Microsoft немного отстал: он смогла дать ответы на 56,5% вопросов, из которых 81% был абсолютно верен. Amazon Alexa дала правильный развернутый ответ на 87% заданных ей вопросов. Хотя, впрочем, ответы получили только 20,7% вопросов из всего списка.

Хуже всех себя показала умная помощница от Apple. Siri смогла ответить только на 21,7% всех заданных вопросов, а исчерпывающий ответ был дан лишь на 62,2% из них.

Поисковик Google также принял участие в исследовании. Он ответил на 74,3% вопросов, из которых 97,4% были совершенно правильными.

Результаты исследования Stone Temple показывают, что помощник Google Assistant является лидером среди существующих на данный момент умных ассистентов, а Cortana от Microsoft идет за ним по пятам.

Отметим, что исследование, о котором рассказано выше, было проведено перед Всемирной конференцией разработчиков Apple (WWDC 2017), состоявшейся несколько дней назад. В ее рамках была представлена новая версия ОС iOS 11, в которой помощница Siri претерпела значительные изменения. После релиза iOS 11, который состоится осенью, результаты подобного исследования могут быть совсем другими.