针对目前市场较常被人使用的四种服务-亚马逊Alexa、微软Cortana、 Assistant,以及苹果,市调研究公司Loop Ventures,显示Google Assistant相较下约可正确回答86%的提问内容,而苹果Siri正确度则为79%,亚马逊Alexa的正确度为61%,微软Cortana则在52%。

Loop Ventures的提问方式,是以包含在地资讯、商业消费、地点导航、资讯内容,操作指令五大类型提问内容进行测试 (自然是以英语进行发问),总计向这四种数位助理服务分别提问800个问题,藉此确认不同数位助理服务对于相同提问内容的理解是否正确,以及回答内容是否正确。

至于测试环境部分,包含Cortana、Alexa均以iOS平台上的App进行测试,而Siri则是以整合在iOS 11.4的版本为主,至于Google Assistant则是以Pixel XL所搭载版本为主,藉此确认能以手机平台上的最新版本进行测试。

此外,Loop Ventures也透过15个月前后运作表现,藉此确认不同数位助理服务精准度提昇比例。

在实际测试统计中,Google Assistant可完全理解800个提问内容,并且回答正确率达86%,而Siri则是在11个提问内容中发生理解错误情形,同时回答正确率为79%,至于Alexa回答正确率为61%,其中13个问题产生理解错误,Cortana回答正确率仅达52%,问题理解错误数量达19个。

以整体来看,四种数位助理服务大致上都能绝大多数的提问内容,但理解之后所给予回答内容的正确率则有不少差异,最主要还是与可供学习数据量多寡,以及相关训练测试有关。

而在15个月前后的正确率提昇部分,Google约提昇11%,Siri约提昇13%,而Cortana提昇比例仅有3%。至于Alexa提昇比例部分,由于Loop Ventures并未在一开始记录Alexa问答正确率,仅记录后期更新版本的正确率表现,因此无法确认实际提昇比例。



相关文章