印第安纳州圣母大学与香港科技大学合作，借由亚马逊电商真实购物资料，共同建构一组对应大规模、多任务的评测工具Shopping MMLU，可用于衡量目前诸多大型自然语言模型用于在线电商服务时的执行成效表现。

　　由于越来越多业者开始将大型自然语言用于电商服务，例如人工智能初创Perplexity AI近期宣布在其人工智能搜索服务整合电商导购功能，而Google方面很早也将人工智能与线上搜寻整合，藉此对应更多电商搜寻导购服务，因此Shopping MMLU或许将成为日后可用于衡量大型自然语言模型对应电商服务运作表现的工具。

　　而Shopping MMLU标榜以亚马逊真实购物数据打造，并且通过人工筛选数据进行训练，同时也将此衡量工具通过GitHub公开相关源代码内容，并且对外提供使用，更标榜日后将持续维护、更新，让更多研究人员或开发者使用。

　　目前Shopping MMLU主要评估大型自然语言模型对于电商平台上的商品品牌、名称、类别等缺乏前后文叙述的简短内容，或是特定领域的专有名词，另外也包含商品相关隐含知识，例如是否知晓无线蓝牙耳机无须连接线，即可透过蓝牙连接使用，以及碳纤维材质与铝合金材质差异等。

　　其他部分则包含是否能理解用户在电商平台行为，例如浏览商品信息、搜寻关键词、将商品加入购物车，或是完成购买等行为，另外也包含以不同语言进行操作、搜寻、提问等行为是否理解，藉此评估大型自然语言模型在电商服务实际应用表现。

　　藉由此衡量工具，将可让开发者、业者评估各类人工智能模型在电商相关应用时的效能表现，或是用于评估自行针对电商服务开发的人工智能模型是否能符合需求。

关键词：亚马逊

免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。