如何衡量对话型人工智能聊天机器人的成功

【51CTO.com快译】组织应该致力让数据分析成为聊天机器人开发过程的一部分，并根据用户的需求改进功能，特别是在医疗保健领域。

在去年，当聊天机器人开发商Quovantis Technologies公司在为一家医疗保健用户构建对话式人工智能聊天机器人时，认为难以满足其用户的需求。该公司通常开发的是2级人工智能机器人(对话型人工智能最高为5级)。但是这家用户希望构建一个场景/协商型人工智能驱动的聊天机器人。

人们关心的是，聊天机器人如何理解最终用户的问题?可以构建哪些功能来使其更加人性化?它能成功地取代人类的关怀和同情吗?它会有同样的同情和关心的情绪吗?

即使Quovantis Technologies公司成功完成了所有工作，那么如何知道对话式人工智能聊天机器人是否按照设计的方式工作?如何定义计划的“成功”?

当《福布斯》杂志发布了一篇有关聊天机器人由于笨拙的对话和有限的学习能力而导致客户体验不佳的文章时，这种忧虑变成了现实。

Quovantis Technologies公司产品总监Sumeet Mehta为此指出，“开发的人工智能聊天机器人的功能并不能达到客户要求，这让人沮丧。在我使用Skyscanner聊天机器人时，它经常误解我的请求。更让人恼火的是，使用聊天机器人的客户似乎对这个问题不屑一顾。”

问题出现在那些只看到数据分析在聊天机器人的重要性的组织或管理层身上。而如何了解用户的行为，是什么让客户失望和高兴，这些事项超出了他们的工作范围。由于有了这种心态，聊天机器人的开发和应用通常会面临失败的情况。

有没有解决的办法?

确实有解决办法，因为人类将掌握聊天机器人的未来。为了使聊天机器人对用户更加友好，不仅需要使其软件方面(工程设计、用户体验、安全性等)更加强大，还应该努力使数据分析成为开发过程的一部分，即必须不断监控聊天机器人对话的有效性，并根据用户的需求改进功能。

如何衡量聊天机器人的效率?

构建良好的对话型人工智能聊天机器人是一项艰巨的任务。即使在将其作为一项服务推出之后，也不能确定它是否成功。这就是衡量与最终用户的每次交互是至关重要的原因。

有一些特定的指标可以跟踪，以查看聊天机器人是否获得成功。为此需要提出以下问题：

• 聊天机器人是否能够处理用户查询，并给出满意的答案?
• 聊天机器人是否能够理解用户的意图?
• 与聊天机器人对话的平均会话时长是多少?
• 用户最常查询的问题是什么?
• 最常见的对话路径是什么?
• 聊天机器人在每天/每周/每月中接收/发送多少条消息?
• 聊天机器人有多少次无法回答提出的问题?
• 聊天机器人是否能够成功将对话移交给人类?
• 聊天机器人是否检测到用户的高风险意图?
• 聊天机器人在给定时间处理多少活跃用户/经常性用户?
• 对聊天机器人的客户评价是什么?

根据聊天机器人的类型，还可以定义许多其他指标。

为了衡量这些指标，现在市场上推出几种聊天机器人分析工具。以其中三个聊天机器人为例，它们都有一些优点和缺点。

1.Botanalytics

如果组织正在寻找一种可以概述用户生命周期的工具，那么Botanalytics非常适合。这是一个识别用户从接触产品到离开产品整个过程的很好的工具。可以深入研究每个对话(每个对话都可以使用脚本)，并查看聊天机器人未能响应的地方。

组织可以设置各种目标，并将聊天分类为对话路径。这是一项很好的功能，因为它可以帮助组织检查哪些对话达到了目标，哪些没有达到目标。

例如，如果组织的目标是让用户通过聊天中提供的链接下载其移动应用程序，则这个工具将向其显示完成该目标的会话数量。

组织还可以设置对话路径，并检查聊天机器人成功处理了多少对话。

2.Grafana

Grafana并不是聊天机器人分析工具。与其相反，它是一个开放源代码平台，可以用来监视应用程序、网站，甚至自定义数据源。用户可以将其与聊天机器人平台集成，将其作为聊天机器人分析工具。

使用Grafana的优点之一是很容易进行自定义，可以调整其仪表板以适应其需求。

如果组织采用一个聊天机器人，其中有很多数据需要理解、分析和剖析，那么必须探索Grafana。并且它是高度可定制的免费软件。组织可以根据评估人员和利益相关者的需要创建仪表板、添加面板、更改可视化效果。

3.Chatbase

Chatbase是一个基于云计算的免费工具，可让组织将聊天机器人集成到分析平台中。 Chatbase的最佳功能之一是可以帮助组织分析和优化聊天机器人。

在分析功能方面，Chatbase具有组织可以想象到的所有的功能：会话流、创建漏斗、未处理消息的分组、聊天记录等等。仪表板的用户界面(UI)与Google Analytics非常相似。因此， Google Analytics用户会发现它更容易使用。

[[385793]]

在优化部分，Chatbase通过跟踪用户的行为以及对用户有效(或无效)的方式提供洞察力，以了解用户。当组织希望针对特定的受众，并且希望根据分析工具的特定输入改进其消息和促销时，这尤其有用。

结论

在构建聊天机器人时，包括分析在内的策略通常被忽略，而这被认为是一种容易规避的额外责任。但是，衡量聊天机器人的性能指标必须包含在开发策略中，因为这是组织定义聊天机器人是否按其想象的那样工作的唯一方法。

希望组织可以集成这些工具，并使用分析为最终用户增强聊天机器人的体验，并找到适合其需求的最佳工具。

原文How To Measure the Success of a Conversational AI Chatbot，作者：Sumeet Mehta

【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】