如何评估 AI 问数准不准？不要只看一次演示

“AI 问数准不准？”

这是企业最常问的问题。

但这个问题不能只靠一次演示回答。

演示里问几个准备好的问题，系统答对了，不代表可以上线。

真实业务里，用户会问模糊问题、跨表问题、权限问题、追问问题、异常归因问题。

AI 问数要进入生产环境，必须有系统性的评估方法。

第一类评估：标准问题集

企业应该先整理一批真实高频问题。

例如销售、库存、会员、投放、财务、项目进度、售后反馈等场景里，每周都会被业务团队追问的问题。

每个问题都要有期望答案、正确口径、可接受解释和权限边界。

Microsoft Fabric Data Agent 的 example queries，就是用示例问题和对应查询帮助 Agent 更稳定地生成查询。

企业也应该用类似思路，把正确问题和正确解法沉淀下来。

第二类评估：口径对照

AI 问数返回的指标，应该和现有 BI、财务报表或数据团队确认的口径对照。

如果销售额、订单量、复购率、毛利率这些核心指标都对不上，就不能只说“模型还要优化”。

更可能是语义层、指标定义或数据源选择有问题。

第三类评估：权限测试

同一个问题应该由不同角色测试。

老板、区域经理、门店店长、运营人员、财务人员看到的数据范围不同。

评估 AI 问数时，必须检查系统是否在正确权限内回答。

只看答案是否“聪明”，不看答案是否“该给这个人看”，风险很大。

第四类评估：追问能力

业务人员通常不会只问一个问题。

他会继续追问：

为什么？

按渠道拆一下。

排除大促影响再看。

只看新客户。

和去年同期比呢？

AI 问数的评估也应该覆盖多轮追问，而不是只测单轮查询。

第五类评估：版本回归

语义配置、指标口径、权限规则、模型策略都会迭代。

每次修改后，企业都应该重新运行核心问题集，确认关键答案没有退化。

这和软件测试类似。

AI 问数不是一次配置完成，而是长期运营的系统能力。

AskTable 的评估思路

AskTable 的落地可以从标准问题集开始。

先把一个业务团队最常问、最有价值、最容易验证的问题整理出来。

再围绕这些问题配置数据源、指标口径、字段语义和权限规则。

最后用问题集做验收和持续回归。

这样，企业评估的就不是“AI 看起来厉不厉害”，而是“它能不能稳定解决真实业务问题”。

参考来源

• •Microsoft Fabric：Data Agent Example Queries
• •Databricks：Create and Manage a Genie Agent