照护科技测试:准确率之外还要看什么
测试口径

一个平均准确率无法描述产品在不同房间、动作和人员条件下的表现,也无法说明告警之后是否有人响应。

日本政策资料所说的“介護テクノロジー”,包括照护机器人、传感器、软件和记录工具。判断这类技术是否可用,不能只看一个准确率。

样本、场景、设备版本、无法判断和人工响应都应进入同一份验证记录。

先看分母

“95%”只有在条件完整时才有意义

需要知道测试了多少次、由谁完成、在哪类房间、包含哪些动作,是否保留失败与无法判断样本。把健康成年人在实验室完成的标准动作当作高龄使用者在真实机构中的表现,会造成错误期待。

四类指标缺一不可

识别结果只是端到端系统的一部分

  • 灵敏度:目标事件中有多少被识别,并按场景分别报告。
  • 特异度:正常活动中有多少没有被错误报警。
  • 可用率:设备、网络、算法和通知通道实际可工作的时间。
  • 响应结果:提醒是否送达、被确认,并最终完成处理。
一份可用的现场方案

按版本、空间和任务留下可复查证据

先写清目标使用声明,再建立正常动作、近失事件、模拟异常、多人活动、网络中断和设备故障样本。任何固件、模型或安装变化都要记录,并对代表性场景复测。测试结论只适用于明示的条件,不能被扩大成对所有家庭和机构的承诺。

版本管理

测试结果必须能追溯到当时的系统

硬件型号、安装高度、固件、算法模型、阈值和通知应用版本都应进入报告。云端模型悄然更新后,旧报告不能自动证明新版本仍有同样表现。重大更新至少应复测高风险场景和过去最常见的失败。

样本量较小时,应同时给出原始分子、分母和区间,不把偶然结果包装成精确能力。无法判断的样本也要保留,因为它说明系统何时需要人工接管。

辈佑怎么看测试报告

辈佑阅读测试报告时,不会只看一个准确率。样本是谁、在哪个房间、如何标注、误报怎样计算、断网时发生什么、哪个版本参与测试,这些条件共同决定结果能否用于真实家庭。

参考资料