球客岛官网(中国)


别急着剔除:检测数据异常值的统计检验与取舍规则

admin 17 2026-11-08 09:27:08 编辑

一组平行测定报出四个数据,其中三个聚在一起,一个明显飘远。删掉它,平均值立刻好看;留着它,相对偏差超限整批重做。很多实验室的真实做法是看一眼就删,原始记录上却找不到任何理由。检测数据的异常值取舍之所以敏感,是因为它直接改变报告结果,删与不删都必须有依据、可复核。

异常值处理要分清两件事:结果超标是 OOS 层面的调查问题,随时间漂移是 OOT 层面的趋势问题,而同一组重复测定数据内部的离群值,才是本文讨论的取舍问题。三者混在一起,是数据处理混乱的常见根源。

第一步 先查因,再谈统计

统计检验只是查因无果后的辅助手段,顺序不能颠倒。拿到可疑数据,先按三类来源排查。

可疑情形典型线索处理方向
操作失误类滴定过量、进样失误、读数错误、器皿用错有据可查即作废该次测定,重新取样测定
样品与仪器类样品不均、基质干扰、仪器波动、参数漂移排查确认后针对性处理,必要时整批复测
统计波动类过程无误,仅数值偏离组内其他结果进入统计检验程序决定保留或剔除

凡能定位到具体失误或故障的,直接按原因处理并在记录中写明,不进入统计取舍。只有在过程复核确认无失误、无异常的前提下,才允许用统计方法判断离群值,这一顺序在 GB/T 4883 的思路上是一致的:先有对过程的核查,再谈统计判断。

第二步 统计检验:两种常用方法怎么选

小样本平行测定中最常用的是 Q 检验法与格拉布斯法,两者思路相近,适用场景有别。

方法适用测定次数基本思路使用要点
Q 检验法3 至 10 次极差与邻差之比计算简单,适合日常小样本
格拉布斯法3 次以上偏离均值的标准差倍数对单侧最大或最小值检验,适合较正式判定

无论采用哪种方法,都要事先在作业文件中固定三件事:检验方法与置信水平(常取 0.90 或 0.95)、临界值查表来源、一次只检验一个可疑值的规则。算得的统计量大于临界值方可考虑剔除,小于临界值必须保留。剔除后用剩余数据重新计算平均值与标准差,再对新的可疑值重复检验,逐个进行,不允许一把圈掉多个。

第三步 取舍决策的四步流程

核实

回看原始记录:称量、定容、仪器参数、环境条件是否正常,转录是否有误。很多可疑值在核实阶段就被证明是抄写问题,无需动用统计。

查因

与操作人员确认过程细节,必要时核查同批质控样、仪器状态记录与前后批次数据。查因结论写入记录,不能只写一句数据异常。

检验

查因无果且数据近似正态时,按文件规定的方法计算统计量并查临界值表,保留计算过程。检验结果无论剔除与否都要留痕。

决定

统计显著的离群值可剔除并重新计算;不显著的一律保留,平行测定超差的按方法规定处理,例如加测一次或整批重做,而不是反复检验直到删掉为止。

剔除不是终点:记录与复核

被剔除的数据不能从记录上消失。完整的异常值处置记录应包含:原始数据与可疑值标注、查因过程与结论、检验方法与统计量、临界值与置信水平、取舍结论、复核人签字。数据审核人复核时重点看的正是这条链:删有删的理由,留有留的说法。若剔除发生在电子记录系统中,系统应保留原始数据与操作痕迹,便于事后追溯谁在何时基于什么依据做的取舍。

常见问题

三个数据删掉一个后另外两个还超差怎么办?

这说明问题大概率不在单个数据,而在方法状态或样品本身,应停止继续取舍,转入原因调查,必要时整批重做,并把调查过程记录在案。

检验方法能自己临时选吗?

不建议。用哪种方法、取什么置信水平,应在作业文件中事先规定,临时挑选容易带来偏向性,检查时也难以解释一致性。

非正态数据能用格拉布斯法吗?

格拉布斯法要求数据近似正态。明显偏态或计数型数据应改用适合的检验方法或在文件中另行规定,不能套用。

异常值取舍和 OOS 调查冲突吗?

不冲突。OOS 针对结果超出标准限度的调查处置;异常值取舍针对组内数据离散度的统计判断。若离群值剔除后仍涉超标结论,应按 OOS 程序另行调查。

剔除比例有上限吗?

合理做法是限定单组测定中可剔除的数量上限并在文件中写明,剔除比例异常高的批次本身就说明过程不稳定,应调查原因而不是继续删数据。

让每一个被删掉的数据都留下可追溯的理由,检测数据才经得起复核与检查。球客岛官网(中国)智研云的数据管理与审计能力支持原始数据留痕、修改可追溯,帮助实验室把异常值处理从口头判断变成有据可查的规范动作。

上一篇: 如何顺利获得科研数据大平台提升科研组织的数据管理效率与科研成果的保护
相关文章