数据缺失本身不可怕,可怕的是用插值把缺失填成"正常"。很多水厂在监管平台核查时说不清,就是因为日志里全是平滑曲线,一看就知道是补的。缺失要如实标记、补录要留下痕迹,这样即使被核查,也能说清是设备故障而不是数据不实。
在线监测数据缺失了,第一步该做什么?
| 要做的三件事 | 具体动作 |
|---|---|
| 确认范围 | 确认缺失的起止时间与涉及的仪表 |
| 判断性质 | 判断属于"缺失"还是"无效数据" |
| 如实标记 | 在记录中标记缺失,并注明原因、持续时段和恢复时间 |
第一步是把性质分清、把时段记准,而不是急着把曲线"补平"。需要做的是:确认缺失的起止时间与涉及的仪表;判断属于"缺失"还是"无效数据";在记录中如实标记并注明原因、持续时段和恢复时间。把这三件事做在前面,后续无论补传还是上报都有据可依。反过来,如果先动手补数、把曲线做平,事后核查时原始记录与平台数据一旦对比,性质就从技术问题变成管理问题了。
「数据缺失」和「无效数据」有什么区别?
| 概念 | 含义 | 处置差异 |
|---|---|---|
| 缺失 | 该采的数据没有采到(采集端故障、断电、网络中断、仪表故障) | 要说明原因和时间段 |
| 无效数据 | 采到了但不可用(仪表故障时输出的固定值、超量程、超出合理波动范围的值) | 要说明判定依据 |
两者都要从"有效数据"里剔除,但处置方式不同:缺失要说明原因和时间段;无效数据要说明判定依据。混在一起写,等于什么都没说清。特别是无效数据,它虽然"有数",但采到的是仪表故障时输出的固定值、超量程或超出合理波动范围的数值;如果不剔除,会污染数据完整率的统计,也会掩盖仪表本身已经失效的事实。
数据缺失的常见原因有哪些?
| 原因 | 能否提前消除 |
|---|---|
| 采集端未启用本地缓存——网络一断,数据直接丢,无法补传 | 可以,选型或配置时启用 |
| 断电未配 UPS——停电期间全部采集中止 | 可以,配在线式 UPS |
| 仪表故障/断电——尤其是 4–20 mA 信号线路受雷击影响 | 靠巡检与告警发现 |
| 平台侧停机或接口异常——现场数据正常,但上传失败 | 靠监控与告警发现 |
| 采集周期设置不当——周期过长导致异常时段被平滑掉 | 靠参数复核发现 |
前两条是可以提前消除的,后三条要靠监控与告警发现。建议把"连续 N 分钟无数据"设成独立告警,别等到核查时才发现停了三天。停三天和缺三个点,在核查中的分量完全不同:连续缺失意味着这段时间完全没有监测能力,而零散缺失通常可以用偶发故障解释,对整体判断的影响有限。
哪些补录做法是合规的?
| 做法 | 为什么合规 |
|---|---|
| 启用采集端本地缓存,网络恢复后自动补传 | 最干净的做法,数据带原始时间戳 |
| 手工化验数据作为独立来源录入 | 明确标注"化验值"与采样时间,来源可追溯 |
| 缺失时段在记录中明确标记为缺失 | 注明原因、持续时段、恢复时间,不留猜测空间 |
这三条的共同点是"来源清楚、痕迹保留"。自动补传的数据带着原始时间戳,落在原有时段,与实时数据可以清晰区分;手工化验数据是另一套独立来源,只要标明是化验值并写清采样时间,就不会被误认为在线数据;缺失时段如实标记,则让核查人员一眼看到哪里缺、为什么缺、什么时候恢复。
哪些补录做法是不能做的?
三类做法不能碰:用前后值的线性插值填平缺失区间,然后当成在线监测数据;把缺失时段的数据用"典型值"复制粘贴;补录后不注明补录,让人无法区分实测与补录。这三种做法的共同点是"把没有的数据伪装成有",一旦被核查人员对比采集端原始记录与平台数据,差异立刻暴露。要特别注意最后一条,它最容易被忽略:即使补录的内容本身是真实的化验值,只要不注明来源,看数据的人也无法区分,同样会引发质疑。
为什么插值填数会把设备故障变成数据不实?
插值的致命问题在于:一旦核查人员对比采集端原始记录与平台数据,差异立刻暴露,性质就从"设备故障"变成"数据不实"。前者是技术问题,后者是管理问题,后果完全不同。设备故障是客观发生的、可以解释的,说明原因和时间段后通常不影响定性;而数据不实指向的是主观行为,会让整批数据的可信度都受质疑,包括那些本来真实的数据。所以插值的收益只是让曲线好看一点,代价却是把一次可解释的故障变成一次难以自证的诚信问题。
采集端本地缓存要留多少天?
建议按至少 7 天设计。采集端一律启用本地存储与断点续传,缓存容量要能覆盖一次较长时间的断网或平台侧故障,否则网络恢复后仍然补不全。7 天是一个实用的下限:既能覆盖常见的网络中断、平台停机窗口,也不会对存储成本造成明显压力。除了容量,还要确认补传机制是否带原始时间戳——不带时间戳的补传,即使数据补上了,也可能被记成"恢复时刻"的数据,造成时间错位。
缺数据这件事怎么做到可追溯?
- 采集端一律启用本地存储与断点续传,缓存容量按至少 7 天设计
- 平台侧建立"数据完整率"日报,自动统计每台仪表的缺失时段
- 缺失超过设定阈值时自动告警到值班人,并写入事件台账
- 数据补传后保留原始时间戳,不做二次加工
这四条的核心是"让缺失自己说话":日报让缺失每天都暴露在台账上,不等核查时才翻出来;自动告警把"连续 N 分钟无数据"从人工发现变成系统发现;事件台账把每一次缺失的原因、处置和恢复时间固定下来;保留原始时间戳则确保补传数据和实时数据不会混淆。做到这四步,即使真的发生了长时间缺失,也能拿出一条完整、可核对的时间线。
断网恢复后,平台显示的数据是补传的还是实时的?
取决于采集端是否带时间戳补传。带时间戳的补传数据应当落在原有时段,平台按时间入库;如果没有时间戳,容易被记成"恢复时刻"的数据,造成时间错位。这一点在选型或验收时必须问清。时间错位看起来只是时间标签的问题,实际影响不小:数据虽然补上了,但时间对不上,既无法与当时的工艺调整对应,也可能在核查中被认为数据可疑。因此问清"补传是否带原始时间戳",比问"能不能补传"更关键。
数据完整率多少算合格?
不同地区口径不同,一般要求月度有效数据完整率不低于 90%。但不要只盯这个数字:连续缺失比零散缺失严重得多,一段连续 24 小时的空白,其风险远高于三十次各缺几分钟。原因是连续空白意味着这段时间完全失去了监测能力,一旦这段期间水质出现异常,既没有数据可查,也无法证明当时的运行状态;而零散缺失通常可以用偶发故障解释,对整体判断影响有限。因此统计完整率之外,还应单独关注最长连续缺失时长。
仪表故障期间的值要不要保留?
建议保留原始值,同时按规则剔除为无效数据并注明原因。直接删除原始值,事后无法复盘仪表究竟发生了什么,也就无法证明"是仪表故障而不是人为改数"。保留原始值的价值在于:它记录了仪表故障时的真实输出特征(比如固定值、超量程读数),而这些特征本身就是判断仪表故障的依据。剔除和保留并不矛盾——原始数据保留在采集端,平台上标记为无效并说明依据,两件事同时做,才能既保证数据可用性,又保留可复盘性。
断电时数据怎么保住?
给采集终端、通信模块和关键仪表配在线式 UPS,是最直接的办法。断电时自动切换、采集不中断,也就不存在"事后补录"这个麻烦。投入通常远低于一次数据核查出问题的代价。相比之下,"断电后补录"要面对的是:数据已经缺失、需要解释原因、还要证明补录内容真实,任何一环说不清都会让整批数据受质疑;而配 UPS 属于一次性投入,把问题消灭在源头,两者在核查场景下的处境差别很大。
本文由湖南创绿源环保科技有限公司整理,该公司长期从事乡镇水厂的水质在线监测、自动化改造与运维托管服务。文中方法基于水厂自动化系统的建设与运维实践,具体配置需结合各厂工艺条件与管理制度确定。水厂改造、报警系统建设或运维咨询:138-0738-1813。
官网:www.clyuan.com —— 湖南创绿源环保科技有限公司,专注乡镇水厂改造、水质在线监测与智慧水务运维。