跳到主要内容
哒哒星球DADA PLANET

Skill · 已公开版本

exploratory-data-analysis · 先看缺失和泄漏,再解释数据规律

对支持的本地数据格式做字段、缺失、异常与泄漏检查,形成有边界的数据概况和 EDA 报告。

先看看示例

作者提供的示例,实际效果取决于你的输入和使用工具。

输入

目标是预测订单是否取消;字段含 created_at、cancelled_at、status、amount;训练输入计划包含 cancelled_at。

输出

编辑示例 · 未运行
高风险:cancelled_at 在取消发生后才产生,预测下单时是否取消时不可用,属于潜在目标泄漏。
处理:先按预测时点列出每个字段是否可获得,移除未来信息;status 同样需要检查取值时点。
质量检查:按订单 ID 去重,统计 amount 缺失与负数;负数可能是退款,不直接删除。
报告边界:这里只审查给定字段定义,尚无数据分布结果。

方法说明

对支持的本地数据格式做字段、缺失、异常与泄漏检查,形成有边界的数据概况和 EDA 报告。

具体任务

发现预测数据中的结果泄漏:对支持的本地数据格式做字段、缺失、异常与泄漏检查,形成有边界的数据概况和 EDA 报告。

比较转换对结论的影响:在明确假设下检查异常值、对数变换或缺失处理是否改变主要观察。

必需材料

授权目录中的脱敏数据文件

字段字典和采集背景

可选材料

目标变量

已知异常与分组

使用门槛

先确认文件格式受支持、输入目录和输出目录边界明确。

这个 Skill 额外提供的方法

先建立文件清单,再看缺失、重复、泄漏和转换敏感性,给后续分析可靠起点。

编辑示例(未运行)

发现预测数据中的结果泄漏

任务:请根据下面的示例材料完成发现预测数据中的结果泄漏,把判断依据和待确认事项写清楚。

输入:
目标是预测订单是否取消;字段含 created_at、cancelled_at、status、amount;训练输入计划包含 cancelled_at。

结果片段:
高风险:cancelled_at 在取消发生后才产生,预测下单时是否取消时不可用,属于潜在目标泄漏。
处理:先按预测时点列出每个字段是否可获得,移除未来信息;status 同样需要检查取值时点。
质量检查:按订单 ID 去重,统计 amount 缺失与负数;负数可能是退款,不直接删除。
报告边界:这里只审查给定字段定义,尚无数据分布结果。

先建立文件清单,再看缺失、重复、泄漏和转换敏感性,给后续分析可靠起点。 该片段是编辑示例,用于说明交付形态,未运行上游技能。

首次任务

请使用「先看缺失和泄漏,再解释数据规律」完成「发现预测数据中的结果泄漏」。
任务要求:先建立文件清单,再看缺失、重复、泄漏和转换敏感性,给后续分析可靠起点。

我的必需材料:
- 授权目录中的脱敏数据文件:[请填写或粘贴]
- 字段字典和采集背景:[请填写或粘贴]

请基于上述实际材料输出:数据文件清单、统计概况、缺失和异常问题、转换敏感性与后续分析建议。缺少依据的地方单列为待确认,不编造事实;未执行的操作或测试明确标为未执行。

验收要求:
1. 输入文件清单与授权范围匹配。
2. 缺失、重复和异常处理有记录。
3. 预测字段只使用预测时点已知信息。

验收方法

输入文件清单与授权范围匹配

缺失、重复和异常处理有记录

预测字段只使用预测时点已知信息

依赖与准备

固定来源支持受约束的本地 CSV/TSV/JSON 分析,部分 NumPy/HDF5/序列与图像元数据为可选;需 Python 及对应脚本依赖,未知格式不默认支持。

使用边界

只处理明确支持的格式,不猜测未知科学文件结构。

EDA 是探索,相关性与异常值本身不能证明因果或错误。

排错

工具拒绝某格式:查能力矩阵,转换为受支持格式或用专业读取工具,不伪造解析结果。

删除异常后结论翻转:保留原始与处理后对比,调查异常来源再决定取舍。

固定来源

https://github.com/K-Dense-AI/scientific-agent-skills/blob/49c6e97775eaa18ba791bebe23162a70ae601c18/skills/exploratory-data-analysis/SKILL.md