实践五：清洗表格并完成数据统计
从数据盘点、规则确认到清洗、汇总和图表生成，完成一份可核对的分析表。
更新于
本页目录
一、案例说明
假设业务团队有 1—6 月六份销售明细，每份表格的列大致相同，但日期格式、地区名称和金额格式不统一，还包含重复订单、空金额和异常负数。管理层希望得到一份上半年销售分析，包括清洗后的明细、地区汇总、月度趋势和异常清单。
本案例会先盘点文件和字段，不修改数据；确认清洗与统计规则后，再合并数据、生成公式和图表，最后完成数量与金额核对。
最终目标
- 合并六个月的销售明细，同时保留来源文件和原始行号；
- 统一日期、地区和金额格式；
- 识别重复订单、空值、负数和异常日期；
- 按月份和地区统计含税销售额；
- 输出可追溯的 Excel（电子表格）分析文件，不覆盖源文件。
二、开始前的准备
1. 准备数据副本
把六份月度表格复制到“上半年销售分析”项目。关闭正在占用这些文件的其他应用，避免读取或保存失败。
如果数据来自 CSV（逗号分隔值）文件，先确认字符编码、分隔符和日期格式。文件数量较多时，先选择两份样本验证规则。
2. 准备字段说明
| 字段 | 业务含义 | 处理规则 |
|---|---|---|
| 订单号 | 每笔订单的唯一编号 | 用作主键和去重依据 |
| 订单日期 | 下单日期 | 统一为 yyyy-mm-dd |
| 地区 | 销售区域 | 统一名称，例如“华东区”改为“华东” |
| 产品线 | 产品分类 | 保留原分类，空值标记待复核 |
| 含税销售额 | 本案例统计指标 | 保留两位小数 |
| 来源文件、原始行号 | 数据追溯字段 | 合并时新增，不得删除 |
3. 确认统计口径
开始前需要回答：
- 退款和负数订单是否计入销售额；
- 订单号重复时保留哪一条；
- 空金额是按 0 处理还是标记异常；
- 汇总使用含税还是不含税金额；
- 地区和月份按订单日期还是结算日期统计。
本案例不自动处理空金额和负数，而是放入“异常清单”等待确认。
三、第一步：盘点文件和数据质量
先让 TuriX 只读检查：
请先检查当前项目中 1—6 月的销售数据，不要修改或合并文件。
只读取每个文件中名为“明细”的工作表。
请输出：
1. 文件名、工作表名、数据行数和列数；
2. 各文件的表头差异和字段类型；
3. 日期、金额、地区名称的格式差异；
4. 订单号重复、空值、负数和异常日期的数量；
5. 无法打开、缺少“明细”工作表或结构不同的文件；
6. 合并前需要我确认的规则。
请保留源文件名和样本行号，暂时不要清洗数据。
你应该看到什么
TuriX 应返回数据盘点表和质量报告。先确认实际行数、字段映射和异常数量，避免错误表头或错误工作表进入后续统计。
四、第二步：预览清洗规则
确认字段后，用少量样本预览变化：
请使用 1 月和 2 月文件各 20 行数据，预览以下清洗规则：
1. 订单号作为主键，完全相同的重复行只保留第一条；
2. 日期统一为 yyyy-mm-dd；
3. “华东区”“华东大区”统一为“华东”，其他地区先列出映射建议；
4. 金额统一为数字并保留两位小数；
5. 空金额、负数和无法识别的日期不自动修改，标记为待复核；
6. 新增“来源文件”和“原始行号”两列。
请输出清洗前后对照表、删除预览和待复核记录，等我确认后再处理全部数据。
不要在规则未确认时直接删除重复行或修正异常。地区映射和退款口径属于业务判断，应由用户确认。
五、第三步：处理全部数据
预览确认后执行完整任务：
按已确认的规则处理 1—6 月全部销售明细，输出“上半年销售分析.xlsx”。
不要修改或覆盖任何源文件。
输出文件包含：
1. “清洗后明细”：全部有效记录，保留来源文件和原始行号；
2. “地区汇总”：按地区统计各月含税销售额和上半年合计；
3. “月度趋势”：按月统计销售额、订单数和平均订单金额；
4. “异常清单”：重复、空金额、负数、异常日期和无法映射地区；
5. “处理说明”：输入文件、清洗规则、统计口径和处理时间。
汇总值使用公式，金额保留两位小数。
完成后核对输入行数、有效行数、重复数、异常数和总金额。
大文件处理时间取决于行数、公式和图表数量。项目刷新或任务执行长时间无响应时，不要连续点击；停止后先检查输出文件是否完整，再从未完成步骤继续。
六、第四步：生成图表和结论
数据确认后再制作图表，避免对错误数据重复排版：
基于“上半年销售分析.xlsx”中已经核对的汇总数据：
1. 在“月度趋势”中增加月销售额折线图；
2. 在“地区汇总”中增加各地区销售额柱状图；
3. 图表标注单位、统计时间和数据来源；
4. 在每张图下写 2—3 条只基于数据的发现；
5. 不把相关性写成原因，不猜测异常变化的业务原因。
另存为“上半年销售分析-含图表.xlsx”。
若需要管理层报告，可以继续要求把关键图表和结论生成 Word（文字处理文档）或 PPT（演示文稿），但应以已核对的表格为唯一数据来源。
七、第五步：复核异常并更新结果
人工确认异常清单后，可以继续修改：
我已核对异常清单：
- 订单 A1028 是退款，应保留负数并计入 4 月净销售额；
- 订单 B2031 与 B2032 是不同订单，不属于重复；
- 地区“上海直营”统一归入“华东”。
请保留人工处理说明，重新计算受影响的公式和图表，
另存为“上半年销售分析-已复核.xlsx”。
八、预期结果
最终结果应包含：
- 可追溯到源文件和原始行号的清洗后明细；
- 地区和月度汇总；
- 两张可直接用于汇报的图表；
- 完整异常清单和人工修正说明；
- 数据处理范围、规则、口径和核对结果。
九、交付前验收
| 检查项 | 合格标准 |
|---|---|
| 行数平衡 | 输入行数 = 有效行数 + 删除重复数 + 明确跳过数 |
| 金额平衡 | 明细合计与地区、月度汇总一致 |
| 数据格式 | 日期、金额、百分比和地区名称统一 |
| 公式 | 没有 #REF!、#DIV/0! 等错误 |
| 图表 | 标题、单位、时间范围和数据来源清楚 |
| 异常 | 原始值、异常原因和人工处理方式均有记录 |
| 源文件 | 没有被覆盖、移动或改写 |
十、遇到问题时
文件结构不一致：先输出字段映射表，不要按列位置直接拼接。
重复订单判断错误：确认主键是否还需要组合日期、客户或产品字段，保留删除预览。
公式结果不更新：检查引用范围是否包含新增行，确认金额列为数字而不是文本。
大文件处理卡住：先缩小到一个文件或一个工作表验证规则，再按月份分批处理并最终合并。