数据处理共60篇

把一组数据分成固定大小的小批次时，最后一批经常不足指定数量。代码应明确是否允许这个情况，而不是只处理整除部分，悄悄遗漏末尾数据。

从命令行把数值传给jq时，使用arg会得到字符串，即使内容看起来是数字。需要JSON数值、布尔或对象时，应理解argjson的解析行为，并按业务要求选择类型。

JSON适合交换简单结构化数据，但Python对象与JSON文本不是一回事。读写时区分这两层，再检查字段，错误会更容易定位。

列表去重之前，先回答两个问题：是否保留第一次出现的顺序，以及元素是否可以作为字典键。选择方法取决于这两个条件。

JSON配置报错时，可以分两步排查：先确认文本是否符合语法，再确认字段是否符合应用要求。二者混在一起容易改错方向。

defaultdict能在缺失键被索引访问时创建默认值。于是一个看似读取的表达式，也可能改变容器内容；如果只想查询是否存在，需要选对访问方式。

jq的双斜线运算符会对false和null等情况使用右侧结果。如果配置中的false表示用户明确关闭功能，直接补默认值可能把这项选择覆盖掉。

一次提交多份材料后，结果合并比提交请求更容易出错。每项任务应有稳定标识，不能只依赖显示顺序，把第一个答案默认贴回第一篇文档。

模型输出一个分数或概率后，还需要规则决定是否判为正例。调整这个决策阈值会改变标签结果，但不等于重新训练模型，也不会自动改善概率本身的校准。

用历史记录预测未来时，随机拆分数据可能让模型在训练中见到比测试时点更晚的信息。验证方式应该尽量还原真实使用时“先有历史，再预测后续”的顺序。