AI 技术 第2页

训练集与测试集即使没有重复行，也可能发生信息泄漏。如果先用全部数据计算均值、填补规则或筛选特征，再拆分训练与测试，测试数据已经参与了模型准备过程。

两种嵌入模型都输出相同数量的数字，不代表这些向量可以直接放在一起比较。向量长度只是结构条件，查询与文档还需要处于兼容的表示空间。

多分类任务除了看每类表现，还常汇总成一个分数。macro给每个类别同样权重，weighted按各类真实样本数加权，二者回答的问题不同，不能省略名称只报一个“平均分”。

一次调用没有得到预期正文，可能发生在网络、接口参数或生成结果层。把这些情况统统写成“模型不好用”，会让重试与排查失去方向。

正确资料进入候选列表之后，排在第一项还是第五项也会影响阅读体验。平均倒数排名MRR关注每个问题的第一份相关结果出现在哪里，适合补充观察检索排序。

分类模型输出0.8，并不自动意味着同类预测有八成正确。概率校准检查的是：一组被赋予相近预测概率的样本，其实际正例比例是否与这些概率相符。

模型输出一个分数或概率后，还需要规则决定是否判为正例。调整这个决策阈值会改变标签结果，但不等于重新训练模型，也不会自动改善概率本身的校准。

用历史记录预测未来时，随机拆分数据可能让模型在训练中见到比测试时点更晚的信息。验证方式应该尽量还原真实使用时“先有历史，再预测后续”的顺序。

向量检索里，点积和余弦相似度经常一起出现。余弦相似度会按向量长度归一化；当两个向量都已具有单位长度时，它才与点积一致。

如果要评估模型面对新用户的表现，只随机拆分记录可能不够。同一用户的多条记录出现在训练和测试两边时，测到的可能包含对熟悉用户的识别能力。