AI学习共26篇

多分类任务除了看每类表现，还常汇总成一个分数。macro给每个类别同样权重，weighted按各类真实样本数加权，二者回答的问题不同，不能省略名称只报一个“平均分”。

训练集与测试集即使没有重复行，也可能发生信息泄漏。如果先用全部数据计算均值、填补规则或筛选特征，再拆分训练与测试，测试数据已经参与了模型准备过程。

让AI筛选需要人工处理的反馈时，既可能把普通反馈误报为问题，也可能漏掉真正的问题。只看一个总体准确率，很难知道下一步应该修正哪类错误。

用历史记录预测未来时，随机拆分数据可能让模型在训练中见到比测试时点更晚的信息。验证方式应该尽量还原真实使用时“先有历史，再预测后续”的顺序。

模型输出一个分数或概率后，还需要规则决定是否判为正例。调整这个决策阈值会改变标签结果，但不等于重新训练模型，也不会自动改善概率本身的校准。

分类模型输出0.8，并不自动意味着同类预测有八成正确。概率校准检查的是：一组被赋予相近预测概率的样本，其实际正例比例是否与这些概率相符。

正确资料进入候选列表之后，排在第一项还是第五项也会影响阅读体验。平均倒数排名MRR关注每个问题的第一份相关结果出现在哪里，适合补充观察检索排序。

“从三个栏目选一个”和“给文章添加多个主题标签”是两种任务。若标签允许同时成立，只保留最高分会丢掉其余有效标签；设计输出格式之前，应先写清一条样本允许几个答案。

如果要评估模型面对新用户的表现，只随机拆分记录可能不够。同一用户的多条记录出现在训练和测试两边时，测到的可能包含对熟悉用户的识别能力。

向量检索里，点积和余弦相似度经常一起出现。余弦相似度会按向量长度归一化；当两个向量都已具有单位长度时，它才与点积一致。