作者好,关于论文 3.3.2 节中的参数合并机制,在公式 6 中,权重的更新被定义为 Top-K 个文档的 LoRA 矩阵的直接线性累加,并添加一个缩放因子,该计算过程中似乎没有针对检索数量 K做归一化等操作,请问有试过不同的K值会对结果产生什么影响吗?
作者好,关于论文 3.3.2 节中的参数合并机制,在公式 6 中,权重的更新被定义为 Top-K 个文档的 LoRA 矩阵的直接线性累加,并添加一个缩放因子,该计算过程中似乎没有针对检索数量 K做归一化等操作,请问有试过不同的K值会对结果产生什么影响吗?