Skip to content

关于参数合并时K值选择的疑问 #8

@henryli2002

Description

@henryli2002

作者好,关于论文 3.3.2 节中的参数合并机制,在公式 6 中,权重的更新被定义为 Top-K 个文档的 LoRA 矩阵的直接线性累加,并添加一个缩放因子,该计算过程中似乎没有针对检索数量 K做归一化等操作,请问有试过不同的K值会对结果产生什么影响吗?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions