Skip to content

rv1126 混合量化后激活层消失了 #63

@zj445680666

Description

@zj445680666

问题1:rv1126使用混合量化后,激活层没有了。这是混合量化后的,
ba757317432ff9fb86e03e8e984f979b。这时混合量化前的。
ffb02521b209f940cf49f7f11286d3eb

问题2:使用常规量化后,有些split层的精度会变得异常的低,如果对这些精度低的层使用混合量化就会出现问题1的情况。精度分析见下图,
d00040715974ebc84572e47f27bad430
感谢帮忙解答下

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions