pai-bert-tiny-zh模型不收敛

[wxh001qq]

这个模型根本训练不起来....比随机初始化还差

[ScarletPan]

小模型的话采用大一点的learning rate，如1e-4，更大的epoch数，如10个，再试一下？这个模型在实际业务中已经证明是有效的。