优化参数算子的精度?
我试图优化神经网络的学习率,发现优化算子的精度远远小于参数本身的精度。参数说明取值范围为4.9E-324 ~ 1。如果我将其放入优化参数中,它将只生成从0.000到0.001的参数,这可能不足以满足此参数。我认为精确度是有限的,这是很不幸的。问题是,这是一个bug还是我做错了什么?请查收附件的演示流程。
标记:
0