关于书中DDPG算法的疑问

在运行书中DDPG的参考代码时，观察到随着训练的进行，actorloss 的值在不断的上升，criticloss的值也是上下飘忽不定
actorloss 的定义不是-q值吗？现在这个值越来越大不就意味着动作的q值越来越小吗？这不是与我们想最大化动作的q值的目的相反吗？
所以评价这个算法的好坏最终是要看他的奖励是否上升吗？