王守仁不傻，知道自己不过是五品官，跟阉党斗争是谢迁和沈溪这样顶级文臣需要考虑的事情，跟他没什么关系，他还想以中庸思想在朝为官，混上几年资历再说。
王守仁道：“公事着紧，望阁老见谅。”说完，他执意要走，沈溪随口挽留了一下，便听之任之了。
沈溪和谢迁都未出书房相送，只是让朱起过来，在前引路带王守仁离开沈府。