在被免职后，覃连芳离开了桂系，不是暂时，而是永远。纵然李宗仁再怎么派人劝解都没用，他认为自己的心已经被伤过了，而伤过了的心是再也不能复原的。
他留给李宗仁的是一张纸条：随公数十年，公待我如家仆，招之即来，挥之即去。
覃连芳养过一头猎犬，从前每次从李宗仁那里拿到钱，他就会去买好吃的喂狗。有人奇怪他为什么待这条狗这么好，他就说，我这条狗不是普通的狗，它不会弯腰低头去钻狗洞，所以理应得到美食。
说到底，这是一个适合于战场而不适合于官场的人，但作为朋友，他绝对是可交之人。