被老夫人带去亲自抚养，后来老夫人过世，大儿子便直接跟在了其父亲身边。

因此，楚彬从小到大便与她不甚亲近，只是偶尔过来请安问好。

老候爷倒是把儿子教育的很优秀，不然也不会凭着自己的本事，年纪轻轻便官居刑部侍郎。