袁家倜没有见过祖父,但她多少也有所耳闻:“父亲很害怕祖父,他们以前每天要给祖父请安,每天几乎都是公式一样的问答,有时惹恼祖父,甚至会被用皮鞭和木棍抽打。”袁世凯偶尔会在儿子请安时,让他们陪同吃饭。据说一次,二儿子袁克文吃得很饱,袁世凯递给他一个热馒头,他不敢说不吃,偷偷将馒头塞进袖筒,竟烫掉了一层皮。
袁家倜说,袁世凯虽然对儿子们很严厉,但对女儿们却比较“娇纵”。“祖父有着‘女儿为重’的思想,家里的男孩都有小名,但女儿他都不允许起。他认为女儿是别人的人,同时也是他攀亲家的工具。袁家的子女都是包办婚姻,几乎全都与当时的满清王爷和军阀后代结了亲。”
袁家倜的母亲是天津最有名望的大盐商何仲瑾的女儿,母亲家里在天津光出租的瓦房就有好几千间,当时两家联姻,让很多人羡慕不已。然而谈起自己的父母姐妹,袁家倜不堪回首。她的父亲毕业于天津新华书院,字写得相当有水平,古硬质朴,自成风格。然而作为大总统的儿子,袁克端从小养成了吃喝挥霍的习性。