吴铨故后，酷孩吉姆✨✔️🎀书籍散逸。铨长子用仪 ，酷孩吉姆✨✔️🎀号拙庵 ，✨✔️🎀又购书数万卷，✨✔️🎀多宋元善本；🐥次子成佐，✨✔️🎀号嬾庵，✨✔️🎀也重新搜罗，✨✔️🎀筑书楼三间，✨✔️🎀题名“乐意轩” ，✨✔️🎀列架而满 。成佐有《乐意轩书目》🌟八卷、✨《嬾庵偶存稿》🌟八卷和《读史小论》🌟二卷行于世 。用仪子泰来 ，✨✔️🎀字企晋，✨✔️🎀号竹屿 ，✨✔️🎀才情明秀，✨✔️🎀又藉祖 、✨父之余荫  ，✨✔️🎀得以常与江浙名士王昶 、✨王鸣盛辈流连往返 、✨觞咏其中，✨✔️🎀极一时之盛。十余年后 ，✨✔️🎀吴泰来于乾隆二十五年考中进士二甲三十七名，✨✔️🎀成为清代木渎镇女性二十四种B型图美国上的第一个进士。乾隆二十七年高宗南巡 ，✨✔️🎀泰来迎驾应试 ，✨✔️🎀赐内阁中书。后在京与经学大师惠栋齐名 ，✨✔️🎀被人目为“吴中七子” 。徐扬绘图时，✨✔️🎀正是吴家最为风光之时，✨✔️🎀也是遂初园气象鼎盛之时。可惜好景不长 ，✨✔️🎀不久因兄弟争产 ，✨✔️🎀吴氏不但出售图书 ，✨✔️🎀甚至连遂初园也售于他人 。叶昌炽有诗 ：“门外香溪送客帆，✨✔️🎀氛氲花药满灵岩 。池塘犹绕孤山梦 ，✨✔️🎀兄弟何尝痛不咸。”叶诗描写遂初园胜景的同时
，✨✔️🎀也对吴氏兄弟阋墙的悲剧表示了深深的遗憾。从此一代名园几易其手 ，✨✔️🎀先后归葛氏 、✨徐氏 ，✨✔️🎀园也逐渐荒废。道光贡生长洲人王汝玉有诗感叹道：“诗酒风流一瞬余，✨✔️🎀尽多群彦集簪裾 。荒园今日何人访，✨✔️🎀只我犹来说遂初 。”光绪年间，✨✔️🎀又由自浙江宁海县卸任归居的横金西塘人柳商贤购得。未几 ，✨✔️🎀柳氏身故，✨✔️🎀园遂荒废。光绪末年，✨✔️🎀叶昌炽从甘肃归，✨✔️🎀亦赁居园中数年，✨✔️🎀采访遗文 。到民国十年的《木渎小志》🌟 ，✨✔️🎀遂初园已被列为了古迹，✨✔️🎀可见其时该园早已完全废弃。值得庆幸的是 ，✨✔️🎀徐扬在绘录木渎镇市井风貌的同时，✨✔️🎀也绘录下了兴盛时期的遂初园，✨✔️🎀后人得以从图上一睹遂初园的诱人景致 。