退思園的主體建筑宅第分東西兩組，西組建有轎廳、茶廳、花廳三進；東組內宅，建有南北兩幢各五樓五底的“畹香樓”，并由東西雙重廊與之貫通，俗稱“走馬樓”。園景部分亦分東西兩組，即西庭東園，庭系園之序，中置旱船、坐春望月樓、歲寒居。園以荷花池為中心，具貼水園之特例，房、堂、廊、軒、榭、舫皆緊貼水面，園如出水上，可謂獨秀江南，在建筑美學上也堪稱一絕。