充山隐秀位于鹿顶山主峰南麓与充山东北麓之间,其原址为人余袜厂和人余百货号老板陈仲贤(一作陈仲言)于1924年1月开辟的植果场“若圃”,又名“陈家花园”。1936年出版的薛明剑等所编的《无锡指南·名胜》载:“若圃,在郑园之后山，为陈仲言所建,满植中西果树数十种,圃广数百亩,风景亦佳。

    1946年至无锡解放，该地一度被辟为农场。解放后该农场由市建设局接收，被辟为育苗场。1957年至1959年上半年，又接收市里下放干部，成立园艺场。1976年改称充山苗圃，面积扩充至200多亩。1983年被规划建设为观赏植物园格局的充山隐秀景区。

    1985年6月,充山苗圃与鼋头渚公园合并建制，占地约180亩的充山隐秀景区对游人开放。景区内当时基本建成的有位于南部的春花区、北部的夏荫区及西部冬景区的标志建筑“三友斋”等。原陈园内的历史建筑，如聂耳居住过的小阁楼、雪影山房等均得到了良好的保护。