光復後的60年代，發動西安事變的張學良夫婦被蔣介石總統囚禁於此，到了1984年重新修建為禪園，以張學良少帥為題，改成景觀餐廳「少帥禪園」。