退藏院由無因宗因禪師興建，院內的庭園由當時有畫聖之稱的狩野元信負責設計，花卉綠樹、深山幽谷、蓬萊小島，景致布局如畫似詩，因此在昭和6年更被文部省列為重要文化遺產。