او پس از اصلاحات ارضی در سال ۱۳۴۰ برای اعتراض بخاطر از دست دادن املاکش، دست از باغ داری برداشت تا اینکه همه درختان زمین باقی مانده او خشک شدند. او به همه شاخه‌های درخت‌های میوه اش سنگ آویزان کرد و از آنها چون میوه حقیقی مراقبت می‌کرد. درویش خان اسفندیارپور در سن ۸۳ سالگی در ۱۸ فروردین ۱۳۸۶ درگذشت و پیکرش در این باغ دفن شد.