آن زمان که فرمان ساخت «کاخ عشرت آباد» یا «عمارت کلاه فرهنگی عشرت آباد» از سوی ناصرالدین در سال 1291 هجری قمری مصادف با 1250 هجری شمسی صادر شد، تصور نمی‌شد این بنا در چنین موقعیت دور از دسترس عموم باقی بماند اما مرور زمان و وقایع مختلف باعث شد تا یکی از معدود کاخ‌های دور از دسترس عموم، این بنای عظیم باشد.
ناصرالدین شاه پس از بازگشت از سفر اول فرنگ خود دستور داد کاخی بین قصر قاجار (زندان قصر کنونی) و باغ نگارستان (وزارت ارشاد کنونی) احداث کنند و عمارتی چهار طبقه را در آن پایه ریزی نمایند. این کاخ ساخته شد و به دلیل آنکه شاه زنانش را به این مکان انتقال داد به تاریج به «کاخ عشرت آباد» تغییر نام داد.
ناصرالدین شاه شخصاً گاهی مبادرت به درختکاری در آن می‌کرد. در وسط کاخ، حوض و چشمه و فواره های متعددی وجود داشت و دور تا دور این حوض بزرگ، حدود سی خانه کوچک دو اتاقه به شکل نیم دایره ساخته شده بود و در هر کدام از این خانه ها یکی از زنان شاه ساکن بودند.
این کاخ که بیشتر به محل برگزاری مراسم عروسی و تفریحات شاه و خانواده اش اختصاص داشت به منزله حرمسرای ناصرالدین شاه قاجار بوده و بسیاری از روایت های منتشر شده و نشده در مورد این پادشاه قاجار و زنانش در این کاخ اتفاق افتاده است. در داخل این کاخ ساختمانی موسوم به «کلاه فرنگی» به صورت برج زیبای چهار طبقه و با نمایی موزون احداث شده بود که پوشش سقف طبقه چهارم از شیروانی و طبقه سوم آن دارای شاه‌نشین با آینه کاری و مقرنس بود.
این باغ برجای بود تا اینکه پس از کودتای سوم اسفند 1299 که توسط رضاخان انجام شد، سرنوشتش کلاَ دگرگون شد. این باغ محل مناسبی جهت پادگان مرکزی رضاخان بود. کاخ تبدیل به اردوگاه و پادگان شد که تا به امروز هم هست. تعدادی از مسئولان آن زمان از جمله قوام‌السلطنه که پس از کودتا دستگیر شدند، در همین مکان زندانی بودند. جالب این است که پس از سقوط کابینه سیاه، قوام‌السلطنه از همین مکان به سوی نخست‌وزیری رفت!
همچین این مجموعه، همان عمارتی است که پس از رویداد 15 خرداد 1342 به‌مدت یک ماه و هفت روز مقر زندان امام خمینی بود. عشرت آباد از سال 57 از اولین پادگان‌هایی بود که به دست مردم افتاد و اسلحه بسیاری به دست انقلابیون افتاد اما در 36 سال اخیر تغییری در کاربری‌اش ایجاد نشده و اکنون به عنوان پادگان ولیعصر شناخته می‌شود.
پس از گذشت حدود 140 سال از ساخت این عمارت باشکوه، در حال حاضر تنها آثار نیمه مخروبه ای از بنای معروف به «عشرت آباد» باقی مانده است که دیوارهای فروریخته، دربها و پنجرهای شکسته و گم شده و یادگاریهای نوشته شده بر دیوارهای آن از غبار غلیظ نقش بسته بر یادگارهای هویت بخش پایتخت حکایت دارد. این بنا در سال 1346 در لیست آثار ملی ثبت شد اما به دلیل نظامی بودن محوطه امکان بازدید و نگهداری و بازسازی وجود نداشته و آخرین مرمت صورت گرفته بر روی این بنای تاریخی در سال‌های 1353 تا 1355 صورت گرفته است.
در حال حاضر، پایه‌های عمارت به دلیل نفوذ رطوبت سست شده و پوسیدگی‌های ایجاد شده در بنا تا حدی است که عمارت عشرت‌آباد در برابر لرزه‌ای 2 ریشتری هم توان مقاومت نداشته و با کوچک‌ترین حادثه و فشاری فرو می‌ریزد. در حال حاضر از عمارت وسیع و کوشک‌های اطراف آن نیز تنها عمارت چهارطبقه عشرت‌آباد باقی مانده و استخر بزرگ و همچنین اتاق‌های اطراف به طور کامل از بین رفته است.
اکنون «عمارت کلاه فرهنگی» از پشت حصارهای این پادگان نمایان است و دسترسی مستمری توسط نهادهای مسئول و به طور خاص سازمان میراث فرهنگی وجود ندارد و در این شرایط، در دیدار رئیس شورای شهر تهران قرار شد با یاری نهادهای مسئول این ساختمان مرمت و بازسازی شود و به عنوان یک گنجینه و موزه درهای آن به روی همگان باز شود اما چنین اتفاقی رخ نداد و اکنون شاهد آغاز عملیات عمرانی ساختمان‌هایی هستیم که تجهیزات به کار گرفته شده در این عملیات عمرانی، حکایت از ساخت مجموعه‌ای عظیم دارد.
همین مسئله، نگرانی‌ها را نسبت به آینده عمارت تاریخی کلاه فرهنگی به عنوان بخشی از تاریخ پایتخت کشورمان، افزایش داده است. در عین اما راهکاری برای نجات این بنای تاریخی ارائه نشده و نهادهای مسئول نیز سکوت پیشه کرده‌اند. این سکوت نیز به واسطه پیچیدگی پرونده این محوطه نظامی-تاریخی است.
در این میان راهکاری که به نظر عملیاتی می‌آید، تلاش شهرداری تهران برای رهاسازی این مناطق به قصد شکل گیری یک باغ-موزه تاریخی ارزشمند است؛ رویکردی که پیش از این در قبال زندان قصر اجرایی شد و البته پادگان قلعه مرغی نیز وضعیت مشابهی را یافت و سخن از این تغییرات در برای زندان اوین و انتقال این زندان به خارج از تهران نیز به میان آمد.
این رویکرد به سود این مناطق نیز خواهد بود که اگر پادگان ولیعصر را به عنوان محور فرض کرد، از هر سو تا مسافت قابل توجهی، خبری از محوطه سبز وسیعی وجود ندارد و پادگان ولیعصر به واسطه اینکه از این منظر نیز تا حدودی مستعد است، ظرفیت بدن شدن به یک مجموعه تاریخی و تفریحی مناسب را دارد. البته طبیعتاً چنین رویکردی، چندان سهل الوصول نیست اما اگر اراده‌ای که در خصوص فرودگاه قلعه مرغی وجود داشت، در این حوزه نیز وجود داشته باشد، اجرای چنین طرحی دور از دسترس نیست.
