این کاخ در محل تقاطع خیابان امام خمینی و خیابان ولیعصر  واقع شده است. بنای این کاخ به دستور رضا شاه پهلوی و به دست معماران معروف آن زمان ساخته شده است. گفته می‌شود که نقشه اصلی این کاخ توسط خود رضا شاه طرح شده بود اما معمارانی که دست اندر کار ساخت آن بودند خیلی زود از کار اخراج شدند و ادامه کار به دست لئون تادوسیان معمار ایرانی-ارمنی معروف آن زمان داده شد و به سرانجام رسید.زمین این بنا متعلق به شاهزادگان قاجاری و از جمله خاندان فرمانفرماییان بود که با به قدرت رسیدن رضا شاه مصادره شد. گنبد زیبای این بنا برگرفته از گنبد مسجد شیخ لطف الله اصفهان است که به وسیله استاد حسین لر زاده کاشی کاری شده است. ساختمان کاخ مرمر در سال ۱۳۱۶ به پایان رسید و در ساختن آن اساتید معماری و هنرهای تزیینی سنتی مانند استاد محمد کاظم صنیع خاتم و حسین طاهر زاده بهزاد مشارکت داشتند.
مساحت ساختمان آن ۲۸۷۰ متر مربع است و در زمینی به وسعت ۳۵۴۶۲ متر مربع ساخته شده است.
این کاخ در ابتدا به عنوان محل زندگی و کار رضا شاه مورد استفاده قرار گرفت و تا پیش از تدوین قانون خزانه ملی، جواهرات سلطنتی از کاخ گلستان به این کاخ منتقل شده و در زیر زمین آن نگهداری می شد.
در دوره محمد رضا شاه، از این کاخ به عنوان دفتر رسمی شاه و محل برگزاری ملاقات‌ها و شرفیابی‌ها استفاده می شد. مراسم ازدواج محمد رضا شاه با فوزیه و نامزدی او با فرح پهلوی در این کاخ برگزار شده است. با وقوع حادثه ترور شاه در محوطه این کاخ و انتقال دفتر کار شاه به کاخ صاحبقرانیه، این کاخ در سال ۱۳۵۵ به موزه تبدیل شد و تا سال ۵۷ با عنوان موزه پهلوی قابل بازدید برای عموم مردم بود. از جمله موارد به نمایش آمده در این موزه، لباس افسری و کلاه گلوله خورده شاه در واقعه ترور ۱۵ بهمن ۱۳۲۷ بود.
پس از انقلاب، موزه تعطیل شد و از این کاخ مدتی به عنوان مقر کمیته انقلاب اسلامی استفاده میشد. پس از مدتی این کاخ متروک ماند تا در اواسط دهه ۱۳۷۰ خورشیدی، مجمع تشخیص مصلحت نظام به این کاخ نقل مکان کرد. امروزه از این بنا در مکاتبات دولتی به عنوان ساختمان قدس یاد می شود. بخش هایی از کاخ مرمر در سال ۱۳۸۷ مرمت و بازسازی شد.