Здание Малого Николаевского дворца, первоначально носившее название Архиерейского дома, а затем Митрополичьх покоев, построено в 1775-1776 годах по проекту Казакова М.Ф. на месте прежних Архиерейских покоев, разрушенных 15 сентября 1771 года во время чумного бунта. Новое здание Архиерейского дома построено по заказу архиерея Платона, в 1775 году назначенного указом Екатерины II архиепископом Московским, а в 1787 году возведенного в сан митрополита.

Здание спроектировано архитектором Казаковым М.Ф. «глаголем» с частичным использованием старых фундаментов на участке, примыкающем к Чудову и Вознесенскому монастырям. Оно оформляет угол Чудова монастыря между Ивановской площадью и Спасской улицей, дополняя своими фасадами Ивановскую площадь, и обогащает панораму Кремля со стороны реки Москвы, открывшуюся после сноса древних подворий, находившихся южнее территории Чудова и Вознесенского монастырей.

Архитектура двухэтажного Архиерейского дома была выполнена в стиле раннего классицизма, по словам современников «в новейшем вкусе». Центральная угловая часть здания оформлена полуротондой с колонным портиком тосканского ордера и бельведером с вензелем митрополита Платона на невысоком аттике. Неглубокие ризалиты на боковых фасадах отмечены портиками из четырех пилястр того же тосканского ордера. Оба фасада разделены лопатками, между которыми находились окна, оформленные наличниками в стиле классицизма и барельефами между окон двух ярусов.

В нижнем, меньшем по высоте, этаже располагались хозяйственные помещения, а залы второго этажа образовывали классическую для того времени анфиладу. В юго-восточном торце здания располагалась домовая церковь Петра и Павла, освященная в 1787 году после принятия Платоном сана митрополита. В храме находился деревянный иконостас, выполненный по проекту Казакова М.Ф. для церкви временного Пречистенского дворца Екатерины II и перевезенный в Митрополичьи покои после разборки дворца императрицы.

В 1812 году митрополит Платон скончался, и потому с 1814 года здание пустовало. В 1817 году по указу императора Александра I здание, с 1785 года носившего название Митрополичьего дворца, перешло в Дворцовое управление и стало называться Николаевским дворцом, став резиденцией в Кремле великого князя Николая Павловича. В нем 17 апреля 1818 года родился будущий император Александр II, а 8 сентября 1826 года состоялась историческая встреча его отца, императора Николая I с Пушкиным А.С. после восстания декабристов.

В 1824 году здание надстраивается третьим деревянным этажом, обложенным кирпичом. В середине XIX века здание Малого (после строительства «Нового Большого» Кремлевского дворца по проекту Тона К.А. в 1838-1849 годах) Николаевского дворца обретает новый облик. В 1851 году по проекту Тона возводится двухэтажная каменная пристройка с башней в неорусском стиле, в которой располагался лифт. В 1874-1878 годах проходит «капитальная реставрация» по проекту Шохина Н.А.: произведено укрепление конструкций, перестроен в камне третий этаж с обработкой в стиле «казаковского» классицизма, под здание подведены новые фундаменты, создан подвальный этаж и многое другое.

В таком виде Малый Николаевский дворец, пережив в 1917 году артиллерийский обстрел Кремля большевиками, просуществовал до 1929 года, когда был снесен для постройки на его месте Военной школы им. ВЦИК по проекту Рерберга И.И.

В 2016 году при проведении работ по демонтажу 14-го корпуса Кремля на небольшой глубине были обнаружены фундаменты Малого Николаевского дворца в хорошей сохранности, что дает основание для проведения работ по реконструкции здания, так как Малый Николаевский дворец, построенный по проекту великого русского зодчего Казакова М.Ф., являлся ключевым зданием в архитектурной композиции Ивановской площади и панораме ансамбля Чудова и Вознесенского монастырей Московского Кремля.