Этот архитектурный ансамбль целиком создан из натурального камня. Фасады и интерьеры оформлены и облицованы различными сортами мрамора. Отсюда и произошло название. Дворец был создан по заказу Екатерины II для ее фаворита Григория Орлова. Императрица преподнесла шикарный подарок в знак благодарности за деятельное участие в событиях 1762 года, в результате которых она оказалась полноправной владычицей престола. Возлюбленный Екатерины не остался в долгу, он подарил ей огромный персидский изумруд, ценность которого почти равнялась стоимости дворца. По ее повелению над входом во дворец сделана надпись, адресованная Орлову, – "Здание благодарности". Начавшееся в 1768 году строительство продолжалось так долго, 17 лет, что граф Орлов умер до завершения работ, не успев справить в нем новоселье.