Premier propriétaire, Louis Henri de La Tour d’Auvergne, comte d’Évreux qui le fait construire en 1720.
La marquise de Pompadour le reçoit en cadeau en 1753 du roi Louis XV.
Il devient la propriété du banquier Nicolas Beaujon, en 1773.
Louise-Marie-Bathilde d’Orléans, duchesse de Bourbon, s’y installe en 1787. Dix ans plus tard, elle est obligée de louer le rez-de-chaussée à Benoît Hovyn et sa femme qui en font un établissement « de plaisirs ».
En 1805, il devient le palais de Joachim Murat, beau-frère de Napoléon Ier.
Puis occupé par Napoléon Ier, Joséphine de Beauharnais puis, la nouvelle impératrice, Marie-Louise d’Autriche, les vainqueurs Alexandre Ier de Russie puis le duc de Wellington, puis, le duc de Berry, héritier de Louis XVIII.
En 1879, il devient officiellement la résidence des présidents de la République française.
