Mandada edificar sobre o antigo baluarte seiscentista de Nossa Senhora da Conceição pelos Duques de Palmela, esta casa é uma das peças mais destacadas da arquitetura de veraneio em Cascais. O projeto foi elaborado, entre 1870 e 1871, pelo arquiteto inglês Thomas Henry Wyatt que, certamente de acordo com os encomendadores, optou por uma estética revivalista, de feição neogótica, que lhe valeu o epíteto de "Abadia". Diversos recursos concretizaram essa intenção: o uso da pedra que cobre todos os alçados e debrua os ângulos e os vãos; as sóbrias molduras que separam os andares; os inclinados telhados que modelam os diversos corpos, acrescentando, à sua aparente assimetria, a diversidade das suas figuras compositivas; a austeridade do portal com molduragem neogótica; e a verticalidade do conjunto, assumida pelas mansardas e pelos vãos retangulares ao alto que proclamam um expressivo sentimento de interioridade.
Na década de 1880, o edifício seria intervencionado pelo arquiteto José António Gaspar, que lhe acrescentou dois corpos facetados e dois prismáticos ao alçado poente, com o objetivo de criar um espaço destinado a capela. A deficiência da obra levou, contudo, os duques de Palmela a encarregar o arquiteto José Luís Monteiro de renovar esta ala, entre 1890 e 1895, subindo-se um piso nos corpos adossados ao edifício e eliminando-se as coberturas dos dois prismas seguintes.

A Norte da casa desenvolvia-se um parque arborizado, com tanque e lagos, que foi cortado pela construção do caminho-de-ferro e é hoje de acesso público: o Parque Palmela.