Este palacete, que Jorge O'Neill mandou construir no início do século XX, constitui um exemplo de ecletismo, unificador de várias linguagens arquitetónicas, que lhe conferem um enorme sentido de monumentalidade. Tendo por base desenhos de Luigi Manini viria a ser efetivamente projetado, c. de 1900, pelo pintor Francisco Vilaça, imprimindo-lhe um carácter cenográfico que se enquadra na paisagem e concentra nas fachadas-cenário todo o esforço decorativo. A propriedade viria, depois, a ser adquirida pelo Conde de Castro Guimarães, que, por testamento, a doou ao Município de Cascais para a instalação de um Museu-Biblioteca, inaugurado em 1932.

Apresenta planta irregular, em que se destaca o claustro e a torre, de poderoso embasamento, pontuada por elementos manuelinos e terminando em cobertura cónica, sobre o último piso, dotado de pequenas varandas panorâmicas. Merecem, ainda, especial destaque o jardim de cariz romântico, dotado de lago, caminhos sinuosos e fontes decoradas com painéis de azulejo, cuja temática aponta para a proveniência de um extinto convento. O conjunto é completado pela Capela de S. Sebastião, que remonta ao século XVI, na qual se destaca o invulgar frontal do altar-mor, de azulejo figurado polícromo, azul e amarelo, representando S. Sebastião.

Entre as coleções deste Museu – que mantém a ambiência do início do século XX – destacam-se as de mobiliário, pintura, ourivesaria e porcelana oriental, para além de uma preciosa biblioteca, que exibe a Crónica de D. Afonso Henriques, de Duarte Galvão, manuscrito iluminado do século XVI que contém uma das mais antigas representações da cidade de Lisboa.