Mandada edificar por Jorge O'Neill, em 1902, para a sua filha, Maria Teresa, nas imediações do Farol de Santa Marta, o seu projeto, da autoria de Raul Lino, moldou-se à paisagem de um lugar extraordinário, aberto a um mar quase domesticado, em que o arquiteto traduz a sua reflexão sobre a arquitetura tradicional do sul do país, devedora da cultura mediterrânica e com fortes influências mouriscas.

O estreito corpo alongado do edifício original era, então, animado pela diversidade dos desenhos dos vãos – alguns de arcos ultrapassados e enquadrados por tijolo cru – pelos telhados tradicionais de quatro águas e pela expressividade dos espaços de transição entre interior e exterior, tanto nas varandas alpendradas, como nos átrios de entrada, encastrados como lugares de frescura.

Em 1915, a casa foi ampliada para norte, surgindo a cave, parcialmente revestida por azulejos, concebidos pelo próprio arquiteto e, a nascente, no piso térreo, a Sala dos Arcos e o terraço ligado à Sala das Caravelas. O mesmo sucederia três anos depois, para acolher uma histórica coleção de azulejos de finais do século XVII, oriundos da Capela de Nossa Senhora do Monte, da Quinta da Ramada, em Frielas, concelho de Loures. Os painéis, datados de 1698-99, são notáveis pela qualidade de modelação, gradação de azul e pormenores naturalistas de paisagem e arquitetura, apresentando trechos bucólicos com animais, cenas galantes e jogos de carta, assim como cenas religiosas retratando episódios da Vida da Virgem. Nesse período, já Raul Lino unificara a sua pesquisa formal e estética na síntese da "Casa Portuguesa", que considerava matriz imperativa para a arquitetura doméstica nacional. Desmultiplicou, então, os corpos do edifício, assim como as suas aberturas, alpendres e telhados, dinamizando também a linha da cércea, pela verticalização das chaminés, da "torre" de fresco e de um pitoresco pombal.

Adquirida por Manuel Espírito Santo Silva nos finais da década de 1920, a casa foi frequentada por alguns dos mais notáveis visitantes que chegaram a Cascais no período da II Guerra Mundial, como a grã-duquesa Carlota do Luxemburgo, os condes de Barcelona, o rei Umberto II de Itália ou os duques de Windsor. Em 2004, a Câmara Municipal de Cascais comprou o imóvel à família Espírito Santo, transformando-a num equipamento cultural de fruição pública.