A Fortaleza de Nossa Senhora da Luz, imóvel classificado como Monumento de Interesse Público foi edificado antes de 1580, como o abaluartamento da antiga Torre de Cascais, para reforço das defesas de costa, face à ameaça de invasão, aquando da crise dinástica. Na face virada para o pátio ainda hoje se identifica a torre primitiva, mandada construir por D. João II, em 1488, para proteção da vila e como atalaia de Lisboa, que rapidamente se tornara obsoleta.

A Fortaleza foi devidamente guarnecida e artilhada durante o período filipino, ainda que em finais de Quinhentos já se começasse a projetar uma fortificação maior, que esteve na génese da Cidadela, concretizada após a restauração da independência nacional, em 1640. Viria a albergar as tropas de Junot, aquando da 1.ª invasão francesa (1807-08) e 241 presos políticos, em 1833-34, no período das guerras liberais. Aí funcionou, mais tarde, uma Escola de Pesca e a Estação Radionaval (1939-92). No ano de 1987 iniciaram-se as primeiras sondagens arqueológicas, que permitiriam a reabertura dos acessos a todos os baluartes e a identificação da estrutura da torre joanina. Em 2014, por ocasião das comemorações do 650º aniversário da vila de Cascais, a Fortaleza de Nossa Senhora da Luz abriu as suas portas ao público.

A Cidadela, mandada edificar por D. João IV depois da restauração da independência, em 1640, que anexou a Fortaleza de Nossa Senhora da Luz, organizava-se a partir de um pátio central, em torno do qual se dispunham quatro quarteirões: o de Santa Catarina, junto às antigas Casas do Governador – onde a partir de 1870 os Reis D. Luís e D. Maria Pia instalaram o Paço Real de Cascais – os de S. Pedro e de Santo António, que se destinavam à guarnição, e o de S. Luís, onde funcionava o hospital. Sob o pátio foi construída uma grande cisterna, de planta quadrangular, com abóboda assente em nove colunas. Do conjunto destaca-se, ainda, a Capela de Nossa Senhora da Vitória.
O projeto de adaptação da Cidadela enquanto residência da Família Real foi entregue a Joaquim Possidónio Narciso da Silva. Para o efeito, o arquiteto gizaria a ligação das Casas do Governador ao Pavilhão de Santa Catarina, que confinava com a Praça de Armas, redimensionando salas, decorando vestíbulos e salões e criando um salão de banquetes e uma ligação direta para o coro alto da Capela de Nossa Senhora da Vitória. O Rei D. Luís veio a falecer, no Paço de Cascais em 1889, sucedendo-lhe D. Carlos, que promoveria profundas alterações no edifício, onde, em 1896, instalou o primeiro laboratório português de biologia marinha, mandando ainda acrescentar, para o efeito, em 1902, um terceiro piso sobre o antigo Pavilhão de Santa Catarina.

O Palácio recebeu, depois de 1910, os Presidentes da República, funcionando, mesmo, como residência oficial de Óscar Carmona, de 1928 a 1945. Depois de muitos anos sem utilização, já em acentuado estado de degradação, seria alvo de uma profunda intervenção de reabilitação e restauro, entre 2007 e 2008. Cumpre hoje as funções de residência oficial do Presidente da República, assegurando simultaneamente o acesso às suas salas de aparato e dependências plenas de história, através de visitas guiadas, promovidas pelo Museu da Presidência da República. Na Cidadela, que de 1959 a 1993 albergou o Centro de Instrução de Artilharia Antiaérea de Cascais, funciona, agora, a Pousada de Cascais, cujo projeto foi distinguido com o Prémio Nacional de Reabilitação Urbana na categoria Melhor Intervenção de Uso Turístico, em 2013.