A mais antiga referência que se conhece acerca do castelo de Cascais remonta a 8 de abril de 1370, data em que o rei D. Fernando I doou a vila e seu termo a Gomes Lourenço do Avelar, que assim seria o primeiro Senhor de Cascais.

O porto de abrigo ou ancoradouro de Cascais afirmava-se, então, como ponto estratégico para o abastecimento de víveres a Lisboa, para onde enviava parte do que se pescava na sua costa, mas também as produções agrícolas de uma região mais vasta que englobava, mesmo, o concelho de Sintra, a que anteriormente pertencera. Paralelamente, impor-se-ia como reduto militar estratégico para a defesa da Barra do Tejo, porta de acesso à capital do Reino, como o denuncia a conquista e saque do castelo pelos castelhanos em 1373 e o bloqueio do porto em 1382 e 1384.

A atividade económica desenvolvida assegurou a prosperidade do Senhor de Cascais, que construiu e sucessivamente ampliou um palácio no recinto amuralhado. Ainda hoje as armas dos Castro, senhores de Cascais desde 1441, se mantêm na torre-porta do castelo, na atual Rua Marques Leal Pancada. O traçado da fortificação, de planta ovalada, seria reproduzido por Georg Braun e Frans Hogenberg, em 1572, no primeiro volume de Civitates Orbis Terrarum, em belíssima gravura que parece representar a vila em 1530. As sete torres do castelo eram apoiadas, junto à Praia da Ribeira, por uma barbacã que defendia a única porta da muralha que se desenha, não obstante deverem existir outras, que apenas seriam representadas em plantas do final desse século. Já na torre sul se acoplavam duas construções, provavelmente as casas do Senhor de Cascais, que estariam na génese do palácio que o Rei D Filipe I tanto apreciaria, quando as visitou em 1581. É ainda possível identificar uma igreja dentro do perímetro amuralhado, cujo orago se desconhece, junto à qual se devem ter realizado as primeiras reuniões dos homens bons de Cascais.

De entre os vestígios do castelo que chegaram aos nossos dias destaca-se, na Rua Marques Leal Pancada, a antiga Torre-porta que, apesar de emparedada e profundamente intervencionada ao longo dos tempos, mantém o escudo dos Castro, encimado por esfera armilar, assim como seteiras e troneiras. Resta ainda, na mesma rua, um troço do pano de muralha associado ao Arco do Castelo. Recentemente foi também recuperado um brasão em pedra, datado de 1598, com as armas dos Castro, que encimava a porta do palácio dos Senhores de Cascais, e sob esta, no listel, uma inscrição com o nome do mestre canteiro: PINTVS FACIEBAT, i. e. Feito por Pinto. Em 1962, aquando de grandes obras na antiga Calçada de Nossa Senhora da Assunção, descobriu-se parte de uma grande torre circular, mas o projeto determinou a sua total destruição. Hoje, as evidências materiais do velho castelo são, assim, escassas.