No termo de Almendra encontram-se já inventariados alguns sítios de ocupação pré-histórica, designadamente o da Ribeirinha, com arte rupestre e abrigo do III milénio a.C.; o Poio do Silveiral, com habitat pré-histórico e o Cabeço do Fumo com vestígios do Calcolítico.

As origens de Almendra devem remontar à Idade do Ferro. O que é hoje a área envolvente da Igreja Matriz, deve ter-se constituído como núcleo fortificado no I milénio antes de Cristo. Numa área para Norte da mesma Igreja, no denominado «Chão do Morgado», consta ali ter existido um castelo ou fortificação que muitos dizem ser medieval ou tardo-medieval (a exemplo do castelo de Foz Côa). Muitos vestígios de pedra de aparelho, fragmentos de tégula, imbrices e dolium, certificam ali a existência de uma provável «Villa Romana» senão de uma «vicus». Outros vestígios de Villae romanas ou simples casais encontram-se espalhados pelo termo de Almendra.

A partir do Paleocristão poderia um templo pagão (Romano) ter dado lugar a um templo cristão, a uma pequena igreja sita no mesmo local onde se encontra hoje implantada a Igreja Matriz (aliás com traça muito mais antiga que a data que ostenta por cima do portal). As lacunas documentais são muito grandes e só algumas campanhas de escavação arqueológica no imenso adro poderão dar luz sobre as origens e estádios de fixação e, ou, povoamento.

Almendra, topónimo nitidamente árabe, quererá dizer-nos que teve, em certo período da história, fixação daquela gente infiel aos ideais cristãos? Qual o topónimo da terra antes da presumível influencia árabe? Talvez nunca o saibamos!

Ainda que subsistam algumas dúvidas é normalmente aceite como certa a localização da antiga Caliábria nas imediações de Almendra. Tal facto leva-nos a acreditar que aqui existiria uma das mais antigas comunidades cristãs. A Caliábria era, em 569, paróquia ela diocese de Viseu. Nos alvores do século VII, durante o período visigótico, constituiu-se um bispado que virá pouco depois com as invasões árabes a desaparecer, tendo passado a sua cadeira episcopal a Ciudad Rodrigo. O seu último bispo S. Zenão teria sido morto pelos árabes cerca de 717.

Dos calabrienses célebres conhece-se o cruzado Bertoldo, fundador da Ordem dos Carmelitas. A existência da sede de um bispado é uma prova evidente que a região alcançou ao longo do século VII grande importância social e económica com as correspondentes trocas comerciais e culturais que tal facto acarretava.

Curiosamente, Almendra e Castelo Melhor, mesmo após terem passado para a posse de Portugal com D. Dinis, permaneceram em termos espirituais dependentes de Leão, uma vez que o bispo de Ciudad Rodrigo manteve o domínio espiritual sobre a região de Cima-Côa até 1404.

Em 960, o Castelo de Almendra pertencia a D. Chama ou Châmoa que o entregou à Condessa Mumadona, sua tia, fundadora do convento vimaranense. No século seguinte, em 1059, o castelo de Almendra continuava ainda a pertencer ao mesmo mosteiro. Nos fins do século XII muda de proprietário, surgindo, em 1183, entre os bens da Ordem Militar do Pereiro, numa Bula do Papa Lúcio III.No século seguinte, por volta de 1270, Almendra já era vila e foi doada a D. Gil Martins, pai de D. Martim Gil, mais tarde alferes-mor de D. Dinis.

O estatuto de vila não constituiu na época um título pacífico, uma vez que, quase de imediato, em 1298, o concelho de Castelo Rodrigo irá contestar a sua autonomia, em virtude de a considerar parte integrante do seu termo. Segue-se um período de conflito entre Castelo Rodrigo e D. Gil Martins, que irão recorrer alternadamente das sentenças do monarca. Finalmente, em 1312, Castelo Rodrigo obtém uma sentença favorável que lhe permitiu englobar de novo Almendra no seu termo. A integração no termo de Castelo Rodrigo durará, no entanto, apenas algumas décadas, pois ainda no século XIV retomará a sua condição de concelho. Em 1358, D. Pedro I confirma-o, acto repetido por D. Fernando em 1367 ao ratificar os foros e privilégios Almendrenses. O mesmo monarca, pouco depois, em 1370, reintegrará Almendra no concelho de Castelo Rodrigo, mas denominando-a, contudo, de julgado, o que pelo menos indica a existência de jurisdição própria ainda que sob juiz de nomeação régia. 

Em 1383 recobrou a sua autonomia, que será confirmada por D. Afonso V, em 1449, mas agora sob a designação de concelho de Almendra e Castelo Melhor. O mesmo monarca D. Afonso V, tendo em conta um pedido que lhe foi feito, irá autorizar, por carta de 6 de Junho de 1441, a realização de uma feira anual com a duração de 3 dias, da véspera de Santa Maria, em Setembro, até ao dia imediato. D. Manuel I concedeu foral novo a Almendra em 1 de Junho de 1510. 

Almendra deve ter mantido a sua importância ao longo do século XVI, ou talvez o tenha mesmo visto aumentar. Por exemplo, só durante o reinado de D. João III foram passadas 13 cartas a nomear outros tantos tabeliães. É ainda ao longo deste século que são construídos alguns dos principais edifícios religiosos. Nos séculos XVII e XVIII foram seus donatários os Condes de Castelo Melhor, que eram inclusivamente proprietários dos ofícios públicos e tinham ainda poder para fazer eleições e confirmá-las. 

Ainda no século XVIII surge o partido médico local, proporcionando melhores condições de combate à doença entre os Almendrenses. Finalmente, em 1855 extinguia-se o concelho de Almendra, na época composto pelas freguesias de Castelo Melhor, Algodres, Vilar de Amargo e a própria freguesia de Almendra.