Embora bastante descaracterizado, é um dos mais imponentes castelos portugueses, contabilizando a expressiva marca de 100 mil visitantes entre 1996 e 2006,[carece de fontes?] um destaque no circuito turístico regional.
Erguido no topo do Monte do Pilar — o maior monólitogranítico da península Ibérica[2] —, isolado na divisa dos vales dos rios Ave e Cávado, dentro dos seus muros foi erguido um santuário seiscentista, utilizando a própria pedra das antigas muralhas. A meia encosta, no seu acesso, podem ser apreciados os vestígios de um antigo castro romanizado. A tradição refere que neste castelo se refugiou, por duas vezes, a condessa Teresa de Leão, mãe de D. Afonso Henriques (1112–1185).
A primitiva ocupação humana do sopé do monte onde o castelo se ergue remonta à pré-história, durante o período calcolítico, conforme atestado pela recente pesquisa arqueológica.
Entre o século X e o século XI, a antiga fortificação romana encontrava-se reduzida aos seus alicerces. O arcebispo D. Pedro (I) de Braga (1071–1091), visando a defesa avançada da sede episcopal de Braga, determinou a construção do castelo, conforme placa epigráfica no silhar,[4] acompanhando os alicerces e o perímetro da primitiva fortificação.
Nesta defesa se refugiou Teresa de Leão, viúva do conde D. Henrique (1093–1112) e mãe de D. Afonso Henriques, quando foi atacada pelas forças de sua meia-irmã, D. Urraca, rainha de Leão. Aqui cercada pelas tropas de D. Urraca (1121), D. Teresa conseguiu negociar um acordo — o Tratado de Lanhoso — graças ao qual salvou a chefia do seu condado. Mais tarde, D. Teresa para lá retornou, segundo a tradição, detida por seu próprio filho após a Batalha de São Mamede (1128), o que é contestado pela moderna historiografia, que aponta ter esta senhora verdadeiramente falecido na Galiza (1130).
De qualquer modo, datará do final do século XII e o início do século XIII a reforma do castelo, com a construção da torre de menagem. O castelo era então o que se chamava de cabeça de terra, o que traduz a sua importância regional.
Nesse contexto, no século XIII, o castelo foi palco de um terrível crime passional: o seu alcaide, D. Rui Gonçalves de Pereira, tetravô do Condestável D. Nuno Álvares Pereira, que se encontrava fora do castelo, ao se inteirar da infidelidade conjugal de sua esposa, Inês Sanches, enamorada de um frade do mosteiro de Bouro, retornou e, fechando-lhe as portas, ordenou que se incendiasse a alcáçova, provocando com isso a morte da infiel e seu amante, bem como dos serviçais, que implicou como cúmplices por não terem denunciado o fato. Os antigos relatos referem que ninguém escapou com vida do incêndio, sequer os animais domésticos.
Com o início da Idade Moderna, consolidadas as fronteiras do reino, o castelo perdeu progressivamente a sua importância estratégica, vindo a conhecer o abandono e a ruína. Esse processo seria acentuado a partir do final do século XVII, quando André da Silva Machado, um comerciante abastado do Porto decidiu erguer uma réplica do Santuário do Bom Jesus de Braga. Para esse fim, obteve autorização para demolir o antigo castelo e reaproveitar a pedra para edificar um santuário sob a invocação de Nossa Senhora do Pilar (1680). Iniciou-se assim o desmonte de parte da barbacã e das muralhas, edificando-se no interior do recinto uma igreja, a escadaria e as capelas de peregrinação: o Santuário de Nossa Senhora do Pilar.
As obras do santuário prosseguiam ainda em 1724, ao passo que Pedro Craesbeeck ("Memórias Ressuscitadas da Província de Entre Douro e Minho no ano de 1726") descreve o estado de ruína do castelo, visão corroborada pelo reitor Paulo Antunes Alonso ("Memórias Paroquiais de 1758"), ao referir que dele restava apenas a Torre de Menagem, cujo cunhal sudoeste se apresentava danificado pela queda de um raio.
A intervenção do poder público iniciou-se a partir de 1938, quando a Direcção-Geral dos Edifícios e Monumentos Nacionais (DGEMN) deu início a obras de consolidação e restauro, entre as quais trabalhos de prospecção arqueológica, limpeza, reconstituição dos dois cubelos ladeando o portão de entrada, do arco desse portão, da torre de menagem, de troços das muralhas, e ainda de uma estrada de acesso ao castelo e de beneficiações diversas no Santuário de Nossa Senhora do Pilar. Novas campanhas se sucederam, pelo mesmo órgão, em 1958–1959, em 1973 e em 1975–1976. Mais recentemente, a Câmara Municipal, com o apoio do Associação Adere-Lanhoso, procederam a trabalhos de limpeza e consolidação de estruturas, bem como a remodelação dos pisos interiores da torre, quando o castelo foi reaberto ao público (1996).
Na cota máxima de 385 metros acima do nível do mar, o castelo apresenta planta hexagonal irregular, em estilo românico e gótico, rasgando-se nos seus muros a Sul, junto à Torre de Menagem, o portão de entrada, em arco quebrado, flanqueado por dois torreões de planta quadrangular, ameados. A muralha é percorrida por adarve protegido por um parapeito encimado por ameias piramidais, algumas das quais apresentam aberturas com troneiras.
Na cota mais elevada do terreno, a Leste, destaca-se a Torre de Menagem, com planta no formato quadrangular, erguida a partir dos primitivos alicerces romanos (três torreões equidistantes). As suas paredes, que se elevam a cerca de dez metros de altura, ultrapassam um metro de espessura. Uma escada de pedra provê a comunicação entre a porta da torre em arco quebrado, rasgada a três metros do solo, e a praça de armas, com uma área quadrangular de aproximadamente 500 metros quadrados, onde se erguiam a moradia do alcaide e demais dependências, inclusive a cisterna.
Externamente, o conjunto é defendido por uma barbacã de planta aproximadamente elíptica, na qual se rasga, a norte, o portão de entrada, acedido por uma escadaria entalhada na rocha e flanqueado por um cubelo ameado. Um segundo cubelo ergue-se a leste.