Percorrendo la strada principale del paese, partendo dal palazzo del Municipio, si raggiungono i ruderi del castello, di probabile epoca normanna anche se le notizie sulle origini sono poche ed incerte, oggi sono ancora visibili una parte del muro di cinta, resti di mura rialzati sulla roccia, una cisterna per la raccolta delle acque meteoritiche, e la lunga e ripida scalinata scavata nella roccia che porta ad un probabile posto di vedetta, da dove era possibile sorvegliare la sottostante vallata del fiume Basento. Non meno notabili sono i palazzi di questo piccolo centro. A cominciare dal Palazzo Ducale appartenuto ai De Lerma, ultimi signori di Castelmezzano, che si trova nelle vicinanze del castello dove aveva dimora la guarnigione del duca. Il palazzo, databile al XVIII secolo, presenta sulla facciata principale un maestoso portale con grosse bugne sovrastato da un grande loggiato. Palazzo Coiro, situato alle spalle della chiesa madre e costruito nel XIX secolo, presenta vari balconi sorretti da mensole e ringhiere in ferro battuto di pregevole fattura, la facciata che si apre sulla strada principale presenta un bel portale in pietra locale.
Fuori dal paese, sentieri, scalinate e ponticelli in pietra permettono di raggiungere la vallata del Caperrino, caratterizzata dalla presenza di resti di antichi mulini costruiti a secco i cui tetti sono realizzati con lastre di pietra locale dette “chiang” nel dialetto locale. Dalla vallata attraversando un ponte in pietra ad arcata unica, forse di epoca romana, è possibile risalire e raggiungere la vicina Pietrapertosa.