Damunt d’un turó s’aixeca un edifici massís i d’alçada considerable, el castell de Rajadell. La primera documentació escrita que en trobem data de l’any 1063, tot i que podem dir que correspon al gòtic (un dels murs i elements decoratius, que podrien ser dels segles XIII o XIV) i al segle XVII. És difícil, però, establir quines parts corresponen a cada moment perquè ha estat reconstruït diverses vegades. Juntament amb l’església, fou l’origen del poble de Rajadell.
A partir del segle XIII la història del castell anà lligada al llinatge de la família Rajadell, senyors del terme que participaren en guerres com la de Provença, Navarra, Almeria, Sardenya i Mallorca. Però fou durant la guerra de la Generalitat contra Joan II (l’any 1471) quan el castell i l’església tingueren molts desperfectes.
Durant la guerra civil, el castell va ser requisat i utilitzat pel comitè revolucionari, i es van perdre pràcticament la totalitat dels objectes de valor que hi havia.
És format per tres cossos i s’hi conserven encara estances de les diferents etapes habitades, una petita cambra subterrània, la masmorra (que posteriorment es féu servir com a celler), a més de la sala d’armes, les alcoves, l’estable, la cuina, les habitacions, el menjador, les espitlleres de forma quadrada, la casa del masover, etc.
És un dels més grans i ben conservats de la comarca i actualment no és visitable.