Pero si algo destaca en la localidad es el Castillo situado en la parte más alta de la villa. Es el Castillo de los Duques de Albulquerque, declarado Monumento Artístico Nacional en 1931.Se compone de una mezcla de distintos estilos arquitectónicos, que abarcan desde el siglo XIII al XVIII. Sobre una edificación primitiva se construyó una fortaleza rectangular en estilo gótico a la que se fueron incorporando aspectos decorativos de estilo mudéjar. Evolucionado por las sucesivas reformas hasta convertirlo en un castillo-palacio de carácter más renacentista.
El castillo cierra la muralla que rodeaba la ciudad, que ha sido recientemente restaurada. Es de planta cuadrada con torres circulares en los ángulos. En la fachada sur se levanta una galería renacentista sostenida por ménsulas y bajo ella, se abre un balcón que pertenecía al comedor, y un ventanal de la sala de recepciones. La fachada norte alberga la puerta principal con el escudo de Castilla y León. En su interior se levanta el palacio, que fue construido posteriormente, en torno a un patio central de columnas sobre el que cabalga una doble galería con arcos rebajados del siglo XVI. A esta galería se abren los salones con techumbres de artesonados de estuco y vigas talladas. Otras dependencias son la bodega, la armería, la zona de servicio y las habitaciones nobles, desde donde se podía acceder a una pequeña capilla gótica. Posteriormente se levantó otra capilla en la huerta, frente al arco principal.
A lo largo de su historia, la fortificación ha tenido diferentes usos. Entre sus antiguos propietarios, destacan don Álvaro de Luna y Beltrán de la Cueva, así como los sucesivos duques de Alburquerque. Huéspedes ilustres fueron los reyes de Castilla, como Juan I y su esposa la reina Leonor, que falleció en él; el pintor Francisco Javier Parcerisa o el escritor José de Espronceda. Fue cuartel general de Lord Wellington y refugio del general Hugo durante la Guerra de la Independencia.Fue residencia habitual de los duques de Alburquerque durante siglos, hasta que se trasladan junto a la Corte a Madrid, convirtiéndolo en palacio de recreo y vacaciones. Tras la guerra civil fue primero prisión política, cárcel común y sanatorio para enfermos tuberculosos.
En 1972 se lleva a cabo su restauración. Actualmente es propiedad de Juan Miguel Osorio y Bertrán de Lis, XIX duque de Alburquerque, aunque su uso está cedido al Ministerio de Educación y Ciencia, albergando un instituto de Educación Secundaria, la sede y archivos de la Fundación de la Casa Ducal de Alburquerque, y la Oficina de Turismo municipal.Desde 1997 se ha puesto en marcha El Castillo Habitado, una visita guiada teatralizada, en la que se asiste a un espectáculo que escenifica algunos de los aspectos más representativos de su historia.
