Está edificado sobre una antigua fortaleza romana y fue transformandose sucesivamente des de Alfonso VI (siglo XI) hasta Felipe II (siglo XVI).
Fue residencia de los Reyes de Castilla durante la Edad Media.
El "Palacio Viejo" fue ampliándose en el siglo XV , con las magníficas salas del Solio, la Galera, de las Piñas, de Reyes, del Cordón y la Capilla.
La gran torre almenada es llamada de Juan II, a quien se debe su imagen actual. Felipe II lleva a cabo las obras del patio de Armas y las empinadas cubiertas de pizarra. Fue prisión de estado (siglo XVIII) y convertido en Real Colegio de Artillería en 1764.
Sufre un gran incendio en 1862. El arquitecto Antonio Bermejo y Arteaga, dirigió su reconstrucción.
Hoy en día recoge también el Archivo Militar de España.
Es quizá el monumento más destacable para aquellas personas que sólo oyeron hablar de Segovia por su acueducto romano. Es impresionante su imagen desde la pradera de la Fuencisla (desde abajo) así como las vistas desde la Torre de Juan II. Puede visitarse gran parte del monumento, incluyendo las salas dedicadas a la historia de artillería.
