En 1862, el General Ignacio Zaragoza ordenó demoler las dos torres y así acondicionar el fuerte para la milicia.
Sin embargo, después de los hechos de aquel año, la estructura del templo quedó dañada, por lo que terminaron de demoler las piedras que amenazaban con caerse. El sitio quedó abandonado por más de dos décadas. Se cuenta que Maximino Ávila Camacho, utilizó parte del cerro como rancho particular.
Fotografía: Pérez Siliceo