La ciudad de Yungay fue fundada el 4 de agosto de 1540 sobre el emplazamiento de antiguas huacas preincas (el emplazamiento actual de la ciudad se encuentra al norte del emplazamiento original, el cual fue sepultado por un alud el 31 de mayo de 1970 en el terremoto de Áncash de 1970).
"El 8 de junio de 1542 el gobernador Vaca de Castro, se reunió en la ciudad de Yungay con las fuerzas leales a la corona española; primero con el capitán Alonso de Alvarado y después con los capitanes Pedro de Álvarez Holguín, Gómez de Tordoya y el Inca Garcilaso de la Vega, para luego marchar hacia el sur para combatir al rebelde Almagro El Mozo a quien derrotan en la batalla de Chupas."
La importancia de la ciudad de Yungay, en los inicios de la colonia se ve reflejada cuando por orden del virrey Toledo (1571), se establecieron las primeras reducciones (concentración de poblaciones) que hubo en el departamento de Áncash, con Huaraz a la cabeza del Hanan Huaylas y Yungay a la cabeza del Hurin Huaylas...”, bajo la supervisión del comisionado del virrey don Alonso de Santiago de Valverde.
En el siglo XVI vivió la misma tranquilidad de los demás pueblos del Virreinato del Perú. Al poco tiempo se sublevó el pueblo de Yungay hostilizado por el receptor de alcabalas, que si no se ausenta prontamente habría perecido en la violencia del motín. Fue más grave y terrible al que estalló en Huaraz, sirviendo de pretexto para la acrotación de matrículas para los atributos. Así mismo, Yungay formó parte en las luchas de emancipación nacional.
El 28 de octubre de 1904, con Ley 006, se creó la provincia de Yungay, ubicada en el departamento de Áncash, en plena Cordillera Blanca.
En la historia del Perú, Yungay fue epicentro de un severo terremoto, de magnitud 7.8 en la escala de Richter. Por efectos del fuerte movimiento telúrico, un enorme pedazo de material congelado, así como rocas se desprendieron del nevado Huascarán, cayendo verticalmente sobre pequeñas lagunas glaciares, los que luego descendieron hacia el valle a una velocidad cercana a los 200 km/h, borrando del mapa al pueblo de Yungay.
Este desastre dejó a más de 50 mil personas fallecidas en todo el país. Alrededor de 20 mil fallecidos fueron estimados para la Provincia de Yungay. En la ciudad de Yungay solo sobrevivieron aproximadamente 300 personas. Actualmente existe un memorial por las personas que se encuentran sepultadas en el lugar. Es considerado el peor desastre natural que haya golpeado la zona central de Sudamérica.