Nació en Buenos Aires el 7 de marzo de 1794, hijo del coronel Félix Iriarte, jefe del Regimiento Fijo de Infantería de Buenos Aires. Fue enviado por sus padres a España a los diez años. En el viaje fue tomado prisionero por los ingleses y estuvo varios meses en Londres (en el mismo viaje en que también fue capturado Carlos María de Alvear). Estudió en el Real Colegio de Artillería de Segovia, participando en la guerra de independencia española entre 1809 y 1814.
Se embarcó como teniente coronel hacia América en 1816 a las órdenes del general La Serna, que poco después sería nombrado jefe del ejército realista del Alto Perú; fue el jefe de su división de artillería. Después del fracaso de una de las varias invasiones realistas a Salta, fingiendo un reconocimiento se pasó al ejército de gauchos de Güemes. Sirvió en el Ejército del Norte a las órdenes de Manuel Belgrano, quien lo nombró director de la escuela de artillería, y escribió su Instrucción para el Manejo de la Artillería.
Participó en varios de los hechos de la "anarquía del año 20" en Buenos Aires, en las filas de Alvear. Desterrado en Montevideo, dónde ayudó como pudo a la liberación de la provincia oriental y fue parte de la delegación montevideana en el Tratado entre Santa Fe y el Cabildo de Montevideo, regresó años más tarde a Buenos Aires, desde donde fue enviado como secretario del embajador Carlos María de Alvear a los Estados Unidos.
Volvió al Río de la Plata y fue ascendido al grado de coronel y comandante de la artillería en la campaña contra el Brasil. Tuvo una actuación destacada en la batalla de Ituzaingó.
Vuelto a Buenos Aires, se negó a acatar la autoridad del dictador Juan Lavalle, que había fusilado al gobernador Dorrego. Por esa razón fue desterrado al Uruguay hasta la llegada al gobierno de Juan Manuel de Rosas, al que apoyó junto con todo el grupo dorreguista, y fue ascendido a general. Pero tras el fracaso en defender el gobierno de Juan Ramón Balcarce, volvió a exiliarse en Montevideo en 1833. Allí comenzó a escribir sus monumentales Memorias.
De Montevideo pasó a Entre Ríos, a las órdenes de Lavalle, e hizo la campaña de éste por las provincias de Corrientes, Buenos Aires y Santa Fe. Comandó la captura de la ciudad de Santa Fe, derrotando al general Eugenio Garzón, quien se rindió a cambio de la garantía de que se le respetaría la vida. Lavalle estuvo a punto de fusilar a Garzón, pero en el último momento cambió de idea.
Después de la derrota de Quebracho Herrado, se retiró con Lavalle hacia el norte, pero al poco tiempo se separó de su ejército, disconforme con la falta de disciplina. Pasó a Chile y regresó a Montevideo. Su principal actividad allí fue escribir varios tomos más de sus Memorias, aunque durante el sitio de Oribe dirigió la construcción de nuevas defensas para la ciudad.
Regresó a Buenos Aires en 1849, con permiso de Rosas, y se encerró en su casa a terminar los 8 tomos con 10 000 páginas de sus Memorias. Resultó un libro muy útil para los historiadores, a condición de que se tenga en cuenta su estado de ánimo, que lo incitaba a criticar a todos los personajes con los que se cruzó. En particular fue muy duro con la conducción de Carlos María de Alvear en la Guerra del Brasil.
Después de Caseros, escribió también "Colonización y arreglo de fronteras", una refutación de las memorias del general José María Paz llamadas "Ataque y defensa", y la "Biografía del general José Miguel Carrera", la primera en que alguien se animaba a defender a este ex gobernante chileno, de terrible trayectoria en la Argentina.
Falleció el 27 de mayo de 1876 en Buenos Aires.