Nacido en Salto era hijo de Antonio de Olavarría, de familia originaria de la Anteiglesia de Murueta, municipio de Orozco, en Vizcaya. ingresó a los nueve años al regimiento de Blandengues que comandaba su padre y a los catorce ya era subteniente
Ingresó entonces en el Ejército de los Andes a partir de 1816, en el cual combatió en las batallas de Chacabuco (1817), Cancha Rayada (1818), Maipú (1818) y alcanzando en esta última acción el grado de capitán.
Hizo luego la campaña al Perú como jefe de artillería del bergantín Araucano; retornó entonces al Regimiento de Granaderos a Caballo para intervenir en la campaña de los Puertos Intermedios.
A la renuncia del General San Martín, se unió a Simón Bolívar. Combatió en las batallas de Cochabamba y Junín.
Durante la batalla de Junín cayó prisionero junto con Necochea y fue rescatado por la valiente carga de Manuel Isidoro Suárez. Luego de la batalla de Ayacucho, que le valió una condecoración por su heroísmo, en diciembre de 1824 solicitó el retiro a Simón Bolívar, quien se lo concedió con el grado de Coronel.
Al llegar a Buenos Aires en 1824 fue destinado al frente de operaciones en la guerra contra el Brasil; siendo fue herido en la batalla de Ituzaingó.
Participó en las luchas civiles junto al general Lavalle. Por sus desavenencias con la política de Juan Manuel de Rosas se retiró de la vida militar y, ya casado y con hijos, se dedicó a explotar un campo en Mercedes.
Tras la derrota de los unitarios, emigró al Uruguay, donde más tarde combatió en la Guerra Grande.
Falleció el 23 de octubre de 1845 en Montevideo, Uruguay.
En su homenaje se nombró la localidad de Olavarría, en la provincia de Buenos Aires, fundada por Álvaro Barros.
El 12 de octubre de 1901 se inauguró en la Plaza Central de la ciudad que lleva su nombre, un monumento obra del escultor Alejo Joris (1865-1951).