Se incorporó al ejército del Estado de Buenos Aires en el año 1854, como soldado de la custodia de las armas enviadas al ejército de Manuel Hornos antes de la Batalla de El Tala. Revistó en las Guardias Nacionales de Buenos Aires e ingresó al cuerpo de oficiales cuatro años más tarde.
En junio de 1859 fue nombrado secretario del general Bartolomé Mitre para la campaña de la Batalla de Cepeda, asistiendo a la misma y al combate naval del día 25 de noviembre, frente a San Nicolás. También formó parte de la defensa de la ciudad de Buenos Aires durante el sitio que precedió al Pacto de San José de Flores.
Fue también ayudante de Mitre en la Batalla de Pavón, y obtuvo la baja del ejército en febrero de 1862.
En 1865 fue elegido diputado provincial. En abril de ese año se dirigía con un amigo a Asunción (Paraguay), cuando el buque en que viajaba fue detenido por el capitán del puerto de Goya, notificándose de la invasión paraguaya de Corrientes. Balsa fue encargado de dar esa noticia en persona el presidente Mitre, quien lo reincorporó al Ejército Argentino como oficial ayudante con el grado de capitán. Tras votar una contribución económica de la Provincia de Buenos Aires al esfuerzo argentino en la inminente guerra se incorporó al Ejército.
Asistió como ayudante de Mitre al Sitio de Uruguayana, a las batallas de Estero Bellaco, Tuyutí y Curupaytí; en esta última batalla resultó herido y atrapado por el caballo en que montaba, muerto por un disparo enemigo. Continuó la campaña junto al general Mitre y regresó a Buenos Aires con él en 1867; debió someterse a una prolongada cura de sus heridas.
A fines de 1868 fue ascendido al grado de mayor e incorporado como Oficial Mayor del Ministerio de Guerra. Repetidamente fue ministro interino de Guerra, durante los ministerios de Martín de Gainza y Adolfo Alsina.
En 1876 fue elegido diputado nacional, representando al Partido Nacional, cuyo máximo dirigente era Mitre. Volvió a ser elegido diputado nacional en 1882. Durante estos años fue colaborador en el diario La Nación, órgano del mitrismo.
El general Balsa fue uno de los fundadores del Jockey Club de Buenos Aires y tuvo a su cargo su presidencia durante varios períodos.
Tras una década dedicado a actividades administrativas dentro del Ejército, tras la Revolución del Parque volvió al ministerio como Secretario de Guerra. Durante la accidentada presidencia de Luis Sáenz Peña ejerció durante algunas semanas el cargo de Ministro de Guerra y Marina; fue reemplazado por Aristóbulo del Valle en julio de 1893, en un vano intento del presidente de evitar la revolución de ese año. Volvió a ocupar el cargo en noviembre del año siguiente; en medio de su gestión presentó la renuncia el presidente Sáenz Peña, siendo reemplazado por su vice, José Evaristo Uriburu, el cual lo mantuvo en el cargo algunas semanas. Durante sus breves ministerios, y durante su larga gestión como secretario, se destacó por modernizar el equipamiento y las sedes de las guarniciones del Ejército de acuerdo a lo que solicitaban los jefes del mismo.
Se retiró del servicio activo en 1905, computados más de 41 años de servicio activo, y se le concedió el grado de General de Brigada en abril de 1917.
Murió en 1922 en San Martín, no lejos de la Capital Federal.