Era hijo de María de la Trinidad Larrazábal y del después coronel Mariano Gainza; estudió en su ciudad natal y se dedicó a trabajar en el campo de su padre, en Zárate.
En 1839 participó en la defensa de esa villa contra un ataque de la escuadra francesa, que bloqueaba el Río de la Plata. Al año siguiente se incorporó con su padre a la campaña del general Juan Lavalle — transportado en buques franceses — contra el gobernador Juan Manuel de Rosas, e hizo las campañas de Santa Fe, Córdoba y La Rioja. Combatió en las batallas de Quebracho Herrado y Famaillá. Después de ambas derrotas, cruzó el Chaco en la columna guiada por el coronel José Manuel Salas hasta llegar hasta la provincia de Corrientes.
Se incorporó al ejército correntino organizado por el general José María Paz y combatió en la batalla de Caaguazú. Hizo la campaña de Entre Ríosy, acompañando a Paz, terminó exiliado en el Uruguay, donde participó en la defensa de Montevideo contra el sitio dirigido por Manuel Oribe.
En 1844, siempre siguiendo a su padre, pasó a la provincia de Corrientes, a cuyo ejército se reincorporó. Luchó contra el avance del ejército de Justo José de Urquiza en 1846, a órdenes del coronel Faustino Velazco, y detuvo por unos días su avance sobre el río Corriente. Cuando Paz fracasó en su intento de derrocar al gobernador Joaquín Madariaga, se exilió en el Paraguay. De allí fue al Brasil, de donde regresó a Buenos Aires después de la batalla de Caseros.
Participó en la revolución del 11 de septiembre de 1852 y participó en la defensa contra el el sitio que le impuso Hilario Lagos a la ciudad de Buenos Aires en 1852 y 1853.
Fue nombrado comandante militar y juez de paz de Baradero, y fundó allí una colonia de inmigrantes suizos, que no se desarrolló demasiado. Se dedicó por años a esta colonia, y a formar contingentes de soldados — gauchos enganchados a la fuerza — para los ejércitos porteños que pelearon contra los indígenas y contra la Confederación Argentina.
En 1861 organizó un gran batallón de infantería, en total de 1.200 hombres, con el que se unió al ejército porteño y luchó en la batalla de Pavón. Fue ascendido a coronel, pero en los años siguientes no tuvo una actuación destacada. Ocupó cargos secundarios y, si bien marchó hacia el frente durante la Guerra del Paraguay, pronto estuvo de regreso en Buenos Aires.
En 1867 se empezó a pensar en la sucesión presidencial. El presidente Bartolomé Mitre eligió como su sucesor a su ministro Rufino de Elizalde, pero el gobernador porteño Adolfo Alsina creyó estar llamado a sucederlo. Pronto quedó claro que ninguno de los dos podía ser presidente, porque no tenían apoyo en el interior. Quien sí lo tenía, pero no en la capital, ni en las provincias controladas por los unitarios fanáticos, era el expresidente Urquiza. En medio de esas dudas, el coronel Lucio Victorio Mansilla propuso a un unitario del interior, Domingo Faustino Sarmiento. Muchos oficiales del frente paraguayo lo apoyaron, y algunos en el interior. Pero en Buenos Aires casi no tuvo más apoyo militar que el coronel Gainza. Sarmiento no lo olvidó.
En octubre de 1868, al ascender a la presidencia, Sarmiento lo nombró su ministro de guerra; ocupó ese cargo durante casi toda la presidencia del sanjuanino.
Mantuvo la participación argentina en la guerra del Paraguay, en que la iniciativa estuvo siempre en el mando brasileño. Les envió armamento y víveres, y se esforzó sin éxito en evitar que el ejército fuera estafado continuamente por los proveedores.
Fundó el Colegio Militar y la Escuela Naval. Para el Colegio Militar tuvo la ayuda del coronel húngaro Juan Czetz, un ingeniero militar que le dio un alto nivel académico, e instaló en el Colegio — e indirectamente en el Ejército Argentino — una idea muy estricta de la disciplina, de tipo Prusiano, que ayudaría a que poco después se terminaran las guerras civiles argentinas.
Encargó a astilleros argentinos la construcción de algunos vapores de guerra, costumbre que luego se perdió por más de medio siglo. Compró armamento militar moderno, con fusiles de repetición, cañones rayados y algunas ametralladoras.
En 1870 dirigió desde Buenos Aires la represión de la rebelión jordanista en Entre Ríos, siguiendo la estrategia del presidente Sarmiento de declarar la guerra a la provincia de Entre Ríos, sin declarar la intervención federal. No se trasladó al frente, pero apoyó eficazmente las acciones de los generales Emilio Mitre, Juan Andrés Gelly y Obes, Emilio Conesa e Ignacio Rivas.
Su principal preocupación fue la guerra de fronteras con los indígenas, en la que no innovó nada: la dejó a cargo de una línea de fortines y fuertes, que eran una verdadera condena para miles de soldados, generalmente gauchos, convictos de delitos reales o imaginarios. En esa época se realizaron algunas campañas menores hacia el interior del territorio indígena, con mediocres resultados. Mejoró las comunicaciones entre los fuertes y fortines, con lo cual se lograron algunos éxitos defensivos, especialmente la terrible derrota causada al cacique general Calfucurá en la batalla de San Carlos.
En mayo de 1873 renunció a su cargo para ponerse al frente de la represión de la segunda rebelión de Ricardo López Jordán, para la cual fue ascendido a general. La campaña fue larga, pero los enemigos se esquivaron durante meses, buscando un campo de batalla adecuado para sus respectivos armamentos. López Jordán quería hacer valer su caballería, mientras Gainza, prácticamente sin caballos, buscaba hacer valer su artillería y sus fusiles. Finalmente Gainza alcanzó a López Jordán en la batalla de Don Gonzalo, en diciembre, y lo derrotó completamente.
Regresó a Buenos Aires en enero, para volver a asumir el ministerio, que había sido ocupado interinamente por Uladislao Frías. En septiembre estalló la revolución de Mitre — derrotado en las elecciones a presidente — contra Nicolás Avellaneda, que aún no había asumido el gobierno. Intentó organizar la defensa, pero la mayor parte de las fuerzas del interior de la provincia se pasaron a los rebeldes; apenas alcanzó a lograr que el coronel Francisco Borges le entregara sus fuerzas antes de unirse a la revolución. Quedó indeciso sobre lo que tenía que hacer, ya que José Miguel Arredondo había controlado el sur de Córdoba y ocupado la capital de la provincia. Y las pocas fuerzas que mandó a enfrentar a Mitre en el sur de Buenos Aires fueron derrotadas en pequeñas batallas.
Bajó del ministerio en octubre, con el ejército partido en dos y enfrentado en una guerra civil; en definitiva, la revolución sería vencida por dos coroneles que actuaron por iniciativa propia, José Inocencio Arias y Julio Argentino Roca. Cuando todo hubo terminado, Gainza fue nombrado vocal del Consejo de Guerra, que condenó y expulsó del ejército a los jefes rebeldes.
Más tarde fue diputado y senador provincial, y como presidente del Partido Autonomista Nacional firmó los acuerdos de conciliación con el mitrismo, que llevaron a Carlos Tejedor al gobierno provincial. Apoyó firmemente a Tejedor y fue electo diputado nacional.
En 1880 apoyó la revolución porteñista de Tejedor y se negó a trasladarse con el Congreso a Belgrano, donde Avellaneda había llevado el gobierno, por lo que fue expulsado de la Cámara. El gobernador Tejedor lo nombró ministro de guerra de la provincia: fue el último ministro de guerra de una provincia argentina.
Vencida la revolución fue arrestado y dado de baja; fue enjuiciado por traición, pero finalmente sobreseído. Mientras estuvo separado del ejército escribió unas valiosas “Memorias”.
En 1883 fue reincorporado al ejército, reconociéndosele el grado de general de división, por disposición del Senado nacional. En noviembre de 1888 fue nombrado jefe de la 2.ª división del ejército, cargo que no llegó a ejercer.