Hijo de un militar pobre, se recibió de abogado en su ciudad natal en 1822, pagando sus estudios con su propio trabajo. Fue diputado provincial en la época de Juan Manuel de Rosas, pero poco después de la batalla de Caseros se pasó al bando contrario, es decir, a los unitarios.
Fundó el Club del Progreso y fue su presidente varias veces. Participó en la defensa contra el sitio de Buenos Aires por los federales del general Hilario Lagos, y fue fiscal de Estado. Durante las violentas elecciones de 1857, fraguó una acusación de conspiración contra la oposición federal y cerró seis diarios opositores; esa fue su principal actividad en ese período, con lo que consiguió un lugar como diputado provincial, y después senador. Poco antes de la batalla de Cepeda de 1859 acusó de sedicioso al periódico federal La Reforma Pacífica, que pretendía que la provincia se reincorporara a la Nación Argentina, y lo cerró.
Después del Pacto de San José de Flores fue convencional constituyente en 1860 y, como firme aliado de Bartolomé Mitre, lo acompañó como ministro de hacienda en su gobernación. Después de la batalla de Pavón, fue electo senador nacional, pero no ocupó el cargo por mucho tiempo.
En 1862, al asumir la presidencia, Mitre lo nombró su ministro de Relaciones Exteriores. Su primera medida importante, después de reemplazar los embajadores de la Confederación en Europa, fue rechazar los tratados de alianza con Chile y Perú, anunciándoles el inicio de una política de sumisión a los intereses europeos, especialmente ingleses.
En marzo de 1863, el general uruguayo Venancio Flores, con la colaboración de Elizalde y otros miembros de su partido, organizó una invasión a su país. Recibió del gobierno argentino cientos de armas y una cañonera para trasladarse hacia Uruguay, y apenas llegó, recibió abundantes refuerzos desde Buenos Aires, Corrientes y Brasil.
El presidente Bernardo Berro se quejó al gobierno argentino del apoyo oficial a la invasión, pero Elizalde contestó, muy ofendido, que el gobierno era neutral, que no ayudaba oficialmente a Flores y que las armas eran "vendidas por particulares". Mentía: habían sido pagadas por el gobierno argentino. Cuando el ejército uruguayo capturó un barco argentino que estaba descargando armas, Elizalde exigió la devolución del barco y de las armas, una disculpa oficial y el arresto del oficial que había hecho la captura. Berro no se rebajó a responder.
Con la ayuda del ejército brasileño, Flores derrotó a las fuerzas del gobierno en Mercedes y en Salto. Poco después, la flota brasileña (aprovisionada en Buenos Aires) destrozó la ciudad de Paysandú, fusilando a continuación a todos los oficiales y muchos soldados de la defensa. Los brasileños sitiaron a Montevideo desde el río y Flores desde el Cerrito, consiguiendo la rendición del gobierno legal.
Tras la caída de Montevideo, el presidente paraguayo Francisco Solano López pidió permiso para pasar a través de Corrientes para ayudar al gobierno legal uruguayo. La Argentina había permitido pasar por su territorio a las tropas brasileñas y las de Flores, de modo que López pretendía hacer uso de la misma neutralidad para cruzar territorio correntino y atacar a Brasil.
La respuesta de Elizalde fue enojarse cínicamente por el pedido, ya que su neutralidad le permitía hacer diferencias. Exigió una disculpa de López, que como respuesta envió una declaración de guerra a Buenos Aires. Pero cuando su representante llegó a Buenos Aires, ya la guerra estaba en marcha: los paraguayos habían tomado las ciudades de Corrientes y Uruguaiana.
Mitre declaró la guerra a López, alegando que Corrientes había sido atacada sin declaración de guerra. Pero Elizalde y Mitre sabían perfectamente que la declaración venía en camino. Unos días más tarde, Elizalde firmó con los representantes de Brasil y Uruguay el Tratado de Triple Alianza, que en su parte pública declaraba que se estaba en guerra contra López, no contra el Paraguay. Pero tenía también una parte secreta, en que se estipulaba el reparto de cerca de la mitad del territorio paraguayo entre el Brasil y la Argentina, además de preverse elevadas indemnizaciones. El tratado permaneció secreto hasta 1867, cuando se hizo público. Muchos políticos argentinos y extranjeros denunciaron la injusticia de una guerra que se decía era contra un tirano, pero que llevaba al reparto de territorio por parte de los vencedores.
En 1868, Elizalde fue el candidato de Mitre en las elecciones presidenciales, en que su opositor más destacado era el gobernador de Buenos Aires Adolfo Alsina. Como éste no contaba con un apoyo importante en las provincias del interior, fue candidato a vicepresidente de Domingo Faustino Sarmiento. Éste derrotó a la fórmula de Elizalde y Wenceslao Paunero.
Representó al gobierno argentino en Asunción, ciudad que había sido ocupada por el ejército brasileño y donde éste había colocado en el sillón de presidente a un títere del Imperio. Más tarde fue docente universitario, escribió en el diario de Mitre, La Nación, y fue presidente del Ferrocarril del Oeste.
En julio de 1877 fue nombrado ministro de relaciones exteriores del presidente Nicolás Avellaneda, pero su actuación fue muy marginal. Renunció en octubre de 1879 y fue electo diputado nacional. Se unió a la revolución porteñista de Carlos Tejedor en 1880, y fue expulsado del Congreso, con lo que terminó su actuación pública.