Cursó sus estudios secundarios en el Colegio Nacional de Buenos Aires y cursó la carrera de derecho en la Universidad de Buenos Aires. Regresó sin haber culminado sus estudios a Salta, donde fue nombrado miembro de la Municipalidad, de la cual llegó a ser presidente. Cumplido su mandato, volvió a viajar a Buenos Aires, donde se doctoró en jurisprudencia en 1872, con una tesis sobre El dominio.
De regreso en Salta, apoyó la candidatura a gobernador de Juan Solá, de quien fue ministro de gobierno durante toda su gobernación, entre 1877 y 1879. Su esposa era propietaria de la finca "Castañares", una histórica estancia ubicada inmediatamente al norte de la ciudad de Salta.
Tras ejercer como diputado provincial durante dos años, fue elegido gobernador en el año 1881, asumiendo su cargo el día 9 de julio. Sus ministros fueron Domingo Güemes y Manuel Solá.1 Creó una Comisión de Agrimensores, el Departamento Topográfico y Estadístico, y un proyecto de Código Rural. Creó el Museo de Historia Natural y fundó el Banco Provincial de Salta.
Durante su gestión se inició la explotación de petróleo superficial en el noreste de la provincia; por una ley se concedió privilegios a empresas privadas para explorar y explotar los yacimientos que se hallaran por un término de 17 años.
Su mandato terminó el 9 de julio de 1883, y de inmediato fue elegido senador nacional, cargo que ocupó por el término de seis años. Fue un ferviente partidario del presidente Julio Argentino Roca, pero se fue alejando del oficialismo durante el mandato de Miguel Juárez Celman.
En 1890, poco después de la Revolución del Parque, se incorporó a la Unión Cívica y luego a la Unión Cívica Radical, formando parte de la primera convención nacional de ese partido en 1891. Cinco años más tarde se presentó como candidato a gobernador de su provincia, desobedeciendo las directivas de su partido, que prescribían la abstención electoral; tal decisión le valió la expulsión del radicalismo.
Durante los años siguientes se dedicó a los negocios particulares, aunque fue también director del Banco de la Nación Argentina durante más de una década.
El 16 de febrero de 1914, el vicepresidente Victorino de la Plaza —que ejercía la presidencia por enfermedad de Roque Sáenz Peña— lo designó ministro del interior, cargo en que sucedía a Indalecio Gómez, el autor de la Ley Sáenz Peña. Tras la muerte del presidente, fue confirmado en el cargo ministerial por De la Plaza, a quien acompañó hasta el final de su mandato.
Se destacó por hacer cumplir la Ley Sáenz Peña a nivel nacional, aunque no logró que los gobernadores conservadores respetaran la libertad electoral. El conservadurismo aspiraba a ganar las elecciones aún sin el fraude electoral que le había permitido sostenerse durante cuatro décadas; tal como aseguraban los dirigentes más optimistas del oficialismo y como parecían presagiar las elecciones de 1914, en que habían triunfado. Pero la división del partido gobernante entre el Partido Demócrata Progresista y la Concertación Conservadora, además de la mejor organización política de la Unión Cívica Radical dieron la victoria a Hipólito Yrigoyen, que asumió su mandato en octubre de 1916.
Ortiz se retiró a su finca en Salta, donde murió en junio de 1925.