El asesinato de Urquiza y los ciento y pico de levantamientos armados durante la presidencia de Mitre y en plena guerra del Paraguay, exigían decisiones como las que llevaron a Sarmiento a echar los cimientos de un poder armado eficiente para ello creo el colegio Militar y la Marina de Guerra.
En 1869 creó Sarmiento el Colegio militar de la Nación, para poner fin a las "montoneras con música" y actualizar la enseñanza y preparación del ejercito; en 1872 fundó la Escuela naval militar y el arsenal de Zárate.
Mitre había ensayado en 1865 la utilización de la Escuela de artes, oficios y agricultura para el reclutamiento de oficiales. Al disolverse en esa escuela la sección militar, Sarmiento propuso al Congreso una ley para organizar un instituto en el que se habrían de formar los futuros oficiales del ejército. La ley se sancionó el 7 de octubre de 1869. Originariamente funcionó en el edificio de Rosas en Palermo, una escuela destinada a la educación de jóvenes para la carrera de las armas; por decreto del 22 de junio de 1870, lo de "escuela" se cambió en "colegio".
El primer director del instituto fue el coronel húngaro Juan F. Czetz, con la colaboración de Víctor L. de Pesloyan, Guillermo Hoffmeister, Enrique Luzuriaga y Lorenzo Tock. Se inauguraron los cursos con siete aspirantes, y el primero de los inscriptos fue Ramón L. Falcón; al año siguiente sumaron 35 las inscripciones. La primera promoción tuvo lugar en 1872: José Daza, Rodolfo Domínguez, Martín Gras y Rodolfo Kratzenstein. El colegio
funcionó en Palermo hasta 1892; luego pasó a San Martín, a una escuela de artes y oficios que había construido el gobierno de la provincia en 1855.
Un complemento del Colegio militar fue la Academia militar creada el 30 de enero de 1884, para completar los conocimientos de los oficiales que no habían seguido los cursos del Colegio militar. También fue su director Juan F. Czetz.
Tuvo en cuenta Sarmiento en esas creaciones parte del diario militar que redactara su hijo Dominguito, en el que exponía el sacrificio inútil de la oficialidad joven durante la guerra del Paraguay, para la cual el valor personal reemplazaba a la carencia de formación técnica y de preparación para el oficio.
Hay que considerar también la amenaza constante de las insurrecciones en el litoral y en el norte y contra las cuales el ejército pobremente equipado y con escasa disciplina debía ceder al caudillaje que dominaba en gran parte del país. Además comprendió que la plana mayor que -había actuado en la guerra del Paraguay, con amplia experiencia, pero formada a "ponchazos", se encontraba ya envejecida y relativamente fuera de la realidad de los problemas nacionales apremiantes. Imaginó una fuerza armada que sostuviese con su gravitación la Constitución nacional y las instituciones a que dio vida.
Cuando Sarmiento subió a la presidencia, el ministro general Gainza, encomendó a Czetz, en octubre de 1869, el ensanche de las fronteras sur de Córdoba y Santa Fe y oeste de Buenos Aires. Hizo construir el fortín Sarmiento por tropa del batallón 12 de línea, al lado S. del Río V, desde donde siguió Czetz con 6 baqueanos y un destacamento del precitado batallón hacia los Cerrillos del Plata. Prosiguió su camino por la Pampa, al costado norte de la laguna La Amarga, en dirección recta al fortín Acha, extremo oeste de la línea de Buenos Aires. Señaló los puntos por los cuales debían trazarse los límites fronterizos, y terminada su comisión regresó a Buenos Aires para dar cuenta de la misma. El ministro Vélez Sársfield ofreció a Czetz el puesto de director del Ferrocarril Central Norte, pero aquél ya se había comprometido con el general Martín de Gainza para organizar el Colegio Militar En junio de 1870 cumplió Czetz este acto trascendental para nuestra institución armada, consagrándose con una dedicación ejemplar en esta ardua tarea, al extremo que dice en sus Memorias, que en los cuatro años que permaneció al frente de aquel Instituto, solo fue una vez al teatro. Czetz desempeñó la dirección del Colegio hasta mayo de 1874, siendo secundado hábilmente en su obra por el mayor Lucas de Pesloman, oficial distinguido de la escuela francesa de caballería establecida en Saumur. El 24 de aquel mes y año, Czetz entregó la dirección del Colegio a su sucesor.
Con respecto a la marina de guerra sucedía lo mismo y Sarmiento tuvo presente la defensa de las largas costas y el equipamiento de una fuerza fluvial y de mar que estimulase y protegiese la colonización de zonas que permanecían incomunicadas e indefensas.
Ordenó la construcción de barcos de guerra modernos en Europa. Funda, como hemos dicho, una escuela naval militar el 5 de octubre de 1872 que funcionó originariamente en el barco General Brown, de vapor y vela, construido en Escocia en 1865; el primer director fue Clodomiro Urtubey, con Carlos Masting y Rafael Lobo como profesores; en 1870 adquirió los barcos Pampa y Rosati, después dos monitores, dos cañoneras, cuatro bombarderas. Adoptó la artillería y el armamento de infantería más novedosos para poner coto a las invasiones de los indios, a las rebeliones de López Jordán en Entre Ríos, en 1873, y a la revolución mitrista en 1874.
Alberto Palcos juzga a Sarmiento como hombre público diciendo que era "soñador como Rivadavia, pero con un sentido infinitamente más hondo de la realidad. Es a un tiempo, profeta y hombre práctico. El título que mejor le cuadra a no dudarlo es el de civilizador".