Nació en Buenos Aires, hijo de un oficial de milicias. Parte de su infancia y juventud transcurren en España, pero regresó al Río de la Plata con su padre en 1812, en la misma fragata Canning que transportaba a José de San Martín y Carlos María de Alvear.
Ingresó al Regimiento de Granaderos de Infantería, obteniendo el grado de subteniente de artillería. Siguió la carrera de Alvear en 1820, uniéndose a la invasión de Buenos Aires por Estanislao López, y luchando en la Batalla de Cañada de la Cruz y en Pavón Terminó exiliado en Montevideo, de donde regresó en 1821 y renunció al ejército, para completar sus estudios de ingeniería. Fue docente en un colegio secundario y en 1823 participó en la fundación de Bahía Blanca como ingeniero.
Se reincorporó a las armas en 1826 para luchar en la guerra contra el Imperio del Brasil, alcanzando el grado de Sargento Mayor en la artillería. Dirigió una batería sobre el río Paraná y combatió en el regimiento de infantería de Tomás de Iriarte en la campaña al sur del Brasil y en la batalla de Ituzaingó. En noviembre de 1827 impidió una invasión brasileña en la desembocadura del río Salado y participó en la campaña de Fructuoso Rivera a las Misiones Orientales. Allí estaba cuando la revolución de diciembre de 1828, en la que Juan Lavalle derrocó y fusiló a Manuel Dorrego.
Al año siguiente se trasladó a Buenos Aires y fue uno de los jefes de artillería en la derrota de Puente de Márquez. Caído Lavalle, lo siguió al destierro en el Uruguay y en sus campañas en Entre Ríos. Ya para entonces era un decidido unitario, aliado de Ricardo López Jordán (padre), Justo José de Urquiza, y consideraba a Lavalle su jefe natural.
Desde 1836 fue el jefe de artillería de los distintos ejércitos de Fructuoso Rivera en su lucha contra Manuel Oribe, luchando en la derrota de Carpintería, acompañándolo en su exilio en el Brasil y, junto a Lavalle, en la victoria de Palmar. Prestó también algunos servicios diplomáticos frente a los representantes franceses y brasileños.
Aunque estaba alarmado por la dependencia en que se ponían los aliados respecto a Francia, siguió a Lavalle en su invasión a Entre Ríos en julio de 1839, como jefe de estado mayor y de la artillería. Pero Lavalle tuvo muchas discusiones con Chilavert, y terminó acusándolo de indisciplina. Éste pasó a unirse al ejército de Rivera, con el que éste invadió Entre Ríos en 1841. Después de la derrota de Arroyo Grande, se exilió nuevamente en el Brasil.
En su última etapa de exilio, al enterarse de la batalla de Vuelta de Obligado (en que una flota coligada de una entente anglofrancesa ataca el territorio argentino), aunque opositor político decidido a Juan Manuel de Rosas, en abril de 1846 le ofreció sus servicios,
A comienzos de 1847 regresó a Buenos Aires y se dedicó a reorganizar el cuerpo de artillería. Por supuesto, los unitarios lo llamarían traidor. En cartas a Juan Bautista Alberdi y otros prohombres de la oposición, se defendió con energía; pero no pudo convencerlos de seguirlo.
En el conflicto que enfrentó a Rosas con Urquiza y el Imperio del Brasil, dirigió todas las fuerzas de artillería de la Confederación en la batalla de Caseros, haciendo fuego contra el grueso de las tropas brasileñas hasta agotar la munición. La última resistencia fue la de la artillería de Chilavert y la infantería de Díaz (también unitario).
Como se le terminaron las balas, mandó recoger los proyectiles del enemigo que estaban desparramados alrededor suyo y disparó con estos. Y cuando no hubo nada más que disparar, finalmente la infantería brasileña pudo avanzar... y así terminó la batalla.
Habiendo tenido ocasión de escapar, permaneció sin embargo fumando tranquilamente al pie del cañón hasta que lo llevaron frente a Urquiza.
Urquiza ordenó su fusilamiento por la espalda (castigo usualmente aplicado a los traidores), pero cuando lo llevaron al sitio de fusilamiento, Chilavert, tras derribar a quienes lo arrastraban, exigió ser fusilado de frente y a cara descubierta. Se defendió a golpes, pero fue ultimado a bayonetazos y golpes de culata. De acuerdo a varios autores, todas sus heridas fueron de frente, aunque hay autores que afirman que fue herido por la espalda; todas las fuentes coinciden en que no pudo ser fusilado. Su cadáver permaneció insepulto varios días.