Realizó sus estudios secundarios en la Escuela Argentina Modelo, institución de la que fue profesor y vicerrector. Cursó estudios de abogacía en la Universidad de Buenos Aires (UBA) y cursó Historia en el Profesorado Secundario y en la Escuela de Estudios Hispano-Americanos de Sevilla, España.
En julio de 1966, ya designado como Secretario de Educación de la Nación -asumió el cargo el 2 de agosto-, el gobierno decidió la intervención de las Universidades Nacionales y produjo el suceso conocido como Noche de los bastones largos, el violento desalojo de cinco facultades de la UBA por parte de la Policía Federal Argentina. En ocasión de su renuncia al cargo, la revista Primera Plana rememoraba:
"Si bien la intervención a las Universidades era una bandera del Gobierno surgido hace un año, tocó a Gelly enarbolarla -en los bastones de la Policía- 24 horas después de ser nombrado para un cargo que muchos candidatos desecharon, precisamente porque debía ser inaugurado con aquel atropello"
Durante su gestión se sancionó la Ley orgánica de Universidades Nacionales (17.245), que prohibía la actividad política en las universidades (Arts. 9, 10, 98 y 99), marginaba a graduados y estudiantes del gobierno de las mismas (Título III), autorizaba el control policial para el mantenimiento del orden público (art. 7) y legalizaba la intervención del Poder Ejecutivo en casos de conflicto interno, alteración del orden o "manifiesto incumplimiento de los fines" de la Universidad (Título IX, Art. 116). Además preveía el arancelamiento de los estudios de posgrado y un arancelamiento parcial del grado, por medio del pago de derechos a examen (art. 92).
En junio de 1967, en el contexto de un recambio parcial de funcionarios, le fue solicitada la renuncia. En su lugar ingresó José Mariano Astigueta, un hombre del Ateneo de la República, mucho más cercano a Guillermo Borda, el titular del Ministerio del Interior, del que dependía la Secretaría de Educación.
Fue miembro honorario del Instituto Nacional Belgraniano, académico emérito del Instituto Nacional Sanmartiniano y director del Museo Histórico de Buenos Aires Cornelio de Saavedra durante 27 años.
Entre otras obras, es autor de Los juramentados de julio de 1816, General Indalecio Chenaut, Ocupación de la llanura pampeana y Evocación histórica de la plaza San Martín.