Nació en Buenos Aires, en el barrio de Villa Crespo, siendo el tercer hijo de un matrimonio de inmigrantes judíos ucranianos y el único nacido en Argentina, José Gelman y Paulina Burichson. Aprendió a leer a los 3 años y pasó su infancia andando en bicicleta, jugando al fútbol y leyendo.
Desde niño fue simpatizante del club de fútbol del barrio Atlanta, en, donde años después le pondrían su nombre a la biblioteca, algo que consideró «el homenaje más grande de su vida». Comenzó a escribir poemas de amor cuando tenía ocho años y publicó el primero a los once (1941) en la revista Rojo y Negro.
Realizó sus estudios secundarios en el Colegio Nacional de Buenos Aires. A los quince años ingresó a la Federación Juvenil Comunista.
En 1948, comenzó a estudiar Química en la Universidad de Buenos Aires, pero abandonó poco después para dedicarse a pleno a la poesía, formando parte de la corriente llamada nueva poesía (1955-1967).
Fue uno de los fundadores del grupo El pan duro, en 1955, integrado por jóvenes militantes comunistas que proponían una poesía comprometida y popular y actuaban en cooperativa para publicar y difundir sus trabajos. Al año siguiente, el grupo decidió publicar su primer libro, Violín y otras cuestiones.
En 1959, influenciado por la Revolución Cubana comenzó a adherir a la vía de la lucha armada en Argentina y a disentir con la postura del Partido Comunista (PC).
Durante la presidencia de facto de José María Guido —que asumió como presidente tras el derrocamiento de Arturo Frondizi— resultó encarcelado en el marco del plan represivo CONINTES , esto fue realizado junto a un grupo de escritores por pertenecer al Partido Comunista, hecho que provocó movimientos de solidaridad y publicaciones de sus poemas en protesta por su detención
Ese breve paso por la cárcel, lo aceraron a los grupos disidentes de la línea oficial para acercarse a un peronismo entonces perseguido e ilegalizado. Luego de ser liberado abandonó el Partido Comunista para comenzar a vincularse a sectores del peronismo revolucionario.
Con otros jóvenes que también habían abandonado el comunismo, como José Luis Mangieri y Juan Carlos Portantiero, formó el grupo Nueva Expresión y la editorial La Rosa Blindada que difundía libros de izquierda rechazados por el marxismo ortodoxo.
Comenzó a trabajar como periodista en la revista Confirmado en 1966; fue jefe de redacción de Panorama (1969), secretario de redacción y director del suplemento cultural del diario La Opinión(1971-1973), secretario de redacción de la revista Crisis (1973-1974) y jefe de redacción del diario Noticias (1974), al que había llegado el año anterior desde las FAR y donde, según el autor, transcurrieron los mejores momentos de su vida en los medios.
En 1971 fue coguionista de la película Por los senderos del Libertador, que Jorge Cedrón realizara por encargo del dictador Alejandro Agustín Lanusse.
En 1967, se integró a la organización guerrillera Fuerzas Armadas Revolucionarias (FAR), de orientación guevarista, que combatió contra la dictadura militar autodenominada Revolución Argentina (1966-1973).
El 12 de octubre de 1973, FAR oficializó su fusión con el movimiento armado Montoneros, siendo uno de los principales dirigentes de la dirección de Montoneros entre 1973 y 1979, sirviendo como secretario de prensa de Montoneros para Europa, hasta su alejamiento en 1979.
En la jerarquía montonera, llegó a teniente. Cuando abandonó sus funciones, expresó en un comunicado que lo hacía para «proseguir la lucha revolucionaria contra la dictadura y por la liberación del pueblo argentino».
En abril de 1975, viajó a Roma con su compañera de ese momento, Lilí Massaferro, enviado por Montoneros para hacer relaciones públicas y denuncias internacionales sobre la violación de derechos humanos en la Argentina, durante el gobierno de Isabel Perón (1974-1976). En esa misión se encontraba cuando se produjo el golpe de Estado del 24 de marzo de 1976, que impuso un régimen de terrorismo de estado que causó la desaparición de 30.000 personas. Salvo un breve regreso clandestino ese año, permaneció exiliado en Roma, Madrid, Managua, París, Nueva Yorky México trabajando como traductor de la Unesco. Sus gestiones lograron el primer repudio a la dictadura publicado en 1976 en el diario Le Monde por parte de varios jefes de gobierno y de la oposición europeos, entre ellos François Mitterrand y Olof Palme. En 1977 adhirió al recién creado Movimiento Peronista Montonero, aunque ya con disidencias y dos años más tarde lo abandonó en desacuerdo con el verticalismo militarista y con las negociaciones que su conducción había entablado en Francia con el miembro de la Junta Militar almirante Emilio Massera, lo cual ocurría a la vez que el Montoneros enviaba militantes de vuelta a la Argentina en el marco de lo que denominaron contraofensiva.
Gelman expuso sus argumentos en una carta dirigida a su amigo Rodolfo Puiggrós y en un artículo publicado en Le Monde en febrero de 1979. A raíz de ello, fue acusado por Montoneros de traición y condenado a muerte.
Luego de que el 10 de diciembre de 1983 asumiera el gobierno democrático de Raúl Alfonsín, continuaron abiertas causas judiciales en las que se investigaban homicidios y otros delitos imputados a Montoneros, en las que tenía ordenada su captura, por lo cual no regresó al país. Esto ocasionó protestas de escritores de todo el mundo, entre ellos Gabriel García Márquez, Augusto Roa Bastos, Juan Carlos Onetti, Alberto Moravia, Mario Vargas Llosa, Eduardo Galeano, Octavio Paz, etc. A comienzos de 1988 la justicia dejó sin efecto la orden de captura y Gelman volvió en junio, luego de trece años de ausencia, pero decidió radicarse en México.
Hacia 1987, publicó Contraderrota. Montoneros y la Revolución Perdida, un libro con profundas críticas24 que fueron recordadas en una detallada nota que a su muerte habrá de publicar Horacio Verbitsky:
"La respuesta que Montoneros da a todo eso es incorrecta, ya que empieza a practicar una política elitista y, en el fondo, antipopular (...)".
El 8 de octubre de 1989 fue indultado por el presidente Carlos Menem, junto a otros 64 exintegrantes de organizaciones guerrilleras y a los militares acusados de violaciones a los Derechos Humanos. Rechazó la medida y protestó con una nota en Página/12:
"Me están canjeando por los secuestradores de mis hijos y de otros miles de muchachos que ahora son mis hijos".
El 26 de agosto de 1976 fueron secuestrados sus hijos Nora Eva (19) y Marcelo Ariel (20), junto a su nuera María Claudia Irureta Goyena (19), quien se encontraba embarazada de siete meses. Su hijo, su hija y su nuera desaparecieron junto a su nieta nacida en cautiverio. En 1978 Gelman supo a través de la Iglesia católica que su nuera había dado a luz, sin precisar dónde ni el sexo.
El 7 de enero de 1990 el Equipo Argentino de Antropología Forense identificó los restos de Marcelo, encontrados en un río de San Fernando (Gran Buenos Aires), dentro de un tambor de grasa lleno de cemento, asesinado de un tiro en la nuca.
En 1998, Gelman descubrió que su nuera había sido trasladada a Uruguay a través del Plan Cóndor, que vinculaba a las dictaduras sudamericanas y Estados Unidos, y que había sido mantenida con vida al menos hasta dar a luz a una niña en el Hospital Militar de Montevideo.
A raíz de ello, exigió la colaboración de los Estados argentino y uruguayo en la investigación con el fin de hallar a su nieta. Gelman topó con la oposición a investigar del presidente de Uruguay Julio María Sanguinetti, con quien entabló un debate público, en el que volvió a ser apoyado por destacados intelectuales y artistas como Günter Grass, Joan Manuel Serrat, Darío Fo, José Saramago, Fito Páez.
En 2000, al mes de asumir el nuevo presidente de Uruguay, Jorge Batlle, la nieta, de nombre Macarena fue encontrada28 y Gelman pudo reunirse con ella.29 Luego de verificar su identidad, la joven decidió tomar los apellidos de sus verdaderos padres, para llamarse María Macarena Gelman García.
En 1999, Gelman exigió en público al jefe del Ejército Argentino, general Martín Balza, la investigación del secuestro y asesinato de su hijo, aportándole el nombre y documentación sobre el supuesto responsable inmediato del crimen, el general Eduardo Rodolfo Cabanillas.
Luchaba aún por encontrar los restos de su nuera María Claudia Irureta Goyena. Se había fijado 2008 para llevar a juicio oral y público a los militares y civiles acusados de dar muerte a Marcelo Ariel y a otras cuatro personas, además de ser responsables de secuestros y torturas de otros 60 ciudadanos en el centro clandestino de detención Automotores Orletti.
Después de siete años sin publicar, en 1980 dio a conocer el libro Hechos y relaciones, al que le siguieron Citas y comentarios (1982), Hacia el Sur (1982) y Bajo la lluvia ajena (notas al pie de una derrota) (1983). Le siguieron La junta luz (1985), Interrupciones II (1986), Com/posiciones (1986), Eso (1986), Interrupciones-I e Interrupciones-II (1988), Anunciaciones (1988) y Carta a mi madre (1989).
En los años 1990 publicó Salarios del impío (1993), La abierta oscuridad (1993), Dibaxu (1994), Incompletamente (1997), Ni el flaco perdón de Dios/Hijos de desaparecidos, coautor con su esposa Mara La Madrid (1997), Prosa de prensa (1997) y Prosa de prensa (1999).
En la primera década del siglo XXI publicó Valer la pena (2001), País que fue será (2004); Mundar (2007); De atrásalante en su porfía (2009), Bajo la lluvia ajena (2009), El emperrado corazón amora (2011) y Hoy (2013). Desde ese año, Seix Barral ha empezado a editar toda su obra bajo el título de Poesía reunida.
Hasta su fallecimiento vivió en México y fue columnista del diario argentino Página/12.
Poesía
Antologías poéticas
Prosa
Ha recibido muchos:
El 29 de noviembre de 2007 ganó el Premio Cervantes, el más prestigioso de la literatura en español, y varios otros hasta el Premio Leteo (2012).
El 25 de abril de 2008 depositó un mensaje en la Caja de las Letras del Instituto Cervantes que no se abrirá hasta el año 2050.