Ruckauf nació en la provincia de Buenos Aires; a la separación de sus padres, a los 7 años de edad, residió durante un tiempo en Mar del Plata con la familia de su abuelo paterno antes de trasladarse, con su madre y su padrastro, a Buenos Aires y luego a la provincia de Salta. Comenzó su educación secundaria en el liceo militar de la ciudad, pero poco más tarde volvió con su padre a Buenos Aires. Finalizaría sus estudios de nuevo en Salta, y volvería a Buenos Aires a estudiar derecho en la Universidad de Buenos Aires, de donde egresaría en 1967. En su adolescencia se interesó por la música folklórica, tomando clases de guitarra con Juan Carlos Saravia.
Ruckauf nació en la provincia de Buenos Aires; a la separación de sus padres, a los 7 años de edad, residió durante un tiempo en Mar del Plata con la familia de su abuelo paterno antes de trasladarse, con su madre y su padrastro, a Buenos Aires y luego a la provincia de Salta. Comenzó su educación secundaria en el liceo militar de la ciudad, pero poco más tarde volvió con su padre a Buenos Aires. Finalizaría sus estudios de nuevo en Salta, y volvería a Buenos Aires a estudiar derecho en la Universidad de Buenos Aires, de donde egresaría en 1967.
En su adolescencia se interesó por la música folklórica, tomando clases de guitarra con Juan Carlos Saravia. Trabajando como dactilógrafo en una compañía aseguradora, comenzó a actuar como sindicalista en el Sindicato del Seguro, del cual rápidamente llegó a ser secretario, y trabó relación con Lorenzo Miguel, dirigente de la Unión Obrera Metalúrgica; con su protección, llegaría al cargo de ministro de Trabajo de María Estela Martínez desde el 15 de julio de 1975 hasta que el golpe de estado la derrocara el 24 de marzo de 1976.
Durante el menemismo fue funcionario del gobierno de Carlos Saúl Menem, primero como Ministro del Interior y luego como vicepresidente. Fue el primer vicepresidente constitucional argentino desde Elpidio González en completar el mandato para el cual fue elegido, los demás fueron expulsados de sus cargos por golpes de estado, renunciaron, asumieron la presidencia o se retiraron antes de tiempo. Fue cuestionado por los familiares de las víctimas del atentado a la AMIA en 1994, cuando era Ministro del Interior, por depender de su ministerio las fuerzas de seguridad que operaron antes y después del atentado. Fue elegido gobernador de la provincia de Buenos Aires con el 48,34%; venciendo a la candidata de la Alianza, la Frepasista Graciela Fernández Meijide.
En materia de seguridad, Ruckauf promovió una política de mano dura contra la delincuencia (llegó a afirmar «hay que meter bala a los delincuentes»). Hacia el final del mandato de su antecesor Eduardo Duhalde se produce una reforma de la policía, impulsada por su ministro de Justicia y Seguridad León Arslanian. Esta reforma implicaba una descentralización de la fuerza, el control civil y la apertura a la sociedad. Ruckauf, que se oponía a la misma desde la campaña electoral, revirtió los cambios de Arslanián al asumir como gobernador. Durante el segundo semestre de 2001 puso en circulación en la provincia títulos públicos a modo de moneda denominados Patacón, para paliar la falta de circulante y el enorme endeudadamiento provincial.
Cuando renunció el gobierno de Fernando de la Rúa, Ruckauf dejó la gobernación y fue nombrado como Ministro de Relaciones Exteriores. La provincia quedó a cargo de su vicegobernador Felipe Solá. En la Cancillería Ruckauf designó como asesores a Jorge Faurie (secretario de Relaciones Exteriores), Martín Redrado (Comercio Exterior) y Esteban Caselli (Culto). En agosto de 2002 decidió despedir al vicecanciller Faurie luego de hacerse público que le había renovado el pasasporte diplomático a su amigo Ramón Hernández (exsecretario de Menem).
El diario Página/12 criticó la gestión de Ruckauf al frente de la Cancillería alegando que no cumplía con sus tareas y delegaba sus actividades en funcionarios de menor jerarquía. Fue elegido en el año 2003 como diputado nacional por el PJ. La lista incluyó a varios funcionarios de Eduardo Duhalde. Para acceder al cargo debió sortear 2 impugnaciones. Una de ellas, fue por la desaparición de 14 obreros de Mercedes Benz en 1975.
Sufrió un pedido de juicio político de parte de varios legisladores de centroizquierda e izquierda, por su negativa a que la Comisión de Derechos Humanos de la ONU tratara el tema de la invasión de EE. UU. a Irak. Algunos de los impulsores fueron el ARI de Elisa Carrió, Luis Zamora, Alfredo Bravo y el socialismo y Patricia Walsh, por considerar que Ruckauf fue "funcional a las necesidades diplomáticas de Estados Unidos".
Recibió un escrache de parte de HIJOS tras sus declaraciones en el marco de los Juicios por la Verdad, a la salida de los tribunales federales de La Plata, en noviembre de 2003. Posteriormente, al tratarse la impugnación del diputado electo Luis Patti, por su papel durante la represión ilegal y sus declaraciones sobre la tortura, se ausentó al momento de la votación. En 2011 fue tercer candidato a Diputado Nacional por el Frente Popular, que llevó como candidato a presidente a Eduardo Duhalde, no resultando electo.