Parrilli nació en San Martín de Los Andes en la provincia del Neuquén, el 13 de agosto de 1951. Obtuvo su título de abogado en 1976 en la Universidad de Buenos Aires y se especializó en Sociedades Comerciales y en gestión empresarial en la Universidad del Comahue. Está casado y tiene cuatro hijos. En su juventud practicaba el baloncesto y llegó a formar parte de la primera división del club Cipolletti de Río Negro.
Comenzó a militar en el justicialismo en los años setenta pero entre 1976 y 1982, con la actividad política proscripta, ejerció su profesión en forma independiente. Fue secretario y vicepresidente del Colegio de Abogados y Procuradores de Neuquén (1980-1982).
En 1982, junto a un grupo de militantes, fundó el Ateneo Arturo Jauretche, donde retomó la actividad política.
Con el retorno a la democracia, fue Diputado provincial en la Legislatura de la provincia del Neuquén en el período 1983-1987, presidiendo el Bloque Justicialista entre 1986 y 1987. Fue titular del partido justicialista de la provincia de Neuquén (1988-1993) y en 1989 fue elegido Diputado Nacional por la misma provincia.
Fue candidato a la gobernación de su provincia en 1991, enfrentando a Jorge Sobisch, quien sería electo por primera vez. Parilli resultó en segundo lugar con el 30 % de los votos.
En 1993, año en que terminó su mandato como diputado, su agrupación Peronismo para la Victoria, enfrentada con el justicialismo que respondía al entonces presidente Carlos Menem, fue derrotada en las elecciones internas del peronismo neuquino. En las presidenciales de 1995 apoyó la fórmula Bordón-Álvarez, lo cual le significó la amenaza de expulsión del justicialismo local, el cual había presidido hasta 1993.
Desde 1993 hasta 2003 no ocupó cargos públicos, volviendo a su actividad de abogado y realizando actividades comerciales y empresariales tanto en Neuquén como en Buenos Aires.
Desde 1998 fue uno de los integrantes del Grupo Calafate, espacio liderado por el entonces gobernador de la provincia de Santa Cruz, Nestor Kirchner a quien había conocido en Río Gallegos en 1986 por intermedio de un amigo en común, “Cacho” Caballero. A partir de allí iniciaron una relación política y personal muy estrecha.
En 2003 el entonces presidente Nestor Kirchner lo designó Secretario General de la Presidencia, cargo que ocupó desde el 25 de mayo de 2003 hasta el 16 de diciembre de 2014. Fue confirmado en su puesto en 2007 durante la gestión de la presidenta Cristina Fernández. Fue el responsable de organizar y ejecutar la conmemoración del Bicentenario de la Revolución de Mayo (2010) y la feria Tecnópolis (2011-2013).
En agosto de 2015 fue nombrado Director de la Agencia Federal de Inteligencia.
Desde 2016 es el presidente del Instituto Patria, un think tank creado por la vicepresidenta Cristina Fernández.