Sus padres fueron Domingo González (coronel del ejército) y Serafina.
Realizó sus estudios primarios y secundarios en Rosario y posteriormente se mudó a Córdoba con su madre donde cursó estudios universitarios de Derecho en la Universidad Nacional de Córdoba, logró llegar a quinto año pero no se recibió.
Ingresó en la Unión Cívica Radical, fue amigo personal y parte del grupo más cercano a Hipólito Yrigoyen. Participó de la Revolución Radical de 1905, comandó un pelotón revolucionario y fue detenido.
Se recibió de abogado en la Universidad Nacional de La Plata en 1907.
En 1912 fue elegido diputado nacional por la Ciudad de Buenos Aires y en 1916 elegido diputado nacional por la Provincia de Córdoba.
El 2 de diciembre de 1919 comenzó una huelga de los 2500 trabajadores metalúrgicos que pedían jornada de ocho horas, salubridad laboral y un salario justo, en los talleres Vasena. El 7 de enero, a las tres y media de la tarde, un grupo de huelguistas había formado un piquete tratando de impedir la llegada de materia prima para la fábrica. En ese momento, unos los conductores anónimos pasaron por donde estaban los huelguistas, develando su verdadera función, comenzaron a disparar sus armas de fuego contra los trabajadores.
La represión policial y parapolicial dejó cuatro muertos, tres de ellos habían sido baleados en sus casas y uno había perecido a causa de los sablazos propinados por la policía montada, los famosos «cosacos». Hubo además, más de 30 heridos. Según La Prensa fueron disparados más de 2000 proyectiles por unos 110 policías y bomberos. Los sucesos posteriores de desbordaron ya que, a la represión le sucedió el ataque de bandas armadas organizadas por la "Liga Patriótica", quienes atizaron un progrom contra la población judía del Barrio de Once. La calma luego sería restablecida mediante la intervención del Ejército bajo el mando del General Luis Dellepiane.
La Policía estaba dirigida por Elpidio González, designado por el presidente Hipólito Yrigoyen, por lo que su participación en este suceso ha merecido el cuestionamiento de la historiografía anarquista y de izquierda.
Fur sindicado como mentor de grupo de choque parapolicial formado por jóvenes radicales y conservadores que produjeron violentos incidentes en todo Buenos Aires contra trabajadores, inmigrantes y judíos, asesinando decenas de personas. La represión dejó un saldo de 141 a 700 muertos (según la fuente que se tome) y centenares de heridos. Este suceso es conocido también como el primer pogromo en América Latina, ya que la Liga Patriótica Argentina atacó a la comunidad judía local.
Inicia en la política tempranamente como militante de la Unión Cívica Radical. El primer registro de su actuación data en la revolución radical del 4 de febrero de 1905 cuando intentó derrocar al presidente Manuel Quintana. Fue la primera vez, y no la última, que debió sufrir la pena de prisión.
Electo Hipólito Yrigoyen como presidente de la Nación (1916-1922) se desempeñó como Ministro de Guerra entre 1916 y 1918 y Jefe de Policía de la Ciudad de Buenos Aires entre 1918 y 1921. En este último año fue elegido presidente de la Unión Cívica Radical. Durante la Semana Trágica de enero de 1919 fue designado jefe de policía.
Con la aprobación de la Ley Sáenz Peña fue candidateado como gobernador de Córdoba, con vistas a las elecciones de 1912, pero rechazó esta propuesta aunque participó activamente en la campaña electoral entablando una relación fluida con Yrigoyen, esta campaña contó con el apoyo del payador Gabino Ezeiza y el cura Gabriel Brochero.12
En 1922 fue elegido vicepresidente de la Nación acompañando a Marcelo T. de Alvear (1922-1928), luego de derrotar a la alianza de partidos conservadores llamada Concertación Nacional. Durante este mandato mantuvo un fuerte enfrentamiento con el presidente, como fruto del conflicto entre yrigoyenistas o personalistas y alvearistas o antipersonalistas.
En 1928 durante la segunda presidencia de Hipólito Yrigoyen (1928-1930) fue Ministro del Interior hasta el golpe militar del 6 de septiembre de 1930, que lo encarceló durante dos años.
Elpidio González, luego de su paso por la Vicepresidencia de la Nación, participó en la vida política esporádicamente. Su vocación política lo había sumido en la pobreza, teniendo que ganarse la vida como vendedor ambulante de anilinas en las calles de Buenos Aires.
El 6 de octubre de 1938 rechazó la concesión de una pensión vitalicia por parte del gobierno de Roberto Marcelino Ortiz con una conceptuosa carta.
En 1946 participó activamente en la campaña electoral de la Unión Democrática que llevaba la fórmula presidencial José Tamborini-Enrique Mosca. La prensa de orientación peronista se burló de su reaparición pública llamándolo "Alpedio González".
Falleció el 18 de octubre de 1951, rodeado del respeto de la dirigencia de la Unión Cívica Radical, en cuya Comité Nacional fueron velados sus restos. Luego fue sepultado en el Panteón de los Caídos de la Revolución del '90 en el Cementerio de la Recoleta.