Siendo presidente del Senado, por Río Negro, obtuvo el cargo de presidente provisional de la Nación luego del golpe de estado que derroca a Arturo Frondizi, basándose en la Ley 252 sobre acefalía del Poder Ejecutivo, para impedir que un militar ejerciera el cargo.
Producido el levantamiento militar el 29 de marzo de 1962, el presidente Frondizi, detenido por los militares en la Isla Martín García, se negó a renunciar («no me suicidaré, no renunciaré y no me iré del país»).
Eso llevó a interminables movimientos, amenazas y gestiones que agotaron a los líderes de la insurrección, quienes se fueron a dormir antes de asumir formalmente el poder. En la mañana del 30 de marzo, el general Raúl Poggi, líder de la insurrección victoriosa, se dirigió a la Casa Rosada para hacerse cargo del gobierno, y se sorprendió con el hecho de que los periodistas le comentaban que un civil, José María Guido, había jurado como presidente en el palacio de la Corte Suprema de Justicia.
Guido era un radical intransigente que presidía provisionalmente la Cámara de Senadores, debido a la renuncia del vicepresidente Alejandro Gómez. Teniendo en cuenta esto, la noche del golpe, y en una hábil maniobra, el ministro de la Corte Suprema de Justicia de la Nación, Julio Oyhanarte, consideró el derrocamiento de Frondizi como un caso de acefalía, correspondiéndole asumir la presidencia a Guido, por encontrarse en el primer lugar de la línea sucesoria según la Ley 252 (del 19 de septiembre de 1868, derogada por la ley 20972 promulgada el 21 de julio de 1975).
Los militares golpistas terminaron aceptando la situación y convocaron a Guido en la Casa Rosada para comunicarle que sería reconocido como presidente, en tanto y en cuanto se comprometiera por escrito a ejecutar las medidas políticas indicadas por las Fuerzas Armadas, siendo la primera de ellas anular las elecciones en las que había ganado el peronismo. Guido aceptó las imposiciones militares, firmó un acta dejando constancia de ello y fue entonces habilitado por estos para instalarse con el título de presidente, pero clausurando el Congreso Nacional e interviniendo todas las provincias.
Guido hizo cumplir las órdenes militares. Al día siguiente el Congreso anuló las elecciones del 18 de marzo de 1962 e intervino todas las provincias, para luego ser disuelto.
De este modo Guido asumió los poderes ejecutivo y legislativo del país, bajo control y supervisión de las Fuerzas Armadas, que se reservaron el derecho de removerlo.
Designó un equipo económico liberal (con figuras como Federico Pinedo (1895-1971) y José Alfredo Martínez de Hoz).
Poco después (24 de julio) dictó un Estatuto de los Partidos Políticos que sirvió de instrumento para no legalizar al peronismo.
Su breve mandato estuvo marcado por los enfrentamientos armados entre facciones militares opuestas (azules versus colorados). Su gobierno sobrevivió a varias sublevaciones de las tres fuerzas armadas.2
El 20 de abril de 1962, el jefe de la Guarnición de Campo de Mayo, Enrique Rauch, perteneciente a la línea nacionalista del Ejército, se subleva y exige la renuncia del comandante en jefe del Ejército, teniente general Raúl Alejandro Poggi y del ministro de Ejército, general de División Marino Carreras. Sin embargo, el 22 de abril, Guido logra llegar a un acuerdo entre las partes antes de que comenzaran las hostilidades: Rauch, Poggi y Carreras pasaron a situación de retiro efectivo. El cargo de ministro de Ejército queda en manos del general de Brigada Juan Bautista Loza, asumió el 23 de abril e interinamente ejerció el cargo de comandante en jefe hasta el nombramiento de Juan Carlos Lorio el 14 de agosto en este último puesto.
El 20 de septiembre de 1963, el comandante en jefe del Ejército Argentino, el general de Brigada Juan Carlos Lorio se sublevó e intentó deponer a Guido y pasar a retiro a varios oficiales de su arma pero fracasó y Lorio fue relevado de su cargo por Juan Carlos Onganía.
El 11 de diciembre de ese año también se sublevó el brigadier general Cayo Alsina, comandante de la Fuerza Aérea Argentina, sin embargo dicho alzamiento fue desbaratado y Alsina reemplazado por Carlos Armanini.
La última asonada contra su gobierno la llevó a cabo la Armada Argentina el 1 de abril de 1963, fue encabezada por el almirante Jorge Palma y contaba con el apoyo del titular de la marina, vicealmirante Enrique Grünwaldt. Sin embargo, este acto de insurrección corrió la misma suerte que los otros dos anteriormente mencionados, por lo que los cabecillas de esta asonada fueron arrestados y el nuevo jefe de la fuerza naval fue Eladio Vázquez.
Falleció el 13 de junio de 1975 y sus restos fueron depositados en el Cementerio de la Recoleta. Una calle de la ciudad de Viedma lleva su nombre en su homenaje