Nació en la Ciudad de Buenos Aires, el 16 de junio de 1802 y fue bautizado con el nombre de José Valentín en la Iglesia de Nuestra Señora de la Merced, hijo del catalán Juan de Alsina Gaza y de María Pastora Ruano Gallén.
Inició sus estudios de derecho en Córdoba bajo la tutela del Deán Funes.
Durante el gobierno de Bernardino Rivadavia se desempeñó como subsecretario del Ministerio de Relaciones Exteriores iniciando así su actividad política; luego, al asumir Vicente López y Planes, ocupó la presidencia de la Cámara de Justicia. Durante este periodo le fue designada la tarea de redactar el Código Rural, además de publicar tratados acerca de la soberanía argentina sobre las islas Malvinas y la libre navegación por el Río de la Plata.
Se casó en la iglesia de Nuestra Señora de Montserrat, el 22 de mayo de 1827, con Antonia Maza Fernández Puelma, con quien tuvo, en 1829, a su hijo, Adolfo Alsina.
Al ocupar el gobierno Juan Manuel de Rosas, a finales de 1829, pasó a la oposición, soportando la creciente persecución del gobierno gracias a la protección de su suegro, Manuel Vicente Maza. Finalmente fue detenido y ayudado a escapar en septiembre de 1835 por el capitán Enrique Sinclair se vio obligado a emigrar a Uruguay junto con su familia. Desde Montevideo inicia una campaña contra Rosas en varios periódicos; en uno de ellos, el Comercio del Plata, llegó a ocupar el cargo de editor tras la muerte de Florencio Varela. También fue miembro fundador y presidente de la Comisión Argentina, que reunía a los exiliados argentinos de Montevideo quienes se oponían a Rosas.
Luego de la batalla de Caseros, en 1852, donde fue derrotado Rosas, retornó al país y lideró uno de los grupos opositores a Justo José de Urquiza. Tras encabezar la revolución del 11 de septiembre de 1852 contra Urquiza, fue electo gobernador de Buenos Aires, pero dimitió tras un levantamiento militar.
Presidió la asamblea constituyente que sancionó la primera constitución provincial de Buenos Aires, que en la práctica se separó de la Confederación Argentina. En 1857 nuevamente fue electo gobernador de Buenos Aires. Inauguró el primer ferrocarril argentino y trajo solemnemente al país los restos de su antiguo jefe, Bernardino Rivadavia. Apoyó una invasión de militares del partido colorado a Uruguay, que terminó en una masacre de los invasores.
Uno de los datos curiosos de su accionar como juez, fue la condena a muerte de los mazorqueros Ciriaco Cuitiño y Leandro Antonio Alen (padre de Leandro N. Alem fundador de la Unión Cívica Radical) por los crímenes perpetrados como miembros de la Mazorca durante el régimen rosista.
Se enfrentó a Justo José de Urquiza, presidente de la Confederación Argentina, debido a las barreras económicas que ambos gobiernos se imponían y a la intervención porteña en los desórdenes en San Juan. Estos sucesos provocaron una gran inestabilidad política en toda la región y continuaron hasta que Urquiza derrotó a Bartolomé Mitre en Batalla de Cepeda (1859) y obligó a Alsina a abandonar la gobernación.
Luego de su renuncia, Mitre le ofreció integrar el Supremo Tribunal pero no aceptó y ocupó una banca en el Senado Nacional.
Alsina falleció el 6 de septiembre de 1869 en Buenos Aires, poco tiempo después de haberle tomado juramento a Adolfo Alsina, su hijo, al asumir la vicepresidencia de Domingo Faustino Sarmiento. Sus restos se encuentran en el Cementerio de la Recoleta, bajo un monumento tallado por el escultor belga Jacques de Braekeleer.