Nació en Uruguay y fue llevado a los pocos años a Buenos Aires donde estudió derecho y se especializó en Derecho internacional.
Como diplomático, Carlos Calvo representó durante bastante tiempo a Paraguay y Argentina en Alemania, Bélgica, Francia, Gran Bretaña, Rusia y Austria.
En 1863 por diferencias de opinión con Francisco Solano López, gobernante de Paraguay renunció a la representación de este país ante Inglaterra que ejercía desde 1860.
Fue uno de los fundadores del Instituto de Derecho Internacional Público de Gante (Bélgica) en 1873. Además fue miembro de la Academia de Ciencias Morales y Políticas del Instituto de Francia y de la Real Academia de la Historia de España. En 1884 participó en el Congreso de Gante del Institut de Droit International.
En 1896, en misión confidencial ante la Santa Sede, logró iniciar la normalización de las relaciones entre el Estado argentino y la silla apostólica, interrumpidas desde 1884. Tras lograr al año siguiente la creación de tres nuevas diócesis (La Plata, Santa Fe y Arquidiócesis de Tucumán), en 1899 fue admitido como embajador ante la Santa Sede, cargo que ejerció durante varios años.
Sus restos descansan en el cementerio de la Recoleta.
En Francia, en 1863 publicó su obra más importante, Derecho internacional teórico y práctico de Europa y América, en dos volúmenes y poco antes de una versión francesa. En él expone el principio que luego se conocería como "Doctrina Calvo". El libro fue muy bien acogido por los especialistas, y en 1887 la primera edición en francés se amplió a 6 volúmenes.
Entre 1862 y 1869 publicó en castellano y francés quince volúmenes sobre protocolo y diplomacia de países sudamericanos, y entre 1864 y 1875 sus Annales historiques de la révolution de l'Amérique latine, en 5 volúmenes. En 1885 fue destinado a Berlín, donde publicó Dictionnaire du droit international publique et privat.
Cabe destacar que sus escritos han tenido una influencia decisiva en el desarrollo del Derecho internacional en el siglo XX.