E. Rossoni señala que se trata de un apellido claramente lombardo, originado en el topónimo Brivio, localidad de la zona de Lecco. Se tienen referencias del linaje desde el siglo XI, cuando una familia de origen germánico, procedente de Brunswick, se establece en la zona de Milano. En 1377 los Brivio figuran entre los nobles del listado metropolitano; en el siglo XIV Franzino Brivio fue reformador de los estatutos milaneses, y en el siglo XV Delfino Brivio fue colaborador de Giangaleazzo Visconti.

R. Brondolo aporta una perspectiva etimológica distinta: el apellido derivaría del término céltico briva, que significa "puente", voz que habría dado nombre al topónimo Brivio.