Los autores coinciden en que el apellido deriva del nombre femenino medieval Gemma, del latín tardío, que significa "gema" o "piedra preciosa". Se trata de un nombre augural y afectivo, empleado para una hija de manera similar a otros nombres vinculados a objetos de valor, como Margherita, Perla o Diamante. El nombre ya aparece documentado en inscripciones epigráficas bajo las formas Gemma y Gemmula.

E. Rossoni aporta un ejemplo documental concreto: un acto del año 955 redactado en Cava dei Tirreni menciona a una tal Gemma uxor mea, lo que atestigua el uso del nombre en la Alta Edad Media. Rossoni señala además que el apellido presenta troncos de origen independientes en la zona de Mantova, la zona de La Spezia, la zona de Napoli, la zona de Catania, el Lazio y Puglia, especialmente en el área salentina —la zona más meridional de esa región, en el sur de Italia—.

A. Bongioanni y E. De Felice coinciden en señalar la variante meridional Ièmma y en destacar que el apellido se difundió principalmente en el sur de Italia y en Toscana. Ambos mencionan una santa de este nombre, fallecida en 1429 y venerada en Abruzzo, cuya festividad se celebra el 12 de mayo.

F. Miranda amplía el significado del étimo latino e indica que Gemma podía referirse también a "capullo", "brote" o "fuente de vida", y sugiere que el apellido nació probablemente como sobrenombre aplicado a una persona de gran valor o importancia social.