Su padre, José Joaquín Silva y Bazán, marqués de Santa Cruz (IX), fue hijo de Pedro de Silva y Alagón y de Cayetana Sarmiento, condesa de Pie de Concha.

Hombre aquel de gran talento, según la opinión de sus contemporáneos, caballero del Toisón, comendador de la Orden de Santiago, académico numerario y director que fue de la Real Academia Española, gentilhombre de Su Majestad y mayordomo mayor. Le concedió el rey Carlos IV el Collar de la Orden de Carlos III y fue ayo y mayordomo del príncipe Fernando.

Casó primeramente con María Fernández de la Cueva, hija del duque de Alburquerque, que falleció sin dejar descendencia. Volvió a casar entonces, en segundas nupcias, con Mariana Waldstein, de noble familia austriaca, celebrándose el matrimonio en Viena, el 16 de abril de 1781. De este matrimonio nació José Gabriel y el hecho de que no se conozca partida de bautismo, ni se cita el lugar de nacimiento, hace suponer que bien pudo tener lugar en Viena, en 1782, en viaje, que dadas las costumbres de entonces, no es de extrañar pudiera alargarse suficientemente para ello. [...]