Hijo de Antonio Vicente Álvarez de Toledo y Guzmán, X marqués de Villafranca del Bierzo, Grande de España y caballero del Toisón de Oro, y de la princesa María Antonia Gonzaga de Solferino.

Casó en Madrid el 15 de enero de 1775 con María Teresa Cayetana del Pilar de Silva y Toledo, XIII duquesa de Alba de Tormes, XII duquesa de Huéscar, VI de Montoro, VII condesa duquesa de Olivares, XI marquesa del Carpio, XV condesa de Lerín y condestable de Navarra, XI de Monterrey, XV condesa de Oropesa, XVIII de Coria, XII de Villanueva del Río, VII de Eliche, VII de Tarazona, XV de Osorno, XIII de Salvatierra, XII de Galve, XII de Piedrahíta, VII de Morente, XVI de Modica, IX de Fuentes de Valdepero. VIII marquesa de Frechilla y Villarremiel, VIII de Jarandilla, VIII de Villar de Grajanejos, X condesa de Deleitosa y XII de Alcaudete. Era hija de Francisco de Paula de Silva y Toledo, XI duque de Huéscar, Grande de España, heredero de la Casa de Alba, y de María del Pilar de Silva Bazán. [...]