Hijo de Lorenzo Justino Fernández Villavicencio y Fernández Villavicencio, duque de San Lorenzo de Valhermoso, marqués de Casa Villavicencio, marqués del Quinto de la Mesa de Asta, regidor de Cádiz, caballero veinticuatro de Jerez de la Frontera, alcaide perpetuo de los Reales Alcázares, coronel de Milicias provinciales de Jerez de la Frontera. Su madre, María Eulalia Cañas Portocarrero, era hija del duque del Parque, conde de Castrillo y de Belmonte del Tajo.

Comenzó su carrera militar en enero de 1801 como teniente coronel, agregado al Regimiento provincial de Jerez de la Frontera. Intervino en el mismo año en la guerra con Portugal a las órdenes de su padre, y al término de la guerra se puso al frente de su regimiento con el grado de coronel. [...]