Sus padres fueron Manuel Gaviria Donza Romero —importante ganadero de bravo— y Antonia Alcoba Mateos, marqueses de Casa Gaviria (después, marqués de Gaviria), naturales de Sevilla. Casó en primeras nupcias con María Ignacia Gutiérrez Tejedor, quien falleció en 1834, de la cual tuvo once hijos.

En segundas nupcias casó con María de la Cruz Álvarez Alonso, más tarde dama de la Reina y duquesa de Castro Enríquez, con Grandeza de España de 1.ª Clase. Por el embarazo de ésta, cuyo hijo falleció al poco tiempo de nacer, le fue otorgado el título de conde de Buena Esperanza.

Desde 1815 desempeñó diversos cargos en la Tesorería del Ministerio de Hacienda llegando a ser en 1823 oficial primero de la Teneduría de libros de la Pagaduría de Hacienda. Por Real Decreto de 1 de octubre de 1823 quedó cesante por haber seguido a Cádiz al Gobierno Constitucional, hasta el 6 de enero de 1835 en que fue designado tesorero de la Real Casa y Patrimonio de Su Majestad. Desde 1835 hasta 1840 fue el encargado de la “Caja del real bolsillo secreto” de la reina María Cristina, perteneciendo al Consejo de Su Majestad en el Supremo Tribunal de Hacienda. [...]