La familia procedía de un Juan Faxardo, de Galicia, y siguió a Enrique de Castilla en las guerras que mantuvo con don Pedro, llamado el Cruel, su Rey y hermano. Cuando éste fue asesinado en Montiel, se dirigió a Murcia, acompañado del conde de Carrión, para posesionarse de este reino en nombre de Enrique de Trastámara.

El que sería primer marqués de Los Vélez fue hijo de Juan Chacón, hijo a su vez de Gonzalo Chacón, de ilustre familia, señor de Casarrubios del Monte, Maestresala y contador mayor de Castilla, y de Luisa Fajardo. En las capitulaciones matrimoniales de los contrayentes, redactadas en 1477, se estipuló que el primogénito llevaría el apellido Fajardo. Pedro Fajardo fue educado, como paje, en la Corte de los Reyes Católicos, juntamente con otros jóvenes de familias ilustres, como el primer marqués de Mondéjar, con el que mantendría estrecha amistad durante toda su vida. Según el gran humanista milanés Pedro Mártir de Anglería, que fue su maestro y con el que se carteó posteriormente con cierta frecuencia, el marqués de Los Vélez era hombre bien dotado por la naturaleza, inquieto, inclinado a grandes empresas; estudió y conoció bien el latín, en el que compuso coplas y canciones, y pasaba la vida entre libros y el ejercicio de la caza. El mismo Mártir dice que era perpetuo acompañante de la reina Isabel, que le tenía gran aprecio. [...]