Hijo de Fernando Álvarez de Toledo y Mencía Carrillo de Toledo. Su padre fue de una de las familias más destacadas de Castilla. El origen de la familia se remonta al reinado de Alfonso VIII de Castilla. García de Toledo contrajo matrimonio con María Enríquez hija de Fadrique Enríquez de Mendoza. De su matrimonio nacieron Fadrique Álvarez de Toledo (1460-1531), que fue el II duque de Alba (1488- 1531), militar y político español, Teresa, Francisca, María, Gutierre (obispo de Plasencia muerto en 1506), García y Pedro.

García Álvarez de Toledo recibió muchos favores de Enrique IV de Castilla (1454-1474), no destacó en sus primeros momentos por su lealtad al monarca, pues formó parte de la composición de los primeros intentos para la formación de una liga nobiliaria contra el monarca en el año 1459, es decir, cinco años más tarde de haber subido al trono. Alfonso Carrillo y el conde García de Alba de Tormes consideraban necesario cambiar la situación política dando mayor participación a los grandes. Enrique IV conocía estos propósitos y tenía una dura queja hacia García Álvarez de Toledo ya que por los grandes beneficios recibidos debería mostrar más lealtad al rey “merecen antes perpetuo servicio y entera obediencia de la persona que los recibe a quien con tanta liberalidad dio, que querellas no debidas”. [...]