Hijo primogénito del condestable Íñigo Fernández de Velasco y de su esposa María de Tovar, señora de Berlanga. Desde muy niño —debió de nacer en la segunda mitad de los años ochenta del siglo XV— estaba destinado a heredar los señoríos maternos, pero la muerte de su tío, el condestable Bernardino, sin herederos varones legítimos cambió por completo su destino. Su padre había pasado a ser, a partir del año 1512, titular de la poderosa casa de Velasco y, en consecuencia, Pedro se convertía en su heredero. Los señoríos de los Tovar fueron entonces destinados al segundo hijo del matrimonio, Juan, primer marqués de Berlanga.

Pedro Fernández de Velasco contrajo matrimonio hacia 1520 con su prima hermana Juliana Ángela de Velasco, hija y heredera universal de los bienes no vinculados que había dejado el condestable Bernardino. [...]