Hijo del primer conde de Haro y de su esposa Beatriz Manrique. La primera vez que se le menciona en las Crónicas de su época es en el año 1461, en unos momentos muy delicados en que Enrique IV trataba de negociar con la liga nobiliaria que, desde un año antes, estaba dando pruebas más que evidentes de querer iniciar una revuelta abierta contra el Monarca.

El Rey intentaba desde hacía algún tiempo entablar negociaciones con la liga nobiliaria, al menos de diciembre a marzo de 1461, pero sin conseguir resultado alguno. En el mes de mayo de ese año decidió dar plenos poderes a Juan Pacheco y a su hermano Pedro Girón, a fin de que llegasen a un acuerdo con los nobles. Una primera entrevista, que tuvo lugar entre Sepúlveda y Buitrago, terminó en fracaso. La novedad de esta reunión radicaba en que, por vez primera, aparecía en la escena política del reino Pedro de Velasco, primogénito del conde de Haro. Debió de ser, por tanto, en ese año cuando el conde decidió tomar los hábitos e ingresar en el hospital de la Veracruz de Medina de Pomar. La grave crisis política que se inicia a mediados del año 1464, y los acontecimientos posteriores que desembocaron en la revuelta nobiliaria y la deposición de Enrique IV en Ávila, tuvieron como uno de sus grandes protagonistas al hijo de Haro. En efecto, Pedro Fernández de Velasco formó parte de la comisión que se creó, por imposición de la nobleza, a fines de 1464, y que tenía como finalidad única y exclusiva la reforma de la estructura de la Monarquía. [...]