Nació en Valladolid en torno a 1507. Era hijo de Felipe de Castilla, deán de la catedral toledana, y hermano de Luis de Castilla, canónigo y arcediano de la catedral de Cuenca. Su madre fue Francisca de la Encina. Parece que ambos hermanos, según algunos historiadores, se aprovecharon de la falsificación del testamento del Rey para atribuirse una ascendencia más ilustre que la que poseían.

En su niñez fue educado en Montamarta (Zamora) por su tía abuela, María Niño de Portugal, hija del conde de Nieva y hermana de su abuela paterna, Juana de Zúñiga. De ella recibe las primeras letras y rudimentos a la vez que su inclinación por el estado eclesiástico. En 1525 consigue del Papa dispensa de su defecto de ilegitimidad, como hijo de un presbítero y de una mujer soltera, para poder acceder a las órdenes sagradas y obtener los beneficios de cualquier iglesia en la que su padre fuese beneficiario. [...]