Hijo de Francisco de Borja y Centelles, duque de Gandía. Se educó en el palacio arzobispal de Valencia, donde el futuro san Juan de Ribera tenía un buen número de hijos de nobles y caballeros de la misma ciudad y reino de Valencia, desde muy niños, enseñándoles juntamente la piedad y las primeras letras.

En noviembre de 1604, por haber resignado una canonjía de la catedral Vicente Roca de la Serna, se le asignó a Baltasar de Borja. Tomó posesión el 24 de diciembre inmediato ante Juan Bautista Vila. Fue canciller del reino de Valencia, arcediano de Játiva y de la catedral.

Al fallecer Juan de Ribera el 6 de enero de 1611, el rey Felipe III propuso como sucesor suyo a Pedro de Castro y Nero, obispo de Segovia, que fue preconizado por el papa Paulo V el 12 de septiembre de dicho año. Baltasar de Borja, vicario general entonces del Arzobispado, fue comisionado por el cabildo catedralicio para que se trasladase a Madrid y diese las gracias al Rey por el nombramiento del nuevo arzobispo; al mismo tiempo se le confiaba que expusiese los daños ocasionados en el reino de Valencia por la expulsión de los moriscos y que se hiciesen efectivas las rentas necesarias para reparar los desperfectos causados en la catedral con ocasión de los desposorios del Rey. Por último, debía llegar a Segovia para presentarle al nuevo arzobispo, Pedro de Castro, una carta de saludo del cabildo catedralicio. No se sabe si llegó a realizar esta gestión, ya que el nuevo arzobispo no llegó a tomar posesión de la diócesis, porque falleció encontrándose aún en Segovia, el 28 de octubre del mismo año. [...]