Natural de la ciudad de Toledo, era hermano de madre de Juan, Francisco e Isabel de Vergara, todos ellos reconocidos seguidores de las doctrinas de Erasmo. Estudió en la Universidad de Alcalá, pasando en 1510 a la de Salamanca, donde posiblemente se matriculó en Derecho. En esta ciudad conoció a la beata Francisca Hernández, suspecta de alumbradismo, a quien en 1519 la Inquisición prohibió todo trato con Tovar y otros seguidores suyos. Sin embargo, la relación se mantuvo hasta que Juan de Vergara consiguió en 1522 llevarse a su hermano consigo a Alcalá. A pesar de todo, hasta 1524 mantuvo relación epistolar con ella, rompiendo definitivamente con la beata cuando cayó en manos de otra mujer, María Cazalla, que ejercía una gran influencia sobre los clérigos erasmizantes de Alcalá. En 1525 fue propuesto al almirante de Castilla, Fadrique Enríquez, para evangelizar sus estados de Medina de Rioseco al frente de doce apóstoles. La idea había surgido de un clérigo vizcaíno, Juan López de Celain, pero Tovar recelaba de este hombre y no quiso participar en la empresa. Prefirió seguir en Alcalá, cuidando y acrecentando la biblioteca de su hermano y atrayendo a sí a un grupo de clérigos que admiraban su cultura y piedad; con el tiempo todos serán acusados de erasmismo o luteranismo. Su proselitismo y su amistad con Alonso Ruiz de Virués, Juan de Valdés o Miguel de Eguía llegaron a oídos del propio Erasmo, que reconoció su valía. [...]