Sus padres fueron Joseph de la Peña Fernández y Silveria Rivademar, oriundos de Galicia.

Cursó sus primeros estudios de filosofía y teología en el prestigioso Colegio de San Carlos. En 1818 finalizó su preparación académica en la Universidad de Córdoba graduándose de doctor. De regreso en Buenos Aires, promovió el dictado de la filosofía. Por orden de Bernardino Rivadavia, en 1826, formó parte del Colegio de Ciencias Morales en el que se desempeñó hasta 1830 primero como prefecto y luego con el título de virrector.

Se exilió en el Uruguay, afincándose en la localidad de Mercedes, tras la llegada de Juan Manuel de Rosas a la gobernación de la provincia de Buenos Aires. Allí se consagró a la enseñanza primaria. Entre 1837 y 1839 vivió en Brasil y Montevideo junto con otros unitarios desterrados. Durante su forzado destino en el Uruguay contribuyó al desarrollo y la promoción de la educación en esas tierras. Creó el Instituto de Instrucción Pública, fundó el Gimnasio Nacional que luego fue rebautizado como el Colegio Nacional dependiente de la Universidad de la cual también formó parte como uno de los miembros de su Consejo. Dictó su cátedra de filosofía en la Universidad de Montevideo hasta 1851 a la que se sumó un curso de matemática y el ejercicio del vicerrectorado. [...]