Hijo del teniente coronel de milicias Cristóbal de Ostolaza, regidor de Trujillo y natural de Guetaria (Guipúzcoa), y de Ana Josefa Martínez de los Ríos, natural de Trujillo (Perú).

Después de estudiar Artes y Teología en Trujillo, Ostolaza entró en el Real Convictorio de San Carlos en Lima. La Universidad de San Marcos le confirió el grado de bachiller el 16 de julio de 1793 y la licenciatura y doctorado en Cánones el 9 de marzo de 1795. La Audiencia de Lima lo aprobó para ejercer leyes el 7 de marzo de 1797. Después de enseñar Filosofía y Matemáticas en San Carlos durante dos años, Ostolaza enseñó Leyes durante varios años. Después de una infructuosa oposición por la canonjía en Trujillo en 1799, Ostolaza regresó a Lima y en el mismo año ganó la Cátedra de DigestoViejo, la cual ocupó por cuatro años en San Marcos. En 1802 sirvió como fiscal del juzgado del Apostadero de Callao, puesto que ocupó sin salario. Eventualmente fue un juez en Trujillo y estuvo involucrado en minería. Ostolaza sirvió como secretario para el reestablecido Colegio de Abogados en Lima en 1808. [...]