José Manuel fue el hijo mayor de José Brunet Segura, natural de Copons (Barcelona), y de Ramona Josefa Prat, natural de Prats del Rey (Barcelona). José Brunet se trasladó a finales del siglo XVIII a San Sebastián, donde abrió una casa dedicada al tráfico de coloniales que llegaban al puerto donostiarra y a las actividades bancarias, junto con su hermano Francisco, bajo la razón social José y Francisco Brunet.

José Brunet Segura cuidó de que su primogénito contara con la preparación adecuada para continuar los negocios mercantiles y de banca que él mismo había iniciado. Además de los conocimientos en el arte de la administración que logró José Manuel, fue enviado a Francia e Inglaterra, donde adquirió el dominio de ambas lenguas. Tras su estancia inglesa, en 1824 se incorporó al negocio familiar. Una vez fallecido su tío Francisco, uno de los fundadores de la casa mercantil y de banca, y habiéndose retirado de la vida activa su padre José por razones de edad, en 1840 asumió José Manuel la dirección del negocio, acompañado de sus hermanos y primos. Para entonces la sociedad de los Brunet contaba con embarcaciones propias que hacían sus viajes a América y Filipinas, dedicándose al comercio de coloniales. Además del comercio ultramarino, fueron regulares sus intercambios con puertos europeos. Asimismo, la banca de los Brunet fue corresponsal en San Sebastián, del Banco Nacional de San Carlos y, desde 1829, del Español de San Fernando. [...]