Joseph Brossard nacque a Port-Royal da Jean-François Brossard e Catherine Richard. Nel settembre 1725, a Annapolis Royal, Joseph Brossard sposò Agnès Thibodeau, figlia di Michel Thibodeau (Tibaudeau) e di Agnès Dugas. Alcuni anni dopo, Joseph si trasferì a Chipoudy col fratello Alexandre. Joseph ebbe molti problemi con la giustizia. Nel 1724, dovette presentarsi al consiglio di Annapolis per aver maltrattato un altro Cajun. Nel 1726 fu accusato di avere un figlio illegittimo. Negò l'accusa ma fu imprigionato per qualche tempo per aver rifiutato di pagare una pensione per il ragazzo.
Durante la guerra dei sette anni, Joseph Brossard, seguito dai suoi quattro figli e da una parte della popolazione cajun dell'istmo di Chignectou, condusse una guerriglia contro le truppe britanniche della regione. Nel 1755 gli Inglesi assediarono il fort Beauséjour. Brossard catturò un ufficiale inglese e, con solo sessanta uomini, attaccò vittoriosamente il campo inglese. Munito di salvacondotto, incontrò il luogotenente Robert Monckton per trattare la resa in cambio dell'amnistia. L'accordo fu accettato.
Durante la deportazione dei Cajun, Joseph Brossard si rifugiò con la famiglia nella foresta. Si alleò probabilmente con Charles Deschamps de Boishébert et de Raffetot e altri capi di famiglia per combattere gli Inglesi nella battaglia di Petitcoudiac, nel settembre 1755. Poco tempo dopo Joseph Brossard, su ordine del governatore, armò una piccola nave corsara e riuscì a catturare alcune navi inglesi nella Baia di Fundy. Probabilmente durante il raid di George Scott, a novembre 1758, fu ferito a un piede e perciò costretto a nascondersi. I Cajun continuarono a resistere fino al 1761. A novembre dello stesso anno, Joseph era ridotto alla fame e dovette arrendersi, con la sua famiglia e altri resistenti.
