Né à Rivière-aux-Canards en Nouvelle-Écosse, petit-fils d’Alexandre Bourg dit Belle-Humeur, Joseph-Mathurin Bourg et sa famille sont dépossédés de leurs terres lors du Grand Dérangement de 1755. Probablement déporté en Virginie, Bourg se retrouve en Angleterre en 1756, puis en France sept ans plus tard; il y étudiera la philosophie. Terminant ses études de théologie en 1772, Bourg est ordonné prêtre le 19 septembre à Québec, puis envoyé en mission auprès des Acadiens de la Nouvelle-Écosse l’année suivante. Il s’installe à Tracadièche (Carleton, Québec), mais sa mission couvre toute la baie des Chaleurs. Alors qu’il se rend à Québec en juillet 1774 pour visiter sa famille, Mgr Jean-Olivier Briand le nomme vicaire général en Acadie.

À l’automne, Bourg se rend à la rivière Saint-Jean et dans le sud-ouest de la Nouvelle-Écosse, ces établissements acadiens y étant jusqu’alors peu desservis. Profitant de son passage dans la région, les autorités de la Nouvelle-Écosse lui demandent d’intercéder en leur faveur auprès des Mi’kmaqs de la rivière Saint-Jean. Ceux-ci menaçaient en effet, en raison de l’absence prolongée d’un missionnaire sur leur territoire, de se joindre aux Américains. Bourg, qui réussit sa mission, parvint à obtenir la signature d’un traité par lequel les Amérindiens promettaient de rester neutres dans ce conflit. Il continue de jouer le rôle d’intermédiaire auprès des populations autochtones pendant toute la guerre d’Indépendance américaine.

Résidant à Tracadièche jusqu’en 1784, Bourg se voit transféré à Halifax par Mgr Briand en 1785. Ce dernier estimait en effet que cette ville était en voie de devenir un poste important du diocèse de Québec puisque le nombre de catholiques y avait augmenté de façon considérable durant les dernières années. Toutefois, avec l’arrivée à Halifax d’un second prêtre catholique, James Jones, Bourg décide de retourner à la baie des Chaleurs puisque les habitants ne pouvaient subvenir aux besoins de deux prêtres à la fois. Atteint d’une forte fièvre à l’hiver 1794-1795, il aurait déliré et prononcé des propos antireligieux, incitant les paroissiens à demander un autre missionnaire: il est alors transféré dans la paroisse de Saint-Laurent, près de Montréal, où il demeure curé jusqu’à sa mort en 1797.