Il est le fils de Jean-Louis Stoltz (1777-1869), ancien officier de santé et ampélographe de renom. Il commence sa scolarité à Sélestat avant de poursuivre des études médicales à Strasbourg en 1819. Il est docteur en médecine en 1826 puis professeur agrégé en 1829. Il est nommé directeur de l'École départementale d'accouchement de Strasbourg en 1846. En 1867, il est doyen de la Faculté de médecine de Strasbourg. Il est le maître d'Eugène Koeberlé.
Il est élu membre correspondant non-résidant à l'Académie de médecine le .
Œuvres et publications
Considérations sur quelques points relatifs a l'art des accouchemens, [dissertation pour obtenir le grade de docteur en médecine], Strasbourg, F.G. Levrault, 1826.
De la délivrance, [thèse de médecine, Strasbourg], [s.n.], 1834.
Histoire d'une opération césarienne pratiquée avec succès pour mère et l'enfant le , Paris, Baillière, 1836.
Note sur le développement incomplet d'une des moitiés de l'utérus et sur la dépendance du développement de la matrice et de l'appareil urinaire, [présentée à l'Académie des sciences de Paris en 1856], Strasbourg, impr. de G. Silbermann, 1860, lire en ligne sur Gallica
« Clinique obstétricale. Deux observations de grossesse trigémellaire, avec leçons cliniques », Gazette médicale de Strasbourg, Strasbourg, 1868.
Bibliographie
« Le Professeur Stoltz », Le Passe-Temps d'Alsace-Lorraine, s.n (S.l), Nancy, 1896, lire en ligne sur Gallica.
« Nécrologie. M. Le Pr Stoltz (de Strasbourg) », Le Progrès médical : journal de médecine, de chirurgie et de pharmacie, 1896, série 3, tome 3, p. 351 , Texte intégral en ligne.
Jean-Luc Wolf, Vie et œuvre de Joseph-Alexis Stoltz (1803-1896), [thèse de médecine, Strasbourg], Strasbourg, 1990.
Jean-Luc Wolf, « Alexis Stoltz (1803-1896), ou l'unification de l'enseignement obstétrical », Jacques Héran (dir.),Histoire de la médecine à Strasbourg, La Nuée bleue, Strasbourg, 1997, (ISBN2716502196)
Jean-Marie Mantz, « Joseph-Alexis Stoltz (1803-1896), doyen des deux Facultés », Histoire des sciences médicales, 2000, 34 (2), pp. 133-140, Texte intégral.
Géraldine Hetzel, « Un échange scientifique autour de la formation des sages-femmes à Bourg-en-Bresse », Histoire des sciences médicales, 2013, 47 (2), pp. 251-261.