Conformément aux intentions du propriétaire, Antoine Herzog, d'origine alsacienne, celui-ci a donné à cette voie le nom de la ville de Logelbach, village manufacturier des environs de Colmar et commune où il était né, en souvenir de l'Alsace-Lorraine, à l'époque territoire allemandannexé, et dont il était originaire. Antoine Herzog a donné aux rues des noms de villes de Moselle comme la rue de Phalsbourg et d'Alsace comme la rue de Thann ou la rue de Logelbach.
En 1874, un spéculateur d'origine alsacienne, Antoine Herzog, achète quatorze hectares de terrain entre le parc Monceau, la rue d'Offémont et la place Malesherbes. Il regroupe ses terrains avec ceux de madame Deguingand et écrit au préfet de la Seine pour obtenir l'autorisation de percer trois nouvelles voies pour bâtir ces terrains :
« Propriétaire de terrains situés boulevard de Courcelles et place Malesherbes et d'accord avec madame Deguingand, propriétaire de divers terrains dans le même quartier, j'ai le projet d'ouvrir sur l'ensemble de ces terrains trois rues dont l'une de 16 mètres de large allant de la rotonde du parc Monceau à l'angle formé par la place Malesherbes et la rue d'Offémont […] M'engageant tant en mon nom qu'au nom de madame Deguingand à céder gratuitement à la Ville de Paris, le sol de nos voies, notre propriété exclusive d'un bout à l'autre. Je m'engage à faire exécuter, dans le courant de l'année 1878, à mes frais, tous les travaux de viabilité, d'assainissement, d'égout, de conduites d'eau et d'appareils d'éclairage nécessaires à ces trois rues conformément aux projets qui seraient dressés par les agents du service municipal […] Je m'engage à déposer d'avance la somme nécessaire à ces travaux en demandant à la Ville de vouloir bien se charger de les faire exécuter. Nous demandons en échange que la Ville veuille bien classer les voies et les recevoir. »
Cette rue est classée dans la voirie de Paris et prend sa dénomination par décret du :
« Le président de la République française, sur le rapport du ministre de l'Intérieur et des Cultes, vu la délibération du Conseil municipal de Paris en date du 4 mai 1878 ; l'arrêté du préfet de la Seine du 16 janvier 1879, portant approbation du traité intervenu entre la ville de Paris et les consorts Herzog et Deguingaud, relativement à la cession de trois rues et d'un carrefour établis par ces propriétaires sur leurs terrains, dans le 17e arrondissement ; le plan des lieux et le procès-verbal d'enquête ; l'avis du préfet et les autres pièces de l'affaire ; la loi du 16 septembre 1807, le décret du 26 mars 1852 et l'ordonnance du 23 août 1835 ; le Conseil d’État entendu, décrète :
Article 1 : sont classées comme rues de Paris les trois voies publiques ouvertes dans le 17e arrondissement de cette ville, sous le nom des rues de Phalsbourg, de Logelbach et de Thann, ainsi que le carrefour établi à leur débouché sur le boulevard de Courcelles. Les alignements de ces rues et de ce carrefour sont arrêtés conformément aux lisérés bleus du plan ci-annexé. Les cotes de nivellement en sont fixées telles qu'elles sont figurées au même plan par des chiffres rouges.
Article 2 : le ministre de l'Intérieur et des Cultes est chargé de l'exécution du présent décret.