Dzimta cēlusies no Cvikavassudraba raktuvju īpašniekiem Mārtiņa un Nikolaja Rēmeriem Saksijā, kas 1470. gadā tika uzņemti dižciltīgo kārtā un ieguva dzimtas ģerboni. Par dzimtas Baltijas atzara aizsācēju uzskata Rīgas tirgotāju Simonu Rēmeru (Symon Romer), kas 1561. gadā pieminēts Livonijas kara laikā.
1670. gadā dzimtas Saksijas atzars atzina radniecību ar Lietuvas dižkunigaitijas kambarkungu pulkvedi Matīsu Rēmeru (Matthias Römer, miris 1690), Kurzemes un Zemgales hercogistes muižnieku majoru Kristapu Rēmeru, Sēlpils draudzes novada Alstiķu muižas (Halswigshof) īpašnieku, kā arī ar kapteini Heinrihu Rēmeru, Mercendorfas muižas īpašnieku.