Seit der Gründung 1795 bis 1917 trug das Dorf den Namen Wjasenka (В'язенка).
Eine interessante Sehenswürdigkeit in der Nähe von Rybaltsche sind die Leuchttürme Stanislaw-Adschihol, der einige hundert Meter vor dem zu Rybaltsche gehörenden Küstenabschnitt des Dnepr-Bug-Limans stehend, den Schiffen den Weg weist. Westlich Rybaltsche liegt das Biosphärenreservat Schwarzes Meer, das für Naturfreunde interessant ist.
Kriegerdenkmal
Weiterhin befindet sich in Rybaltsche ein Denkmal für die Gefallenen der Dnepr-Karpaten-Operation der Roten Armee im Winter 1943/44, während derer in der Umgebung von Cherson schwere Gefechte mit großen Verlusten stattfanden, um den Übergang über den Dnepr auf das westliche Ufer zu gewährleisten.
Am 27. März 2017 wurde das Dorf ein Teil der neugegründeten Landgemeinde Tschulakiwka[1], bis dahin bildete es zusammen mit dem Dorf Zabaryne (Забарине) und der Ansiedlung Wynohradne die gleichnamige Landratsgemeinde Rybaltsche (Рибальченська сільська рада/Rybaltschenska silska rada) im Nordwesten des Rajons Hola Prystan.
