Vier jaar later nam hij opnieuw deel aan de olympische moderne vijfkamp op de Olympische Zomerspelen van 1924 in Parijs. Daar behaalde hij de zilveren medaille en moest hij enkel zijn landgenoot Bo Lindman laten voorgaan. Hij nam in 1924 tevens deel aan het schermen, en meer bepaald aan het onderdeel van de degen in teamverband.
Nogmaals vier jaar later nam Dyrssen deel aan de Olympische Zomerspelen van 1928 in Amsterdam, zij het voortaan enkel in het schermen. Hij nam opnieuw deel aan het onderdeel van de degen, ditmaal zowel individueel als in teamverband.
In 1936 nam hij een vierde en laatste maal deel aan de Olympische Spelen. Op de Olympische Zomerspelen van dat jaar in Berlijn nam hij opnieuw zowel individueel en als lid van het Zweedse team deel aan de degencompetitie. Als lid van het Zweedse degenteam behaalde hij hierbij de zilveren medaille.
.svg)
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
