Seeldrayers werd geboren in Duitsland. Zijn vader (Émile) was schilder[1] en zijn jongere broer (Fritz) werd architect. Seeldrayers studeerde rechten aan de Université Libre de Bruxelles, alwaar hij leerde kennismaken met sport. Op zijn negentiende was hij een van de oprichters van de Union royale belge des Sociétés de football association (URBSFA). Hij was zelf vier jaar penningmeester en 25 jaar raadslid voor deze organisatie. Later werd hij ook tot erelid verkozen.
In 1898 was Seeldrayers Belgisch kampioen op de 110 m horden. In 1899 besloot hij zich te richten op een carrière als sportjournalist. Hij schreef onder het pseudoniem Spectator columns voor het tijdschrift La vie sportive.
In 1914 werd Seeldrayers benoemd tot afgevaardigde van de FIFA. In 1927 werd hij vicepresident van deze organisatie. In 1920 was hij technisch secretaris bij de Olympische Zomerspelen 1920 in Antwerpen. In de jaren erop trad hij geregeld op als jurylid bij de olympische voetbalwedstrijden, waaronder de Olympische Zomerspelen 1936 in Berlijn.
Tijdens zijn leven was Seeldrayers betrokken bij de oprichting van veel sportclubs en -organisaties. Zo richtte hij in 1909 het Nationaal Comité voor lichamelijke opvoeding op, en fuseerde dit met het Belgisch Olympisch Comité. Andere clubs waar Seeldrayers aan bijdroeg zijn de Royal Waterloo Golf Club, de voetbalclub van Elsene, en de Anglo-Belgische Cricket Sporting Club.
Tijdens de Tweede Wereldoorlog stonden Seeldrayers' activiteiten op een lager pitje. Wel was hij tijdens de Duitse bezetting lid van het Belgisch Olympisch Comité, en zette hij zich in voor de onafhankelijkheid van Belgische sport. Na de oorlog was hij van 1946 tot 1955 het Belgisch lid van het Internationaal Olympisch Comité en in die hoedanigheid ook betrokken bij de organisatie van de eerste naoorlogse spelen, in 1948.
In 1954 werd Seeldrayers benoemd tot vierde president van de FIFA in opvolging van Jules Rimet, die zich terugtrok. Deze machtsoverdracht, alsmede zijn optreden tijdens het Wereldkampioenschap voetbal in 1954, werden voor het eerst op televisie uitgezonden. Als president was Seeldrayers onder andere betrokken bij het opstellen van reglementen voor amateurclubs en -sporters ten opzichte van professionals. In 1955 trok Seeldrayers zich terug als president. Kort na zijn aftreden als president stierf Seeldrayers aan de gevolgen van een ziekte.