Cominciò la carriera nello Sloga di Novi Sad nel 1947. Passò al Vojvodina nel 1951 e rimase in Jugoslavia fino al 1961, con una parentesi al Partizan nel 1953.
Successivamente giocò in Italia con la Sampdoria (1961-62) dove arrivò con Vujadin Boškov, in Austria con il First Vienna (1962-64), in Belgio con l'Union Saint-Gilloise (1964-65) e terminò di giocare in Austria con l'Austria Klagenfurt (1965-68). Ricoprì un ruolo, quello di ala sinistra, che è stato il più ricco di talenti e fuoriclasse nella storia del calcio jugoslavo: da Zebec a lui, da Skoblar a Džajić fino a Šurjak e in epoca ex jugoslava Davor Šuker (capocannoniere dei Mondiali del 1998).
Nel 1956 fece parte della Nazionale che conquistò la medaglia d'argento, sconfitta in finale dall'URSS per 1-0, al torneo calcistico delle Olimpiadi di Melbourne di cui fu il capocannoniere con quattro reti. Sia alle Olimpiadi precedenti che a quelle successive, furono gli attaccanti jugoslavi ad aggiudicarsi il trofeo di capocannoniere: nel 1952 a Helsinki, fu il croato Zebec, con 7 reti. Nel 1960 a Roma, il serbo Galić, anch'egli con 7 goal. In entrambe le occasioni, come nel 1956 a Merlbourne, la Jugoslavia fu medaglia d'argento.
Nel 1954 la Jugoslavia sconfisse l'Italia, a Torino per 4-0, con una rete di Veselinović.
Allenatore
Dopo essersi ritirato, Veselinović allenò diverse squadre in giro per il mondo come l'Ind. Santa Fe in Colombia e il Fenerbahçe in Turchia. Con quest'ultima squadra vinse due campionati (1985, 1989) ed altri otto trofei nazionali. Nella primavera del 1986 Veselivonić ebbe anche una parentesi italiana, venendo chiamato a guidare il Catanzaro Calcio all'indomani dell'esonero di Pietro Santin, un'esperienza positiva però conclusasi con la retrocessione in C1 nonostante il bel gioco espresso e diverse vittorie altisonanti ottenute.
Fu commissario tecnico della Colombia negli anni 1972-1973 (culminati con la partecipazione ai Giochi Olimpici di Monaco 1972 dove perse nettamente da Polonia e Germania Est e batté il Ghana) e della Jugoslavia durante il campionato d'Europa 1984, dove la Nazionale uscì al primo turno dopo aver perso tutte le partite del girone.