Caput fu professionista dal 1942 al 1957 ottenendo importanti risultati grazie anche ad un buono spunto veloce capace di farlo lottare con i migliori ciclisti della sua epoca sia i brevi corse a tappe che nelle corse in linea.
Fu il primo vincitore della Gran Prix Eibar nel 1952 e vinse altre brevi corse a tappe francesi, inoltre fu terzo nel 1942 al Circuit de France, quinto nel 1948 al Tour de Luxembourg e secondo nel Critérimu Nationel nel 1956.
Nel 1946 vinse il Campionato nazionale (sarà terzo nel 1955) che quell'anno si disputava nella formula del challenger con una classifica finale a punti e nel 1948 ebbe una grande stagione poiché vinse la Parigi-Tours e salì sul podio di altre due classiche la Liegi-Bastogne-Liegi ed il Critérium des As.
Dal 1966 al 1978 è stato direttore sportivo di importanti formazioni avendo sotto la sua ala ciclisti del calibro di Raymond Poulidor e Joop Zoetemelk.
Nel 1955, curiosamente, riuscì a terminare tutti e tre i Grandi giri, la cosa risulta singolare poiché Caput nelle sue precedenti otto partecipazioni ai Grandi giri, tutte nella Grande Boucle, aveva portato a termine la prova solo in una occasione nel Tour de France 1951.