Dal 1834 al 1838 studia a Lipsia, dove acquisisce una conoscenza della lingua araba e persiana. Nel 1842 si laurea in Filosofia e nel 1847 accetta l'incarico presso l'Università di Oslo (allora chiamata Christiania) dove rimarrà per il resto della sua vita, declinando offerte delle università di Rostock nel 1850, di Dorpat nel 1856 e di Erlangen nel 1857 e nel 1867. La sua abilità linguistica gli permette di padroneggiare velocemente la lingua norvegese, in modo da iniziare le lezioni dopo meno di un anno.
Professore ordinario dal 1857, nel corso della sua carriera universitaria lavora ad esegesi di numerosi libri del Vecchio e del Nuovo Testamento e scrive trattati introduttivi del Vecchio Testamento. Le sue lezioni sono stimolanti ed approfondite e testimoniano una viva fede cristiana. Seguace di Hengstenberg rimarrà fino alla fine un avversario della moderna critica biblica.
Caspari intraprende inoltre un'attenta indagine sulle questioni connesse alla formula battesimale ed alla sua storia e sull'argomento pubblica una lunga serie di articoli e saggi, la maggior parte dei quali in lingua norvegese.
Sotto gli auspici della Società Biblica Norvegese di cui è diventato membro del direttivo, Caspari collabora ad una nuova traduzione del Vecchio Testamento, completata il 26 maggio 1891, per il settantacinquesimo anniversario della Società. Al momento della sua morte stava lavorando alla traduzione del Nuovo Testamento.
