Il est le fils de l'industriel et commerçant Feodor Kiseleff. Il obtient son baccalauréat en 1852. Dans les années 1856–1863 il étudie entre autres en Italie, à Paris et à Munich.
Kiseleff est architecte indépendant jusqu'en 1869. En 1869 il est employé comme architecte supplémentaire à la Direction des bâtiments de Finlande. De 1875 à 1886 il est architecte en chef de cette direction.
Plus tard il fonde avec Elia Heikel le cabinet d'architectes Heikel & Kiseleff.