Ursprungligen låg här ett kruthus. Efter 1736 fick Djurgårdsinspektorn Stenberg fritt förfoga över detta område, även kallat Kaptensudden. I gengäld fick han övervaka och underhålla gamla Djurgårdsbron som vid den tiden låg lite längre österut än dagens. Vid brons södra brofäste där vägen mot Djurgården tog en tvär sväng mot sydost lät Stenberg uppföra ett stort putsat stenhus i två våningar. På udden framför huset fanns en vacker trädgård.
År 1835 förvärvades Kaptensudden med byggnader och allt av den trädgårdsintresserade protokollsekreteraren Lars Constans Pontin (1800–1891) som kom att namnge villan. Efter 1852 ägde han även Lilla Sickla i Nacka socken. Under Pontins tid dekorerades fasaderna med freskmålade girlanger, medaljonger och tänkespråk som ”Borta bra hemma bäst”. I huset fanns även ett café. Där serverades öl och läskedrycker. Landsortsbor som besökte stället första gången trodde att serveringen var en rest av Värdshuset Blå porten som brann ner 1869 och började kalla serveringen felaktig för ”Café Blå porten”.
Villan stannade i Pontins ägo till 1885 då Kaptensudden såldes till Allmänna Rundmålningsaktiebolaget som strax öster om villan uppförde Rundmålningsbyggnaden, en 20-sidig panoramabyggnad där man visade cykloramor. Under slutet av 1880-talet utannonserades den före detta Pontiska villan som ”vacker sommarbostad” med ”bekvämt läge” och 4 till 6 ”väl möblerade rum” inklusive jungfrurum, piano och isskåp om så önskades. Pontin själv bodde kvar i huset även efter försäljningen och avled där barnlös i april 1891.[1]
Villans vidare öden
År 1896 var Rundmålningsaktiebolaget tvunget att lämna Kaptensudden på grund av den stundande Allmänna konst- och industriutställningen som 1897 kom att ha sitt stora utställningsområde på Södra Djurgården och även på Kaptensudden. Pontins villa revs 1896, den ansågs av samtiden vara gammal och ful och fasadmålningarna ”lite konstiga”.[2] Dessutom stod huset i vägen för nya Djurgårdsbrons planerade raka utfart söderut där utställningens huvudentré var tänkt.
På platsen, något öster om den rivna villan, uppfördes utställningens administrationsbyggnad, en pastisch med tinnar och torn, som försvann igen efter utställningen.[3] Rundmålningsbyggnaden fanns kvar under utställningen men användes inte som cyklorama utan som servering och paviljong för kemist tekniska produkter. Byggnaden revs 1906. Udden kom 1908 i besittning av Djurgårdsförvaltningen. 1910 började den planteras och sedan 1916 står här Eldhs Wennerberg-staty.