Dahl var äldsta barnet i en stor syskonskara. Hans far var fiskare från Eivindvik norr om Bergen. Han skulle egentligen bli dekorationsmålare, men när hans talang uppdagades samlades det in pengar för att bekosta vidare studier. Han studerade för Johan Dreier i Bergen och vid Kunstakademiet i Köpenhamn 1811–1817.
I Köpenhamn skapade han sig ett namn och flyttade 1818 till den sachsiska huvudstaden Dresden, centrum för den tidiga tyska romantiken, där han förblev bosatt under återstoden av sitt liv. Han företog en längre resa till Italien 1820–1821 där han bland annat besökte Neapel på inbjudan av danske kronprinsen Kristian Fredrik. Där bevittnade han Vesuvius utbrott, vilket inspirerade honom till ett flertal målningar.
Han blev 1824 professor vid Dresdens konstakademi, där han knöt nära vänskapsband med kollegan och landskapsmålaren Caspar David Friedrich; från 1823 och till Friedrichs död var de även grannar. De båda konstnärerna delade respekten för naturens storslagenhet, men till skillnad från Friedrich uttryckte Dahl detta mindre genom symboler och mer genom att förlita sig på naturens egen storhet. Han ägnade sig nästan uteslutande åt landskapsmåleri och målade ett stort antal norska landskap; inledningsvis kan man betrakta dessa som fantasilandskap eftersom han varit bosatt utomlands så länge och dessutom inte sett särskilt mycket av landet utanför födelsestaden Bergen. År 1826 företog han dock en längre resa hem till Norge då han reste från Christiania (nuvarande Oslo) via Telemark och Hardangervidda till Bergen. Resan gav uppslag till flera av hans mest omtyckta verk såsom Vinter vid Sognefjorden (1827).