На початку 1930-х років працював у банках Нью-Йорку, Парижу, Лондона. Тоді ж він на прохання батька, а пізніше і через захоплення архітектурою присвятив себе створенню Рокфеллер-центра в Нью-Йорку. У 1933 році він замовив розпис Рокфеллер-центру популярному мексиканському художникові лівих поглядів Дієго Рівері. Проте, після завершення розпису, попросив Ріверу прибрати з неї зображення радянського лідера В. І. Леніна, фігура якого викликала неоднозначну реакцію у США.
Коли художник відмовився це зробити, розгорівся скандал між ним і Рокфеллером. Виплативши Рівері гонорар, Рокфеллер звільнив його і повністю знищив його роботу. Фраза молодого Рокфеллера: «Це моя стіна»! увійшла до приказки в США. Інцидент отримав великий розголос в США і інших країнах. Він широко освітлювався в ЗМІ і викликав бурхливі дискусії. Ця історія також обіграна в кінофільмах (у тому числі в х/ф «Фріда» 2002 р.).
У політиці з 1940-х рр., член Республіканської партії, при демократах Рузвельті і Трумені брав участь в різних урядових комісіях, у 1951—1952 рр. голова консультативної ради з питань міжнародного розвитку. У республіканській адміністрації Ейзенхауера був заступником міністра. У 1954—1955 рр. спеціальний помічник президента Ейзенхауера із зовнішньополітичних питань.
З 1959 по 1973 року губернатор штату Нью-Йорк, мав репутацію ліберала і лідера помірного крила республіканців. Починаючи з 1960 року намагався отримати у Республіканської партії висунення своєї кандидатури на президентство, але чотири рази підряд невдало (1960; 1964; 1968; 1972).
Після відставки Річарда Ніксона у 1974 році президентом став другий віце-президент Джеральд Форд. Форд був віце-президентом, оскільки обраний на цю посаду Спіро Агню був вимушений піти у відставку ще раніше, ніж сам Ніксон. Відповідно до 25-ї поправки до Конституції США пост віце-президента, на якому відкрилася вакансія, мав бути заміщений Конгресом з представлення президента.
Форд зупинив свій вибір на Рокфеллері, який був упродовж довгого часу ефективним губернатором найбільшого штату. Конгресмени обох палат цікавилися більше не політичними здібностями кандидата, які були безперечні, а тим, чи не вплине на його діяльність причетність до фінансової еліти і величезне особисте багатство. Після довгих дебатів Палата представників і Сенат затвердили Рокфеллера віце-президентом 19 грудня1974 року.
Він став другим і доки останнім віце-президентом, який вступив на посаду відповідно до 25-ї поправки, після самого Форда.
Рокфеллер обставив і багато прикрасив на свої засоби віце-президентську резиденцію у Вашингтоні, хоча фактично не жив там, вже маючи у Вашингтоні будинок. Йдучи з поста, він залишив усю обстановку в резиденції у власності держави, і нею користуються всі подальші віце-президенти. Під час однієї з публічних розмов у 1976 року присутні хіппі стали висміювати Рокфеллера, тоді він, розсердившись, показав їм середній палець, що було зафіксовано на фото, що здобуло велику популярність.
У листопаді 1975 Форд повідомив Рокфеллеру, що планує балотуватися на другий термін і обрав у якості кандидата у віце-президенти іншу особу — відомого республіканця, сенатора Боба Доула. Утім, тандем Форд — Доул програв тандему демократів Картер — Мондейл. Через кілька років Форд визнавав, що викреслення Нельсона Рокфеллера зі списку кандидатів на виборах було однією із найбільших помилок його політичної кар'єри[4].
Нельсон Рокфеллер помер у Нью-Йорку через 2 роки після відходу з посади, 26 січня1979 року, «від серцевого нападу під час статевого акту», як офіційно вказано в його свідоцтві про смерть. Коханкою 70-річного політика була його 25-річна секретарка Меган Маршак.
Його син Майкл Рокфеллер — етнограф і антрополог, зник безвісти в 1961 році у Новій Гвінеї під час наукової експедиції.