Змалку хотів стати художником. Але батько мріяв про військову кар'єру сина й віддав його до Полтавського кадетського корпусу, який він закінчив у 1863 році й виїхав на навчання до Санкт-Петербурга.
Закінчив Першу Санкт-Петербурзьку військову гімназію та Михайлівську артилерійську академію.
У 1870 році військового інженера, штабскапітана Миколу Ярошенка призначили на Петербурзький патронний завод, де він пропрацював понад двадцять років.
У 1892 році у званні генералмайора вийшов у відставку.
Ярошенко часто приїздив до України, зокрема, в останні роки життя — на Полтавщину та Чернігівщину.
Останні роки його життя і творчості пройшли в Кисловодську, де в 1885 році придбав будинок, так звану «Білу віллу», де жив та працював до самої смерті. Перебуваючи в Кисловодську, до Миколи Ярошенка заходили Дмитро Менделєєв, Микола Дубовський (рос.Дубовско́й), Михайло Нестеров. В останні роки життя, попри важку хворобу, Ярошенко багато мандрував по Росії та за кордоном: був на Волзі, в Італії, Сирії, Палестині та Єгипті. Був почесним громадянином Кисловодська.
Миколо Ярошенко похованний на території місцевого Свято-Микільського собору, що стоїть поруч з його «Білою віллою». На могилі в 1912 році встановли пам'ятник, що його створив Ярошенків товариш, скульптор з Полтавщини Леонід Позен за ескізом художника Михайла Нестерова.
11 березня1962 року в його відремонтованому та реставрованому будинку було відкрито Будинок-музей його імені.
Навчання та художня творчість
Ще в кадетському корпусі на нього звернув увагу художник Іван Зайцев[2].
У Санкт-Петербурзі Микола Ярошенко систематично займався малюнком та живописом під керівництвом Адріяна Волкова.
Навчався мистецтва під час студійних подорожей до мистецьких центрів Західної Європи (1880–95), Палестини, Єгипту тощо; з 1874 року часто бував на Кавказі.
1876 року його прийняли до Товариства пересувних художніх виставок, де він був одним із визначних представників. Від 1875 року виставляв свої роботи на його пересувних виставках, а від 1876 року до кінця життя був активним членом і одним із керівників товариства.
За своє творче життя створив понад 400 полотен і понад 1000 малюнків.
Як портретист Ярошенко створив цілу ґалерею портретів визначних людей культури, серед яких Миколи Ґе, Володимира Короленка, Володимира Соловйова. Найвизначніші твори Ярошенка: «Кочегар», «В'язень», «Студент», «Курсистка», «Старе й молоде», «Причини невідомі». Твори на українські теми: «Жид і українець», «Каліки під Києвом», «Жебраки з Києво-Печерської Лаври», «На гойдалці», «Всюди життя» та ін.