Мураяма народився в місті Ойта, префектури Ойта. Він закінчив університет Мейдай і почав політичну кар'єру як депутат міської, а потім префектурної ради Оїти.
З вересня 1993 по вересень 1996 обирався головою ЦВК Соціалістичної партії Японії, а потім Соціал-демократичної партії.
З червня 1994 по січень 1996 був прем'єр-міністром коаліційного трьохпартійного уряду Японії. Очоливши його, він здійснив в 1994 році крутий поворот в політиці своєї партії: вона визнала конституційність Сил Самооборони і погодилася з японо-американським договором безпеки.