Bhimsen Joshi est né à Gadag dans le Karnataka, dans une famille Kannadiga(en). En 1933, à seulement 11 ans, Bhimsen quitte le domicile familial de son propre chef afin d'apprendre le chant via la tradition Guru-Shishya (Maître-Disciple). Il passe 3 ans à Gwâlior, Lucknow et Rampur dans le nord de l’Inde à la recherche d'un bon maître. Mais son père, parti à sa recherche, finit par le retrouver et le ramène au foyer.
En 1936, Rambhau Kundgolkar(en), connu sous le nom de Sawai Gandharva(en), accepte d'enseigner la musique hindoustanie à Bhimsen Joshi de 1936 à 1940. Ce dernier le quitte et s'impose un régime strict allant jusqu'à 16 heures de riyaz quotidien (pratique musicale).
Bhimsen Joshi se produit pour la première fois en concert à l'âge de 19 ans, puis sort son premier album un an plus tard, composé de quelques chants dévotionnels en kannada et hindi.
Plus tard, à la mémoire de son maître, il initie un festival annuel de musique classique (le Sawai Gandharva Music Festival(en)) qui se tient à Pune au mois de décembre.
Son fils, Sriniwas, est également chanteur et compositeur.