Родился 15 (28 февраля) 1908 года в Котельниче (ныне Кировская область) в семье земского дорожного техника. В 1924 году окончил среднюю школу и уехал в Ленинград, где прожил всю жизнь.
В 1927 году начал публиковать первые рассказы из студенческой жизни. В 1929 году первая повесть Рахманова — «Полнеба», была опубликована в ленинградском журнале «Звезда». В 1931 вышла повесть «Племенной бог» (1931), о жизни студенческой молодёжи конца 1920-х годов. В 1933 вышла повесть «Базиль». В 1934 году вышла повесть «Умный мальчик», написанная под впечатлением от поездки на север.
В 1936 году Рахманов написал сценарий фильма «Депутат Балтики» (1936), принёсший ему широкую известность.
В 1937 году Рахманов написал пьесу «Беспокойная старость», которая была поставлена в более чем 400 театрах СССР. В 1956 году пьеса была поставлена во МХАТе имени М. Горького.
Во время финской компании 1939—1940 годов и в начале Великой Отечественной войны работал военным корреспондентом.
В 1945 году была издана пьеса «Окно в лесу» (1945), описывающая события военных лет.
Автор повестей «Камень, кинутый в тихий пруд» (1964), «Домик на болоте» (1959, в соавторстве с Евгением Рыссом), пьесы о Чарльзе Дарвине «Даунский отшельник» (1944), повести об Александре Невском «Кто с мечом войдет» (1953), киносценариев «Михайло Ломоносов» (1954) и «Явление Венеры» (1961), книги «Люди — народ интересный» (1978).
После войны в Ленинграде было создано Центральное литературное объединение при Союзе писателей, которое возглавляли два человека — прозаик Леонид Николаевич Рахманов и моя любимая тетка Маргарита Степановна Довлатова, в те годы — старший редактор издательства «Молодая гвардия». Причем основная идеологическая нагрузка ложилась именно на неё, поскольку Рахманов был беспартийным, а моя тетка — давним и более-менее убежденным членом партии. Рахманов был известен как очень культурный, благородный и доброжелательный человек, а о своей близкой родственнице мне говорить куда сложнее. <...>
Ни моя тетка, ни Леонид Рахманов не были влиятельными людьми, так что, пробивая в печать труды своих воспитанников, они обращались за помощью и содействием к Вере Пановой или Юрию Герману.
