Carlyle nació en Glasgow, hijo de Elisabeth, empleada de una empresa de autobuses, y Joseph Carlyle, un pintor y decorador. Su madre los dejó cuando Carlyle tenía sólo tres años.
A los dieciséis años, dejó la escuela sin títulos y se fue a trabajar con su padre como pintor y decorador; sin embargo, continuó su educación asistiendo a clases nocturnas en el Colegio Cardonald, en Glasgow.
Carlyle cursó estudios de interpretación en el Centro de Artes de Glasgow desde la edad de 21 años, tras haber sido inspirado por la lectura de El Crisol, de Arthur Miller.
En 1991 fundó una compañía teatral llamada Raindog con la ayuda de otros cuatro actores, y se hizo socio de la productora cinematográfica británica 4 Ways.
Llamó por primera vez la atención del público cuando interpretó al asesino Albie Kinsella en la serie de televisión Cracker, protagonizada por Robbie Coltrane (en un episodio donde mata al personaje de Christopher Eccleston). Pronto consiguió su primer papel protagonista para la comedia de la BBCHamish Macbeth, en 1995.
En el cine debutó con papel protagonista en la película Riff-Raff (1991) de Ken Loach.
Fue entre 1996 y 1997 cuando su fama aumentó considerablemente en lo que son, sin duda, los dos papeles principales más importantes de su carrera hasta la fecha: el trastornado Francis Begbie en Trainspotting y Gaz, el apacible líder de un grupo de aficionados estríperes masculinos en The Full Monty.
También en 2002 protagonizó, junto a los hermanos Gallagher, el vídeo de la canción Little by little, del álbum Heathen Chemistry.
En 2003 interpretó magistralmente a Adolf Hitler (joven adulto), previo a la Segunda Guerra Mundial, un difícil papel dadas las características únicas del personaje, en la serie de TV Hitler: The Rise of Evil (serie de TV) ganadora de dos premios Emy.
En los últimos años su carrera ha estado más centrada en la televisión, pero sin olvidar el cine. En diciembre de 2008, Carlyle apareció en 24: Redemption, una película para la televisión de la popular serie 24, protagonizada por Kiefer Sutherland; en 2009 protagoniza la nueva serie de la franquicia Stargate: Stargate Universe, en la que interpreta al Dr. Nicholas Rush, ese mismo año participa en film de cine negro llamado The Tournamenty en 2011 interpreta a Rumpelstiltskin en la serie Once Upon a Time de la cadena ABC.
Está casado con Anastasia Shirley. Se conocieron cuando ella trabajaba como maquilladora en la serie de televisión Cracker. La pareja tiene tres hijos: Ava (nacida en 2002), Harvey (nacido en marzo de 2004) y Joseph Pearce (nacido en abril de 2006).
.svg){kind=small}
