Ahlin blev som ny riksdagsman suppleant i utrikesutskottet, där han sedan var aktiv fram till 2014. Han var ordförande för utrikesutskottet 2002–2006 och vice ordförande 2006–2014. Han var även ledamot i Utrikesnämnden och OSSE-delegationen.[1] Ahlins erfarenhet av utrikesfrågor gjorde att han inför valen 2010 och 2014 nämndes som en tänkbar socialdemokratisk utrikesminister. Han blev som utrikespolitiker känd bland annat för sitt arbete med Östersjösamarbetet[8] och för sitt engagemang för länderna i Central- och Östeuropa. Han lyckades under våren 2007 efter förhandlingar i Iran att få två spiondömda svenskar frigivna.[9] Något år senare medlade han mellan USA och Vitryssland vilket ledde till att den socialdemokratiska politikern och presidentkandidaten Alaksandr Kazulin släpptes ur vitryskt fängelse.[10]
Han satt fram till 2014 i Socialdemokraternas partistyrelse, varav 2013–2014 som ersättare i verkställande utskottet. 2005–2014 var han ordförande för Socialdemokraterna i Skaraborg. Vidare är han medlem i trilaterala kommissionen samt en av grundarna av tankesmedjan European Council on Foreign Relations (ECFR). Tidigare har han varit director i East-West Institutes styrelse.
Socialdemokraternas partiledare Håkan Juholt ville 2012 se Ahlin som ny gruppsekreterare för riksdagsgruppen och vice partisekreterare, i praktiken en roll som partiledarens närmaste medarbetare. Ahlin utsågs också till gruppsekreterare när Socialdemokraternas riksdagsgrupp höll möte 17 januari,[11] men efter att Juholt bara några dagar senare avgick som partiledare blev Ahlins period på posten kort. Ahlin fortsatte istället som utrikespolitisk talesperson fram till valet 2014. Den 29 september 2014 valdes Ahlin enhälligt till riksdagens talman.[12] Han satt på posten under fyra år och kandiderade inte för omval till riksdagen 2018.[13]
Han var svensk ambassadör i Kanada 2019–2023[6] och är svensk ambassadör i USA sedan 2023.[7]
