O seu percurso pessoal teve um início invulgar para um político, uma vez que não frequentou a Universidade, tendo ingressado cedo no mundo do trabalho. Ainda assim, foi capaz de se afirmar no seio do Partido Conservador britânico, em larga medida graças à sua competência e à sua experiência no domínio económico.
Major conquistou assento na Câmara dos Comuns em 1979, ano em que Margaret Thatcher chegou ao poder. Em 1987 tornou-se secretário de Estado do Tesouro. Em 1989 a primeira-ministra Thatcher nomeou-o para o importante cargo de ministro dos Negócios Estrangeiros, posto que só ocuparia por três meses devido a uma remodelação ministerial que o viria a tornar ministro das Finanças 1989-1990. Entretanto, ia-se cada vez mais assumindo como figura de proa do Partido Conservador.
Quando, sob forte pressão política, Thatcher se demitiu do Governo, em Novembro de 1990, Major ocupou o lugar de primeiro-ministro. Para alguns críticos, a sua posição nunca foi segura, estando em permanente risco de ser derrubado pelos resultados eleitorais. Porém, e contra a maior parte das expectativas, Major obteve em 1992 uma vitória preciosa sobre o Partido Trabalhista, o que lhe permitiu consolidar a sua posição.
Mas as suas opções em matéria de política externa, no que concerne especificamente a integração europeia, desagradaram a certos sectores do seu próprio partido, embora Major conseguisse condições especiais para o país aquando da assinatura do Tratado de Maastricht (direito de não adoptar a moeda única europeia, de não participar na política comum das pescas, de manter reservas quanto à política externa e de defesa da União Europeia), tendo sido notadas algumas divisões entre os deputados conservadores, que fragilizaram a própria posição do líder no Parlamento.
O desgaste do Partido Conservador e do seu líder revelou-se de forma concludente a 1 de Maio de 1997, altura em que o Partido Trabalhista, sob a direcção de Tony Blair, venceu as eleições gerais e chegou ao poder. Em consequência da derrota, Major abandonou a liderança do seu partido.