Né à Livourne, il commence le football dans le club de sa ville chez les jeunes avant d'y jouer chez les seniors à partir de la saison 1954-55, alors entraîné par Mario Magnozzi, qui le met en défense.
En 1959, après 5 ans passés au club, il est transféré à la SPAL pour un an avant de rejoindre l'Inter Milan en 1960, club avec lequel il gagne tous ses trophées. Il y est alors un titulaire indiscutable et en devient le capitaine comme libéro. Il gagne trois scudetti, deux coupes intercontinentales et deux ligues des champions.
En 1970, il prend les rênes à seulement 35 ans du club piémontais de la Juventus, fortement voulu par le directeur général du club Italo Allodi (et devient le plus jeune entraîneur de Serie A). À la Juve, il dirige son premier match sur le banc en coupe le lors d'un nul 1-1 contre l'Hellas Vérone, mais, après 16 succès en 27 matchs[1], doit quitter son poste le à cause d'une grave maladie. Il est alors remplacé en urgence par l'entraîneur de l'équipe jeune Čestmír Vycpálek.
Il est retrouvé mort à 35 ans, le à Sanremo. Le jour de ses funérailles, tous les magasins de sa ville de naissance de Livourne ferment entre 17h30 et 19h avec écrit « in memoria di Armandino » (en mémoire d'Armandino).
Depuis 1990, le stade de sa ville natale de Livourne où joue l'AS Livourne Calcio a été renommé et porte son nom : Stade Armando Picchi. Toujours dans la cité toscane fut ensuite créée une équipe de football nommée l'Armando Picchi Calcio.
