Dernier des sept enfants d'une famille résidant à Ardwick dans la banlieue de Manchester, Joe Brown devient rapidement un grimpeur de pointe et ouvre des voies nouvelles comme Llithrig à Clogwyn Du'r Arddu au nord du mont Snowdon. Il devient célèbre en tant qu'alpiniste dans les années 1950 et est membre du Valkyrie climbing club et membre-fondateur du Rock and Ice climbing club. Il ouvre plusieurs nouvelles voies qui sont à l'époque parmi les plus difficiles. En 1955, il réussit en compagnie de George Band la première ascension du Kangchenjunga dans l'Himalaya du Népal. Joe Brown reste également dans les mémoires pour avoir été, avec Chris Bonington et Tom Patey, le premier à escalader le rocher écossaisOld Man of Hoy en 1966. Quinze ans plus tard, il a reproduit l'exploit pour un documentaireTV populaire avec sa seconde fille Zoe. La personnalité pétillante de celle-ci l'a conduite à être choisie comme présentatrice pour l'émission TV pour enfants Tiswas.