En 2017, après une première saison en monoplace, Caldwell fait ses débuts en ADAC Formula 4 avec l’équipe ADAC Berlin-Brandenburg e.V. Caldwell n’était cependant pas éligible pour les points en raison du fait qu’il était un pilote invité. Son meilleur résultat cette année-là est une 17e place au Nürburgring. En 2018, il signe temps plein chez Prema Powerteam où il termine septième avec 125 points, montant quatre fois sur le podium signant même une victoire à Oschersleben.
Cette même année, il participe au Championnat d'Italie de Formule 4 avec l'écurie Mücke Motorsport. Des quinze courses auxquelles il a participé, il a enregistré dix points, ce qui l’a aidé à se retrouver onzième au championnat, à 273 points du champion Marcus Armstrong. En 2018, Caldwell est passé chez Prema où il a enregistré onze podiums, dont quatre victoires. Caldwell a été l’un des deux pilotes à remporter les 3 courses en un week-end. Il l’a fait à Vallelunga; Enzo Fittipaldi y est également parvenu à Misano. Caldwell termine troisième au classement des pilotes.
En janvier, Caldwell est annoncé par Trident comme l'un de leurs trois pilotes pour la saison 2020 de Formule 3.Cette première saison est difficile; il ne marque que 18 points et terminé seizième au classement des pilotes, derrière ses coéquipiers plus expérimentés David Beckmann et Lirim Zendeli. En 2021, Caldwell retourne chez Prema Racing pour la saison saison 2021, où il fait équipe avec Arthur Leclerc et Dennis Hauger. Il remporte la deuxième course de la saison à Barcelone, après avoir hérité de la tête de la course lorsque Hauger et Matteo Nannini se sont heurtées dans l'avant-dernier tour. Caldwell résiste aux attaques de Victor Martins dans le dernier tour pour remporter sa première victoire en F3. Alors que la manche suivante n'a pas été aussi réussie, avec seulement neuf points marqués sur le week-end, le Britannique est revenu sur le podium au Red Bull Ring, où il a terminé deuxième de la première course et troisième de la troisième course, où il a dépassé cinq voitures sur le chemin de la tribune. Le podium suivant de Caldwell a eu lieu lors de la course suivante à Budapest, avec une promotion à la deuxième place après que le vainqueur initial Lorenzo Colombo a reçu une pénalité de cinq secondes. Cependant, après un dernier tiers de saison décevant, dans lequel il n'a pas réussi à terminer sur le podium, Caldwell a terminé sa campagne huitième au classement des pilotes, deux places devant son coéquipier Leclerc.
2021-2022 : Formule 2
Le 24 novembre 2021, Campos Racing annonce le recrutement de Caldwell aux côtés du suisse Ralph Boschung pour les deux dernières manches de la saison 2021 de Formule 2 à la place de Beckmann. Il prend ensuite part aux tests d'après saison aux côtés de Boschung fin octobre. L'année suivante, les deux pilotes prennent de nouveau parts aux essais d'avant-saison avant d'être confirmés pour disputer la saison 2022. Durant la première moitié de saison il est nettement dominé par son coéquipier suisse qui marque tous les points de son écurie. Il faut attendre la manche autrichienne du Red Bull Ring pour qu'enfin Caldwell marque ses premiers points dans la discipline en terminant sixième de la course principale.