Shiloh est né en 1985 à Ukiah en Californie. Son père est d'origine portugaise et russe et sa mère est d'origine britannique. Il commence sa carrière d'acteur à l'âge de cinq ans. Son oncle, Tom Fernandez, est un moine SRF à Encinitas, et son oncle, Ed Fernandez, est un avocat de la défense bien connu à San Jose, en Californie.
Il a un frère cadet et une sœur aînée. Il est le meilleur ami de l'acteur Thomas Dekker. Il se met en couple, en 2008, avec l'actrice anglaise Juno Temple mais ils se séparent ensuite en 2011[réf. nécessaire].