I primi progetti riguardanti la costruzione di un'arena nella zona risalgono al 1931, quando si pensò di costruire una piscina e altre strutture sportive in prossimità dello Swedish Exhibition and Congress Centre. Tuttavia negli anni successivi, con lo scoppio della seconda guerra mondiale (1939), questi progetti furono abbandonati.
La Valhallabadet in primo piano con lo Scandinavium sullo sfondo
Nel 1948 vennero ripresi i progetti pre-conflitto, modificati e ampliati dall'architetto svedese Poul Hultberg, ma un dibattito politico ne pospose la costruzione fino agli anni '60. Nonostante ciò durante gli anni '50 è stata costruita la piscina presente nel progetto originale, la Valhallabadet.
Nel 1968 si decise di finire la costruzione in tempo per il 350º anniversario della città di Göteborg, perciò la città costituì una società per procedere all'apertura dei cantieri e richiese a Hultberg di riprendere il progetto sviluppato 23 anni prima. Il costo, stimato di 23 milioni di corone, diede vita a diverse proteste, che tuttavia non ritardarono ulteriormente la costruzione.
L'inaugurazione avvenne il 18 maggio 1971, e in quel momento lo Scandinavium risultava essere la più grande arena coperta nel Nord Europa per numero di spettatori (un massimo di 14 000).
