Het idee van een nieuw gebouw ontstond zeventien jaar geleden, toen het Groothertogdom een van de zes stichtende landen van de Europese Unie werd, en de autoriteiten besloten om het imago van Luxemburg niet alleen als economisch welvarende staat te steunen, maar ook als belangrijk cultureel centrum van het continent. Het idee om een collectie hedendaagse kunst te creëren, en de architectonische belichaming ervan in de vorm van een project van J. M. Pei stuitte op weerstand in verschillende kringen van de conservatief ingestelde samenleving. Als gevolg hiervan werd zijn concept meerdere keren herzien, werd het ontwerp en zelfs de constructie opgeschort. Pas in 1997 werd de locatie van het museum bepaald: de ruïnes van de vesting Tungen (1732), die in het nieuwe gebouw werden opgenomen. In 1999 begon de bouw, maar werd daarna vier jaar onderbroken omdat Pei voor zijn constructie alleen gouden kalksteen uit Frankrijk wilde gebruiken, en dit gaf aanleiding tot veel nieuwe problemen.
Ook ontstonden er moeilijkheden met de collectie: aangezien er in Luxemburg nooit een collectie 20e-eeuwse kunst was, moest deze worden gecreëerd. Door de beperkte middelen was er geen sprake van aankoop van werken van Dali en Picasso: het overgrote deel van de exposities uit de 230 objecten die tot het museum behoren behoren tot de periode na 1980. Maar volgens de directeur van het museum, Marie-Claude Beaux, is het ontworpen om de collectie verder uit te breiden, om kunst van de toekomst te verzamelen, kunst van de 21e eeuw.
Het complex ligt midden in een park, tussen twee zakenwijken van de stad. Het bepalende kenmerk is de groenachtige glazen toren boven het hoofdatrium, die doet denken aan het fort waarover het werd gebouwd. Bijna alle vloeren van de hoofdlaag zijn gemaakt van glas, dus de meeste hallen hebben natuurlijk licht. Op de begane grond bevinden zich twee kleine galerijen en een collegezaal. Buiten zijn de muren van het museum bekleed met honingkleurige kalksteen, de hoofdingang van het museum is een complexe ruimtelijke compositie in de vorm van een nis. De totale oppervlakte van het gebouw is 10.000 m2. m, waarvan 4.800 m2. m - tentoonstellingsruimten. Het museum draagt de naam van de groothertog Jean, die nu het beheer van het land heeft overgedragen aan zijn zoon Henri.
