De voorganger van Piano at Whitney was Rem Koolhaas, die van plan was om in 1966 een gebouw van 11 verdiepingen te bouwen naast het beroemde gebouw van Marcel Breuer, met de tentoonstellingszalen die nodig zijn voor de galerie, ruimtes voor sociale evenementen en educatieve cursussen. Maar het project van $ 200 miljoen werd afgewezen: deels vanwege de hoge kosten, deels vanwege het oorspronkelijke ontwerp, dat ten onrechte 'concurreerde' met het hoofdgebouw van het museum.
De wens van Amerikaanse klanten om met Renzo Piano samen te werken is begrijpelijk: onder zijn werken bevinden zich zulke prachtige Amerikaanse museumgebouwen, het gebouw van de Menil Collection in Houston en het Nasher Sculpture Center in Dallas. Volgens zijn projecten wordt nu de Morgan Library in New York gereconstrueerd en wordt een nieuwe vleugel van het Chicago Institute of Arts gebouwd.
Vreemd genoeg herhaalde zich de situatie met de wederopbouw van het Los Angeles County Museum of Art in New York: Koolhaas werd daar eerst uitgenodigd, en daarna, vanwege een begrotingstekort, werd hij vervangen door Renzo Piano.
