Die nach dem Bauherrn Jacques Ambrosius von Planta benannte Villa Planta wurde in den Jahren 1874–1875 vom Architekten Johannes Ludwig als privates Wohnhaus erbaut. Der neoklassizistische Bau weist eine repräsentative Schauseite auf, die durch einen von Säulen getragenen Portikus ausgezeichnet ist. Die beiden Sphingen auf den Treppenwangen, die pompejanischen Malereien im ehemaligen Salon (heute Museumscafé) und die goldene Kuppelbemalung in byzantinischer Manier verweisen auf die Tätigkeit des Bauherrn als Kaufmann im ägyptischen Alexandrien. Höhepunkt dieses «Orientalismus» bildete ein Halbmond auf der Kuppelspitze.
Kurz vor seinem Tod, verkaufte Jacques Ambrosius von Planta 1898 das Haus an die Rhätische Bahn, die es ab 1919 für kulturelle Zwecke an den Kanton Graubünden vermietete. 1957 wurde die Liegenschaft schliesslich vom Kanton Graubünden erworben.
Die naturkundlichen Sammlungen wurden 1927 im neuen, unmittelbar neben der Villa Planta vom Architekten Walther Sulser erbauten Natur- und Nationalpark-Museum untergebracht, während das «Kunsthaus» den Bedürfnissen eines Kunstmuseums angepasst wurde.
1981 zog das Natur-Museum schliesslich in einen eigenen Neubau, und das schlichte, zweigeschossige Gebäude, der sogenannte Sulser-Bau, wurde über eine Passerelle mit der Villa Planta verbunden und fortan ausschliesslich für wechselnde Ausstellungen des Kunstmuseums benutzt.
Weil sich die Villa Planta mit den Jahren baulich in einem besorgniserregenden Zustand befand, hat man über eine Sanierung und einen Umbau nachgedacht, sogar ein Abbruch der Villa Planta zu Gunsten eines Neubaus stand zur Diskussion. Stattdessen wurde beschlossen, die Villa Planta zu restaurieren. Nach knapp dreijähriger Restaurierungs- und Umbauarbeit unter der Leitung der Architektengemeinschaft Peter Zumthor, Peter Calonder und Hans-Jörg Ruch konnte das Bündner Kunstmuseum Anfang des Jahres 1990 wieder eröffnet werden.
Die Villa Planta bietet nicht ausreichend Platz für die stets wachsende Sammlung und die Wechselausstellungen haben für das Museum an Bedeutung gewonnen. Deshalb wurde der Wunsch nach einer baulichen Erweiterung immer drängender.
2011 konnte ein internationaler Architekturwettbewerb ausgeschrieben werden, den das Architekturbüro Estudio Barozzi/Veiga aus Barcelona gewann. Ihr Projekt überzeugt durch die präzise und klare Setzung in das architektonische Umfeld. Der charakteristische Neubau gebärdet sich nicht als Solitär, sondern tritt in Dialog mit der Villa Planta. Aus dem Nebeneinander zweier Gebäude wird ein Museum. Gut proportionierte Räume für die Sammlung und eine offene Raumstruktur für Wechselausstellungen überzeugen auch im funktionalen Bereich und erlauben im Innern die notwendige Konzentration auf die Kunst.
Mit dem Erweiterungsbau stärkt das Bündner Kunstmuseum seine Stellung als wichtigste Kunstinstitution in Graubünden. Durch seine profilierte Sammlung und attraktive Wechselausstellungen ist es von nationaler Bedeutung.