El edificio fue construido en el sitio de un complejo de museos de estilo colonial español destruido por el terremoto de 1989. Las formas elegantes y el uso original de los materiales, característicos de Jacques Herzog y Pierre de Meuron, provocaron la oposición activa de las autoridades conservadoras de la ciudad, pero la perseverancia de la administración del museo permitió, no obstante, implementar el proyecto.
La estructura está completamente revestida de cobre (se utilizaron un total de 7602 paneles de varias formas) y es el edificio más grande del mundo revestido con este metal.
El elemento principal del proyecto es una torre curva que se eleva sobre las copas de los árboles del Golden Gate Park, donde se encuentra el museo. Ofrece vistas de la ciudad, y también conecta el edificio con San Francisco: el tamaño de la torre permitió que se convirtiera en un elemento notable del paisaje urbano.
El volumen principal, de planta rectangular, está cortado por pequeños patios plantados con helechos. Las paredes de vidrio han hecho que estos jardines formen parte del interior del museo.
Se prestó especial atención a los arquitectos para enfatizar el flujo continuo del espacio: la entrada al museo está conectada a un gran vestíbulo por un patio abierto, desde allí una amplia escalera conduce a los pasillos del segundo piso. Esto también se ve facilitado por los planos de planta curvos de las salas de exposiciones. Los interiores del museo están decorados con madera de eucalipto.
El costo de todo el proyecto fue de $ 190 millones, que fueron recaudados por particulares, a pesar de que tanto la colección (arte de África, Oceanía, Mesoamérica) como el propio museo pertenecen a la ciudad.