El museo fue fundado por el Dr. Alvar Carrillo Gil y su esposa Carmen Tejero de Carrillo Gil, con la finalidad de albergar y exhibir la colección que conformaron, a partir de 1938, a lo largo de más de tres décadas. Durante este periodo, llevaron a cabo una labor fundamental para el estudio y difusión del arte mexicano, presentando su colección en diversas exposiciones internacionales antes de consolidar la intención de construir un espacio ex profeso para resguardarla, exhibirla y hacerla pública.   

El Dr. Carrillo Gil encargó a Fernando Gamboa el proyecto de exhibición del museo y a los arquitectos Augusto H. Álvarez y Enrique Carral Icaza el proyecto arquitectónico. El proyecto, iniciado en 1958, se concibió a partir de un sistema de rampas para permitir la circulación continua del visitante, además de un tragaluz central que permite la entrada de iluminación natural. La obra arquitectónica comenzó en 1960, pero se interrumpió al año siguiente debido a dificultades económicas. La perseverancia del matrimonio Carrillo Tejero logró que en 1973 el proyecto se retomara para finalmente inaugurar el 30 de agosto de 1974.

El edificio fue remodelado en la década de los ochenta por el Arq. Augusto F. Álvarez Fuentes –hijo del Arq. Augusto H. Álvarez–, quien sustituyó las ventanas de la fachada por placas de concreto martelinado con la finalidad de resaltar el edificio como un volumen compacto y cerrado al exterior. Las rampas interiores, imagen icónica desde la concepción original del edificio, conforman el logotipo del MACG desde 1998.