Музей був заснований в кінці дев'ятнадцятого століття, завдяки зусиллям української інтелігенції, яка прагнула створити перший музей в Києві, який був вільним і відкритим для громадськості. Сама будівля була спроектована архітектором з Москви Петром Бойцовим в неокласичному стилі, який згодом був переглянутий і завершений київським архітектором Владиславом Городецький. Скульптури, що прикрашають фасад, були зроблені в майстерні Еліо Салія. Перша виставка відкрилася в серпні 1899 року на честь ХІ Всеросійської Археологічної конференції, але в частково побудованому будинку Київського міського музею Античності і мистецтва. Офіційне відкриття музею відбулося 30 грудня 1904 року.

Після націоналізації в 1919 році, музей був перейменованим як Перший Державний Музей, а пізніше Всеукраїнський Історичний Музей ім. Тараса Шевченка (1924-1936рр.). У 1936 році, музей був знову перейменований на Український Державний Музей, ставши Державним Музеєм Українського Мистецтва в 1939 році. Під час німецької окупації Києва в 1942 році музей був об'єднаний з колекцією російського мистецтва, і разом включений до Державного Музею Східноєвропейського Мистецтва. Після того, як Червона Армія відвоювала Київ, був відновлений попередній статус музею. Ці зміни назви відображають не тільки складне минуле України, а й різні етапи роботи реставрації, зміни в профілі колекціях музею і передачі окремих частин колекцій з метою створення інших музеїв у Києві.

У 1994 році музей був перейменований на Національний Художній Музей України, що відображає його статус основного сховища для українського мистецтва.