Muzeum powstało z inicjatywy Andrzeja Wajdy i jego żony, znanej scenografki, Krystyny Zachwatowicz, którzy przeznaczyli na ten cel nagrodę Inamori Foundation Kyoto Prize, przyznaną w 1987 r. reżyserowi polskiemu za całokształt twórczości filmowej i teatralnej. W 1988 r. powstała w Krakowie (tzw. bratnim mieście Kyoto) Fundacja Kyoto-Kraków, zaś w Kyoto jej oddział, stawiający sobie za cel zebranie środków niezbędnych do wzniesienia budynku Muzeum Sztuki i Techniki Japońskiej. W rezultacie, głównie dzięki zaangażowaniu wybitnych osobistości ze świata kultury, polityki i biznesu, a także rządu Japonii, oraz dzięki pomocy władz Krakowa, w 1994 r. Muzeum rozpoczęło działalność - jego uroczystego otwarcia dokonali prezydent Lech Wałęsa i specjalnie z tej okazji przybyły do Polski książę Takamado z małżonką.

Nowoczesny, asymetryczny, wydłużony budynek Muzeum, którego projektantem jest znany architekt japoński Arata Isozaki, łączy w sobie elementy budownictwa japońskiego i polskiego. Ściany wykończone są polskim piaskowcem, do polskiego budownictwa nawiązują też wewnętrzne konstrukcje z drewna i cegły, natomiast kompozycja i koloryt wnętrz mają charakter japoński. Dach, który naśladuje przecinające się fale, z jednej strony wkomponowuje budowlę usytuowaną na lewym brzegu Wisły w linię biegu rzeki, z drugiej zaś kojarzy się z wielką falą oceaniczną i drzeworytem Hokusai Wielka fala w Kanagawa, który znajduje się w zbiorach muzeum. Przy Muzeum założono ogród japoński otoczony bambusowym zagajnikiem i drzewami wiśni, a w nim pawilon, gdzie odbywają się ceremonie tradycyjnego przygotowywania herbaty. W holu mieści się herbaciarnia, jest też sklepik z japońską porcelaną i zminiaturyzowanymi drzewkami bonsai (Muzeum jest m.in. siedzibą Ogólnopolskiego Klubu Bonsai). Przed budynkiem znajduje się dekoracyjny basen, który zdobi nowoczesna rzeźba - dar wybitnej artystki japońskiej Aiko Miyawaki.