En abril de 1863, Mori Takachika, el señor del feudo de Choshu (que equivalía aproximadamente al territorio de la actual prefectura de Yamaguchi), trasladó el centro administrativo del feudo desde la ciudad de Hagi a Yamaguchi, y estableció una nueva sede central de gobierno. En aquel momento, también construyó esta casa para la ceremonia del té.
Bajo el pretexto de disfrutar de la ceremonia del té, cuya etiqueta permitía que todas las personas interactuaran libremente entre ellas con independencia de su nivel social, Takachika se reunió con sus vasallos y tramó una conjura contra el régimen del Shogun.
Tras la Restauración Meiji, que llevó al establecimiento del nuevo gobierno Meiji en 1868, el antiguo régimen fue derrocado y los feudos quedaron abolidos. Después de esto, la casa de té “Rozando” fue trasladada y cambió de propietarios varias veces, hasta que, al ver el estado de deterioro en el que se encontraba debido al desuso, Shinagawa Yajiro, que había servido durante mucho tiempo como asesor de Takachika, se puso en contacto con otras personas que igualmente lamentaban el estado ruinoso de un edificio de importancia histórica como éste. Recaudaron dinero para comprarlo y lo trasladaron a su emplazamiento actual en abril de 1891, y fue entonces cuando se acondicionó el jardín que lo rodea.
Se agregaron estructuras al edificio en 1963 y 1973.