此建築位於山口的富商安部家的一角，獨立建於離開主屋之處。在自1603年至1868年的江戶時代，長州藩（即現在的山口縣域）的藩主在往返首都時，將這裡作為在山口的下榻之處。
幕府末期，薩摩藩與長州藩的武士為推翻江戶幕府，並要求幕府把政權交還給朝廷（即所謂的“大政奉還”）而攜手聯合。在那以前，薩摩藩與長州藩相互敵視，但在土佐藩的坂本龍馬等人的調停下決定聯合起來。
1867年9月，薩摩藩的青年領袖西鄉隆盛與大久保利通等人訪問山口，受到長州藩的木戶孝允，以及後來成為日本首任內閣總理大臣的伊藤博文等人的迎接。他們在枕流亭的樓上就薩摩藩與長州藩的聯合多次進行密談，並宣誓成立推翻江戶幕府的聯合討伐軍。
這一在枕流亭發生的重大事件，關係到明治維新以及近代日本的黎明。後來，枕流亭在經過了兩三次的移建後，於1960年被移至現在的地方。