此建筑位于山口的富商安部家的一角，独立建在离开主屋之处。在自1603年至1868年的江户时代，长州藩(即现在山口县域)的藩主在往返首都时，将这里用作在山口的下榻之处。
幕府末期，萨摩藩与长州藩的武士为推翻江户幕府，并要求幕府把政权交还给朝廷(即所谓的“大政奉还”)而携手联合。在那以前，萨摩藩与长州藩相互敌视，但在土佐藩的坂本龙马等人的调停下决定联合起来。
1867年9月，萨摩藩的青年领袖西乡隆盛与大久保利通等人访问山口，受到长州藩的木户孝允，以及后来成为日本首任内阁总理大臣的伊藤博文等人的迎接。他们在枕流亭的楼上就萨摩藩与长州藩的联合多次进行密谈，并宣誓成立推翻江户幕府的联合讨伐军。
这一在枕流亭发生的重大事件，关系到明治维新以及近代日本的黎明。后来，枕流亭在经过了两三次的移建后，于1960年被移至现在的地方。