西郷頼母邸跡には、西郷頼母の屋敷がありました。
西郷家は藩祖の保科家から分家した家で、代々家老を務める家柄でした。 頼母は京都守護職を辞退することを強く諫言し続けました。 また白河口の戦いで敗走すると、会津に戻って恭順を説いたために、他家臣との軋轢を生んでしまいます。 その後城下を脱し、箱館戦争に参加。 晩年は会津で過ごし、城近くの長屋で亡くなりました。