会津藩家老。天保13(1842)年、内藤介右衛門の次男として生まれます。内藤家は武田信玄の部下であった内藤昌豊を祖とする名門で、代々家老を勤める家柄でした。後に平馬は梶原景保に養子に迎えられ、梶原家を継ぐことになります。
平馬は、会津藩が京都守護職を任じられた際に上洛。慶應2(1866)年、家老になります。慶應4(1868)年、戊辰戦争が始まったときは幕府との打ち合わせのために江戸に向かっている最中で、鳥羽伏見での敗戦が報じられたあとは、江戸に残って資金や武器の調達などにあたりました。会津が1か月間の籠城戦に耐えきることができたのも、平馬のこの働きがあったからだと言われています。
新潟を経由して会津に戻った後は、奥羽越列藩同盟の結成に駆けずり回り、同盟内の軍議などにも多く参加しています。籠城戦の際は総監となって、会津藩全体の指揮にあたりました。また恭順を説き続ける西郷頼母を暗殺しようと刺客を差し向けますが、失敗に終わっています。
平馬の実家である内藤家の人々は、籠城戦の際に城に入ることができず、菩提寺である泰雲寺に避難してそこで皆自刃。同時に親類であった上田家の面々も、運命を共にしたそうです。
戊辰戦争後、平馬は松平容保の助命嘆願と松平家の家名復興に力を注ぎました。斗南藩が与えられると移住し、廃藩置県後は青森県庁に勤めています。妻であった山川大蔵の姉・二葉とは離婚し、東京桜川女学校の教師・水野テイと結婚。テイの病気が発覚すると函館に移り住み、根室県庁に勤めていたようです。
明治22(1889)年、死去。根室の市営西浜町墓地に墓があります。