むかし、西行さんという歌詠みの偉い坊さんがおった。
日本中を旅して、その土地土地で五七五七七の歌ぁを読んで、仏さんの供養にしたり、自分の修行にしたりしておった。
この西行さんがある年別所の北向観音にお参りしようと、佐久の布引観音に詣でてから塩田の平に入って来た。左手にのこぎりの歯みたいにいくつも峠のある独狐山を見ながら、ぽくらぽくら歩いて山田峠にさしかかった。
この峠を越えればいよいよ別所だ。
細い山道を登って峠の峰近くにたどり着くと、子どもたちがわらびを取って遊んでいる。
西行さんはからかい半分に、「これこれ子ども衆や、お前さんたちが採っているそりゃなんというものだ」と聞いた。
すると子どもたちは、「これか、これはわらびだでや。こんやのおざんざに 入れるで採ってこうと、かあやんに言われただ」と口々に言う。
「ほう、それは感心なことだが、これ子ども、わらびをとって手を焼くな」と言った。
それを聞いた子どもはすかさず、「坊さん、坊さん、被っているもの、そりゃあなんだい？」と聞いた。
「これはヒノキ笠さ」と西行さんが答えると、「坊さんも ひのき笠着て 頭（ず）を焼くな」と子どもたちがからかった。
「ああ、こりゃ一本参った。わしの負けじゃ負けじゃ」とからから笑いながら山田峠を下って湯川まで来て、おっ、と考えた。
子どもたちでさえあんなに賢い、だとすれば別所の大人たちはどれだけ賢いか見当もつかぬ。
村に入ってわしのすることなすこと、いちいち村の衆に馬鹿にされてはかなわない。
西行さんは、湯川にかかる橋の前で不安になって立ち止まった。
そして、くわばら、くわばら、と北向観音のお参りを取り止めて、その橋から引き返した。
それから湯川にかかったその橋は「西行の戻り橋」と呼ばれるようになった。
またその後、村の嫁入り行列は「戻るのは縁起が悪い」と、この橋を通らないことにしているそうだ。