在桃源洞北部的瓜寮，有一座山，山顶上有两块石头，在一块巍然屹立的巨石上面又重叠着一块大石头，两块石头象是从天外飞来，又好像是誰有意堆叠。两块石头微微向前倾斜，一眼望去，随时有倒下来的危险。然而千百年来没有倒塌。
　　石头怎么能够飞到这里来？
　　传说很久以前，山坡下有一个村庄，住着一胡姓人家，胡老汉是个草药郎中，膝下有一女名叫娇苏，父女两相依为命。后经人撮合，　一位年青猎人愿意上门，做了胡家的上门女婿。谁不知好景不长，胡老汉不久便病逝了，年青猎人被官府抓去服苦役，娇苏一人在家，孤苦伶仃，终日痛哭，那凄凄切切的啼哭声惊动了南海观音菩萨。观音从东海的乱石堆上选了三块巨石，一路上用赶山鞭把石头赶上了瓜寮山。观音刚把两块大石叠好，就听见有人走动，原来是娇苏思夫心切，寅时就上山来了。观音怕泄露了天机，就化为一阵清风走了。胡娇苏来到巨石前，一直等到天亮还不见老汉身影，就自己爬到巨石上面眺望。因为第三块石头还未叠上，娇苏望呀望，只能看到两省四县，再远就看不清了。娇苏看不到亲人，十分悲苍，痛哭不已。哭呀哭，把一个年青媳妇哭成一个老太婆，最后老太婆也无影无踪了，只见巨石上长着一棵胡椒树（俗名山胡椒树）。有人把地下掉的籽实拾起来，用牙一嚼，又香又辣，辣得直流眼泪。于是说，这棵胡椒树就是胡娇苏的化身。还有人说，娇苏生前跟父亲学过草药，会治病，胡椒籽实是她留给乡亲们治病的草药，所以附近人家有什么肚痛脑热，便到巨石下面拣几颗胡椒吃下去，或泡茶喝，病就好了。据县志记载，清嘉庆年间，有何姓有姓乡人为首倡修庙宇。咸丰六年，统领言秀山带官兵扎营于此，在庙中塑了一个婆婆神像。所以飞来石又叫婆婆仙。