由于砖塔远眺很象一位操手西望大海的老妇人，故得民间传说“在很久以前，有一读书人，乘船过海赶考，不幸遇风，身葬鱼腹。母思儿归，每日登山了望，总不见儿身影还家，老妇 人最后死于山顶。”

砖塔就是这位慈母的化身。望儿山砖塔与其周围的石桥、妇首石等组成了一道极有价值的自然景观，与动人的传说构成的人文景观名扬海内外。