《南万吉象歌》早年产生于一个民间传说。

南万，古称“万畲”。传说清朝年间，万畲山区瘟疫流行，灾害连年，百业萧条，民不聊生，人民处于水深火热之中。突一日，万畲上空金光万道，遍地通红。金光中出现一头大象徐徐降落于地上，随之消逝。从此，万畲瘟疫循去，万物复苏，风调雨顺，五谷丰登，人民群众得以安居乐业。

当地群众则把大象视为吉祥的化身。为让吉祥长驻，民间巧匠采用竹片为架，用布成皮，制成大象，取名“吉象”，并以当地流传的山歌，配以吉祥的歌词一代代演唱下去，继承发扬。随着时代的变迁，其歌唱内容却不断更新，逐渐演变成现今的山歌对唱形式出现于民间，成了当地固有的一块古老艺术瑰宝。今天，“吉象歌”在当地已是家喻户晓，妇儒皆知，四时吟唱，朗朗上口的民谣。它用最原始的音乐表现形态，抒发人之所思、所感、所见、所闻。以通俗的词句唱出来，以人们“劳作”、“感叹”、“幽默”、“爱恋”……等生活在情形，活生生地表达出来。

《南万吉象歌》，究竟源于何时？根据当地最年长村民所提供线索和有关“客家人”南迁史的记载史料考究，参以当地村民各姓氏族谱，南宋末年（1278年），万畲已有客民居住。且大多数为江西、福建等地迁入，属第四期南迁客民（即随宋帝 南逃汉人）。以此类推，《吉象歌》在当地流传至今有数百年之久，清代已盛极。