Meski tidak ditemukan catatan sejarah yang mengisahkan asal usul Rencong, namun asal mula Rencong terekam dalam sebuah legenda Aceh. Dalam sebuah cerita rakyat dikisahkan. "Zaman dahulu di daratan Aceh hidup seekor burung raksasa sejenis Rajawali, orang Aceh menyebutnya "Geureuda". Keberadaan burung raksasa tersebut sangat menggangu kehidupan rakyat. semua jenis tanaman, buah-buahan dan ternak