Có hai truyền thuyết về thầy Nại được người
dân Phú Quý lưu
truyền. Truyền thuyết thứ nhất kể lại rằng: Thầy Nại vốn là nhà địa lý thiên
văn tài ba người Hoa, thầy thường theo các thuyền buôn của người Tàu vượt đại
dương đến nhiều nước trên thế giới để hành nghề. Qua nhiều chuyến hải trình, có
lần thầy và các thủy thủ ghé vào đảo Phú Quý để nghỉ ngơi, từ đó ông mới phát
hiện địa hình, địa thế đảo Phú Quý là một vùng địa linh so với các hòn đảo khác. Sau
khi rời đảo, ông đã thổ lộ với các thủy thủ đoàn và gia đình ước nguyện của
mình là sau khi qua đời hãy đưa tro cốt của ông đến đảo Phú Quý an
táng.
Một thời gian sau khi thầy quy thiên, người dân
trên đảo đã đồng tâm góp công sức, tiền của để xây đền thờ thầy trên một khu
đồi cao ở làng Phú An, xã Ngũ Phụng.