Dân số trên đảo Phú Quý ngày càng đông, cộng với một số ngư dân đi biển bị bão tố trôi dạt vào và ở lại định cư làm ăn. Khi cuộc sống ổn định ngư dân các làng trên Đảo bắt đầu xây dựng dinh, vạn để thờ Thần Nam Hải ( cá voi) vị thần phù hộ về mặt tinh thần cho những người đi biển. Đó cũng là phong tục truyền thống tín ngưỡng của người Việt đối xử với cá voi vị thần biển cả, ân nhân cứu mạng che chở cho họ khi đi biển và làm ăn trên biển.
Từ thế kỷ XVI-XVII người Việt đã di cư đến
đảo
Vạn An Thạnh xây dựng theo lối kiến trúc dân gian của
người Việt như dạng đình làng trong đất liền các kiến trúc chính gồm chính
điện, nhà Tiền hiền, Võ ca. Bên trong vạn còn có chỗ chứa xương cốt cá voi gọi
là Tẩm.