Tháp Nhạn được xây dựng vào cuối thế kỷ thứ 11, đầu thế kỷ 12 trên một khu đất tương đối bằng phẳng gần đỉnh núi Nhạn. Chung quanh việc xây dựng ngọn tháp trên núi Nhạn, có truyền thuyết kể rằng, thuở ấy quân của ông Lương Phù Già (tức Lương Văn Chánh) giao tranh với quân Chăm (Chiêm Thành). Chiến trường diễn ra ở phần đất thành phố Tuy Hoà ngày nay. Quân của ông Phù Già đóng ở núi Nựu, quân Chiêm đóng ở núi Nhạn để cố thủ. Cuộc chiến diễn ra vô cùng ác liệt không phân thắng bại. Để tránh thiệt hại về người và của cho lương dân, hai bên giao ước với nhau sẽ cùng xây tháp, bên nào hoàn thành trước thì thắng cuộc, còn bên thua cuộc sẽ phải tự động rút quân khỏi Phú Yên. Hai địa điểm được hai bên lựa chọn là: quân Chăm trên núi Nhạn, quân ông Phù Già trên núi Cổ Rùa, một phần nhô ra của núi Nựu.
Quân Chăm dốc toàn sức lực ngày đêm xây đắp cho đến khi sắp hoàn thành thì ngọn tháp của ông Phù Già đã xây xong, đứng sừng sững một góc trời. Quân Chăm đành phải chấp nhận thua cuộc. Sau đó, quân ông Phù Già thách Chiêm Thành đốt tháp, tháp bên nào cháy trước thì bên đó thắng cuộc và bên kia phải rút binh. Tháp của ông Phù Già chỉ sau một đêm đã cháy sạch trong khi ngọn tháp bên núi Nhạn vẫn đứng vững. Lương Văn Chánh mang đại quân đến chân núi Nhạn buộc quân Chăm phải rút quân qua khỏi bên kia đèo Cả.
Trong thời kỳ kháng chiến chống Pháp (1945 – 1954), khi thực dân Pháp xâm lược nước ta, chúng nã pháo làm cho đỉnh tháp và 3 góc tháp bị đổ. Do bị hư hại nhiều trong chiến tranh, vào cuối năm 1960, dưới chính quyền Ngụy, tỉnh Phú Yên cho tu bổ tháp, hàn gắn những chỗ bị nứt bên trong và ngoài tháp.
Vật liệu xây dựng tháp đều bằng gạch nung với nhiều kích cỡ khác nhau tuỳ theo vị trí của từng mảng tường, từng tầng tháp và được xếp liền khít, không thấy mạch hồ song kết dính rất vững chắc. Những hàng gạch bên trên hơi lùi vào so với hàng gạch bên dưới cho đến khi khép kín vòm. Tháp Nhạn có phong cách kiến trúc như tháp Chăm Pô Nagar ở Nha Trang, đó là xây dựng theo hình thức tầng cao. Tháp có hình tứ giác với 4 tầng, càng lên cao càng thu nhỏ lại so với tầng dưới, nhưng vẫn theo phong cách tầng dưới. Tháp cao gần 23,5m, mỗi cạnh chân tháp dài 10m.
Nóc của tháp gồm nhiều lớp xếp, phần chóp được cấu tạo bằng phiến đá nguyên tảng có hình búp sen cân đều. Đó là biểu tượng Linga của người Chăm. Trên đỉnh tháp, bốn mặt đều có bốn cửa sổ giả, tách biệt giữa phần trên và tầng dưới. Cửa chính ở hướng đông, phần trên cửa hình vòm, xây cuốn theo kiểu giật cấp, trụ và xà ngang của cửa là khối đá vôi mềm, dễ đẽo gọt, đục chạm.
Bên trong tháp, tường xây thẳng đứng cao vút từ phần đế tháp cho đến hết phần thân. Càng lên cao, tường càng thu nhỏ dần cho đến đỉnh, tạo thành hình chóp nón. Trên mặt tường tháp không có hoa văn trang trí, chỉ có một vài họa tiết hoa văn hình rồng được chạm khắc cách điệu bằng đá hoa cương đặt bên ngoài góc tháp. Trong lòng tháp không có bệ thờ, không có tượng, chỉ có một am nhỏ phía trước để thờ bà Thượng Đỉnh Chúa Thiết A Na Diễn Ngọc Phi được xây dựng từ thời Hậu Lê.
Đặc biệt, dưới chân núi Nhạn về phía tây nam, ven bờ sông Chùa có một tảng đá cao 1,3m, mỗi cạnh rộng 0,9m, dưới chân có chạm hình cánh sen, trên khắc 3 chữ cổ (dạng chữ Phạn) thường gặp ở các tấm bia trụ cột trong các tháp Chăm. Chữ khắc ở 1/3 tảng đá. Có lẽ đây là thư tịch duy nhất ở khu vực tháp còn lưu lại đến nay.
Tháp Nhạn là công trình kiến trúc nghệ thuật có giá trị lịch sử cao của người Chăm và đây cũng là một thắng cảnh tiêu biểu của tỉnh Phú Yên. Tháp Nhạn đã được Bộ Văn hóa - Thông tin công nhận là Di tích kiến trúc - nghệ thuật cấp quốc gia vào ngày 16/11/1988.