Armutlu adının "Armodo" veya "Armodies" sözcüklerinden geldiği sanılmaktadır. Bu sözcükler "Donanma" veya "Donanmaya gözcülük eden kimse" anlamına gelmektedir. Bununla birlikte tarihi süreçte Enrutluk, Emrudili, Imrudili isimleri ile de anılmıştır. Armutlu adının nereden geldiğine dair iki rivayet bulunmaktadır:

• Bizans Kralı'nın kızı Armodies’in vücudunun her yerinde yaralar çıktığı bildirilmiştir. Kral kızının bu durumundan utandığı için askerleriyle birlikte kızını şimdiki kaplıcaların bulunduğu mevkide bırakmıştır. Kız buradaki termal sularla her gün yıkanmış ve bütün yaraları iyileşmiş. Kral kızının iyileştiğini görünce onu tekrar yanına almış ve Armodies adı Armutlu olarak günümüze kadar gelmiştir.
   
• Evliya Çelebi ise Armutlu isminin nereden geldiğini ünlü Seyahatname'sinde de şöyle anlatır; "Nahiyedir. Naib oturur. Bursa Beyi tarafından tayin edilir. Kasaba düz sahraya bağlı, bahçeli ve etrafı armut bahçeleri ile süslü olup bakımlıdır. Onun için Armutlu derler."