Nama
kota Tarim diambil dari nama seorang penguasa yang membangun kota
tersebut, yaitu Tarim bin Hadramaut. menurut sumber lain dikatan bahwa
yang membangun kota Tarim adalah Sa'ad Al-Kamil. Adapun sebutan lain
dari kota Tarim adalah Al-Ghanna, yang artinya suatu tempat yang sangat
subur. Disebut demikian karena di kota Tarim banyak terdapat
tempat-tempat rimbun, banyak pohon-pohon besar yang tumbuh dan banyak
pula sumber-sumber airnya.
Kota
Tarim disebut juga Madinah As-Shiddiq. Hal ini disebabkan pada saat
Khalifah Abubakar Ash-Shiddiq meminta sumpah setia penguasa kota Tarim
pada saat itu yang bernama Ziyad bin Lubaid Al-Anshory, maka penguasa
kota Tarim tersebut memberikan sumpah setianya dan kemudian diikuti
oleh semua penduduk kota Tarim tanpa ada yang tertinggal.
Ketika
berita ini disampaikan kepada khalifah Abubakar Ash-Shiddiq lewat
surat, maka beliau berdoa untuk penduduk kota Tarim dengan 3 macam
permohonan :
* Semoga kota Tarim diberi kemakmuran* Semoga kota Tarim diberikan berkah sumber airnya
* Semoga kota Tarim dipenuhi oleh orang-orang sholeh sampai hari kiamat
As-Syeikh Muhammad bin Abubakar Ba'ibad berkata, "Sesungguhnya Abubakar Ash-Shiddiq r.a pernah memberi doa secara khusus bagi penduduk Tarim." Ketika kisah tadi disebutkan didepan beliau, beliau pernah berkata, "Sungguh amat beruntung penduduk kota Tarim."
Kota Tarim selain amat subur, kota ini juga pusat berkumpulnya
wali-wali Allah, ulama-ulama besar, para penulis terkemuka. Kota ini
juga merupakan pusat segala ilmu agama, pusat kegiatan tauhid dan
keimanan. Pernah dituturkan oleh As-Syeikh Al-'Arif Billah Ali bin
Salim, "Sesungguhnya yang berdiri di shof pertama di Masjid Jami' kota
Tarim pada saat ibadah sholat Jum'at, semuanya adalah para ulama yang
sholeh."
Salah satu keistimewaan kota Tarim adalah kota ini selalu dikunjungi
orang dengan maksud yang amat penting, misalnya untuk mengambil
barokah, menuntut ilmu, berziarah kepada wali-wali Allah dan bukan
seperti kota-kota lain yang dikunjungi orang untuk mencari keuntungan
yang bersifat duniawi.