Hubungan antara Giliyang dengan Sumenep dibangun sejak pembabat Giliyang pertama yaitu Andang Taruna dan Jaya Pranadilanjutkan dengan Ju’ Rabuna, dan ketika datang Daeng Karaeng Mushalleh sekitar tahum 1766-an untuk penyempurnakan pembabatan.
Ketika beliau menginjakkan kakinya pertama kali di Giliyang, Gili yang tampak masih sepi tidak banyak orang yang mendiami, setelah menyelidi Giliyang Daeng Karaeng Mushalleh pamet ke Adipati Sumenep Raden Asirudin ( Panembahan Somala) untuk pulang menjemput keluarganya di Makasar.
Setelah lama tidak terdengar kabar akhirnya Sultan Penambahan Somala mengutus dua utusan untuk mencari tahu keberadaan Daeng Mushalleh sekaligus menjemput keduanya keMakasar. Setelah itu, Daeng Mushalleh datang kedua kalinya ke Giliyang bersama keluarganya. Tibalah mereka bersama keluarganya di Giliyang sekitar tahun 1769 M. Menempati di desa bancamara sekarang dusun panggung.Setelah melakukan penyeksian tempat diberpagai sudut yang ada di Giliyang.
Selanjutnya, hubungan antara Giliyang dengan suemenep tidak hanya terbatas pada persolan pembabatan , bahkan naik pata wiliyah pemerintahan. Terbukti pasca hubungan Giliyang dijadikan sebagai tempat tahanan orang-orang yang tidak taat terhadap peraturan pemerintah.
Walaupun secara administratif pemerintahan Sumenep pada saat itu berada dalam wiliyah kekuasaan belanda, kendatipun Sumenep dikuasai belanda, pemerintah Sumenep diberikan kesempatan dalam mengambil sebuah kebijakan, dengan catatan kebijakan yang diterorkan tidak sampai membahayakan belanda.
Pemilihan Giliyang sebagai tempat penahannan para kriminal sunggu tepat sebagai saat itu Giliyang baru saja diampuh oleh Daeng Karaeng Mushalleh. Sangat mungkin pemilihan Giliyang sebagai tempat pembuangan para tahanan memang sengaja dilakukan oleh Raden Asirudin agar para tahanan itu di bimbing oleh Daeng menuju jalan taubatan nashauha yang pada akhirnya akan menjadi abdi dan masyarakat Giliyang.