Januari 1946 bertepatan dengan tanggal 24 Muharram 1365 H telah berdiri Kementerian Agama berdasarkan Penetapan Pemerintah Nomor 1/S.D Tahun 1946. Ditindaklanjuti oleh Peraturan Menteri Agama Nomor 10 Tahun 1952 terbentuklah Susunan Organisasi Kementerian Agama Tingkat Daerah yaitu Jawatan Urusan Agama terdiri dari Kantor Urusan Agama Daerah,Kantor Urusan Agama Kabupaten, Kantor Urusan Agama Kecamatan.

Lalu,berdasarkan Keputusan Presiden Nomor 21 Tahun 1960 yang dilanjutkan dengan PMA Nomor 14 Tahun 1964 ditetapkan Kementerian Agama berubah menjadi Departemen Agama.

Sejalan dengan perkembangannya, Departemen Agama dalam menghadapi volume kerja yang semakin besar dimana jawatan-jawatan di daerah bukan saja dikoordinir tetapi perlu dibimbing, dibina, dan dikembangkan secara langsung, intensif dan terarah, maka dikeluarkanlah Keputusan Menteri Agama (KMA) Nomor 36 Tahun 1972 yang menggantikan Keputusan Menteri Agama (KMA) Nomor 53 Tahun 1971 tentang Struktur Organisasi, Tugas, dan Wewenang Instansi Departemen Agama di daerah-daerah dengan bentuk perwakilan.

Atas dasar Keputusan tersebut didirikanlah perwakilan Departemen Agama pada tingkat Kabupaten/Kotamadya. Selanjutnya tugas dan wewenang Perwakilan yang sebelumnya hanya sebagai koordinator, maka berdasarkan KMA Nomor 36 Tahun 1972 Perwakilan Departemen Agama tidak hanya sebagai koordinator tetapi Pembina dan pembimbing terhadap jawatan-jawatan agama itu yang berubah menjadi Inspektorat. Kebijaksanaan baik teknis maupun administratif menjadi tanggung jawab perwakilan, sedangkan Inspektorat hanya sebagai pelaksana teknis.

Pada Tahun 1973 menjadi awal terbentuknya Kantor Departemen Agama Kabupaten Sampang yang dikepalai oleh Raden Mohammad Syafi’I Munir.  Kemudian dengan adanya Keppres Nomor 44,45 Tahun 1974 yang diikuti lagi keluarnya KMA Nomor 18 Tahun 1975 maka terjadi lagi perubahan nama perwakilan itu menjadi Kantor Wilayah untuk tingkat Provinsi, Kantor Departemen untuk Tingkat Kabupaten/Kotamadya dan Kantor Urusan untuk Tingkat Kecamatan.

Sedangkan Inspektorat menjadi Bidang/Pembimbing dan pada Kandepag Kabupaten/Kotamadya petugas teknis tersebut menjadi Seksi dan Penyelenggara Bimbingan. Perkembangan selanjutnya KMA Nomor 18 Tahun 1975 disempurnakan kembali dengan keluarnya KMA Nomor 45 Tahun 1981 yang antara lain memperjelas tentang tugas pokok dan fungsi Departemen Agama di daerah.

Selanjutnya terjadi perubahan kembali dari KMA Nomor 43 Tahun 1981 dengan keluarnya KMA Nomor 373 Tahun 2002 yang mengatur Organisasi dan Tata Kerja Kantor Wilayah Departemen Agama Provinsi dan Kantor Departemen Agama Kabupaten/Kotamadya.

Sesuai dengan KMA Nomor 373 Tahun 2002 Pasal 82. Kantor Departemen Agama Kabupaten Sampang mempunyai tugas, melaksanakan tugas pokok dan fungsi Departemen Agama dalam wilayah Kabupaten/Kotamadya berdasarkan kebijakan Kepala Kantor Wilayah Provinsi dan peraturan perundang-undangan yang berlaku. Sedangkan fungsi Kantor Departemen Agama Kabupaten Sampang sebagaimana disebutkan dalam KMA Nomor 373 Tahun 2002 Pasal 83.

Selanjutnya, terbitlah Peraturan Menteri Agama Nomor 1 Tahun 2010 tentang Perubahan Penyebutan Departemen Agama menjadi Kementerian Agama dan Peraturan, Keputusan, dan artibut haruslah menyesuaikan dengan sebutan Kementerian Agama. Pada saat yang sama, dengan  menggunakan Peraturan Menteri Nomor 13 Tahun 2012 tentang Organisasi dan Tata Kerja Instansi Vertikal Kementerian Agama. Dalam pasal 269, Struktur Organisasi Kementerian Agama Sampang terdiri dari : Seksi Pendidikan Madrasah, Seksi Pendidikan Agama dan Keagamaan Islam, Seksi Penyebaran Haji dan Umrah, Seksi Bimbingan Masyarakat Islam, Penyelenggara Syari’ah dan kelompok Jabatan Fungsional. Dan struktur ini masih berlaku untuk saat ini.