Umat Islam pada umumnya dahulu melakukan taqlid kepada para mujtahid meskipun terdapat perbedaan pendapat di antara mereka, karena dasar perbedaan mereka adalah dalil-dalil syariat. Oleh sebab itu, pemahaman setiap mujtahid terhadap khitab asy-syari' dianggap sebagai hukum syar'i bagi dirinya dan bagi orang yang bertaklid kepadanya. Hal ini karena khitab asy-syari' adalah hukum syar'i, dan pemahaman terhadap khitab asy-syari' juga merupakan hukum syar'i, tetapi berlaku bagi orang yang memahaminya dan bagi orang yang mengikutinya dalam pemahaman tersebut. Mereka yang telah mencapai pemahaman terhadap khitab asy-syari' melakukan ijtihad. Adapun mereka yang belum mencapai tingkat ijtihad mengikuti, dalam hukum-hukum (ahkam), para mujtahid yang telah mencapai tingkat ijtihad dan melaksanakan ijtihad. Persoalannya bukanlah mengikuti seorang faqih secara pribadi, sebagaimana persoalannya bukan pula bertaklid kepada suatu mazhab. Persoalannya adalah mengambil hukum syar'i yang digali oleh faqih dan mengamalkannya. Sebab, seorang Muslim diperintahkan untuk mengikuti hukum syar'i saja dan mengamalkannya, bukan mengikuti suatu mazhab atau seseorang, atau beramal menurut mazhab tertentu atau mengikuti orang tertentu. Ketika ia mampu mencapai hukum syar'i melalui ijtihadnya sendiri, hendaklah ia melakukannya; jika tidak, hendaklah ia mengambil hukum yang digali oleh orang lain. Pada masa-masa awal, jumlah para mujtahid dapat mencapai ribuan. Karena itu, kita dapati bahwa para mujtahid yang diikuti oleh umat Islam tidak terbatas pada empat, lima, enam, atau jumlah mazhab tertentu lainnya; bahkan terdapat banyak mazhab dan para mujtahid yang sangat banyak. Setiap kelompok mengikuti hukum-hukum yang digali oleh seorang mujtahid, baik ia berasal dari suatu mazhab maupun tidak. Misalnya, masyarakat umum di Kufah mengamalkan fatwa Abu Hanifah dan Sufyan ats-Tsauri, sedangkan kaum Syi'ah mengamalkan mazhab Ja'far ash-Shadiq. Kebiasaan penduduk Makkah dahulu mengikuti fatwa Ibn Jurayj, penduduk Madinah mengikuti fatwa Malik, penduduk Basrah mengikuti fatwa ‘Utsman, penduduk al-Sham mengikuti fatwa al-Awza’i, penduduk Mesir mengikuti fatwa Ibn Sa’d, penduduk Khurasan mengikuti fatwa ‘Abdullah ibn al-Mubarak, dan sebagian penduduk Yaman mengikuti fatwa Zayd ibn al-Husayn. Banyak kaum Muslimin yang mengikuti fatwa Sa’id ibn al-Musayyab, Ibn Abi Layla, ‘Ikrimah, Rabi’ah ar-Ra’y, Muhammad ibn Syihab az-Zuhri, Hasan al-Basri, Laits ibn Sa’d, Sufyan ibn ‘Uyaynah, Ishaq ibn Rahawaih, Abu Tsawr, Dawud az-Zahiri, Ibn Syibrimah, dan Ibn Jarir at-Tabari. Masing-masing mereka adalah seorang mujtahid dan memimpin suatu mazhab. Setiap mazhab dari mazhab-mazhab tersebut memiliki metodologi tertentu dalam ijtihad dan pendapat (ra’y) tertentu dalam hukum-hukum. Banyak dari para mujtahid dan imam itu juga menjadi hakim serta penguasa di berbagai negeri. Perbedaan di antara para imam, hakim, dan penguasa tersebut menimbulkan perbedaan dalam hukum-hukum, di mana setiap orang memutuskan dengan pendapatnya sendiri atau sesuai pendapat seorang faqih yang ia anut. Akibatnya, terdapat putusan-putusan yang berbeda di dalam negara. Karena hal ini, sebagian ‘ulama condong secara nyata untuk menyatukan hukum yang dijadikan dasar putusan, dan menginginkan Khalifah mengeluarkan perintah agar rakyat berpegang padanya. Pada masa itu, sebagian orang yang memahami keadaan masyarakat berpendapat bahwa perlu ditulis sebuah kitab komprehensif yang menjadi rujukan para hakim dan lainnya, agar meringankan beban para hakim dan memudahkan para pihak yang berperkara. Ibn al-Muqaffa‘ menulis surat kepada Khalifah al-Manshur mengenai masalah ini, yang di dalamnya disebutkan: