১৯৯২ সালে ইসলামী  ব্যাংক বাংলাদেশ পিএলসিতে প্রবেশনারি অফিসার হিসেবে তিনি ব্যাংকিং ক্যারিয়ার শুরু করেন। জনাব  রহমান ইসলামী ব্যাংক বাংলাদেশ পিএলসির বিভিন্ন উইং ও জোনের প্রধান এবং ফেনী, চট্টগ্রাম ও ঢাকার মোট ৮টি শাখার শাখা প্রধান হিসেবে প্রায় ২১ বছর দায়িত্ব পালন করেছেন। এছাড়াও তিনি  আইবিবিপিএলসিতে এজেন্ট ব্যাংকিং, ক্ষুদ্রঋণ, ডিজিটাল পণ্য ও পরিষেবা এবং ইলেকট্রনিক ব্যাংকিং এ গুরুত্বপূর্ণ অবদান রেখেছেন।