প্রায় চারশত বৎসর আগে জমিদার মুরারিদেব ঘোষাল ভট্টাচার্য লালমনিরহাট জেলার কালীগঞ্জ উপজেলায় তুষভান্ডার জমিদার বাড়ি (Tushbhander Jaminderbari) প্রতিষ্ঠা করেন। কথিত আছে, ১৬৩৪ খ্রিষ্টাব্দে মহারাজা প্রাণ নারায়ণের শাসনামলে মুরারিদেব ঘোষাল ভট্টাচার্য চব্বিশ পরগনা জেলা হতে রসিক রায় বিগ্রহ নামক একটি ধর্মীয় বিষয় নিয়ে কোচবিহারে আসেন। তৎকালীন সময়ে ধর্মীয় কাজের জন্য ভূমি দান করা হত। মহারাজা প্রাণ নারায়ণ ঘোষাল ভট্টাচার্যকে বিগ্রহ পূজা করার জন্য ৯টি মৌজা দান করেন। কিন্তু ঘোষাল ভট্টাচার্য একজন ব্রাহ্মণ ছিলেন তাই তিনি মহারাজার দান ভোগে আপত্তি জানান এবং তিনি রাজাকে সেই সম্পত্তি ভোগের উপর খাজনা নেওয়ার প্রস্তাব করেন। তবে রাজা খাজনা হিসেবে ধানের তুষ নেওয়ার জন্য দাবী করেন। ফলে কোচবিহারের রাজাকে দেওয়ার জন্য পুরো জমিদারি এলাকা ধানের তুষ সংগ্রহ করে জমিদার বাড়ির পূর্ব পাশে রাখা হত। এই ঘটনা থেকে এই জমিদার বাড়িটি তুষভাণ্ডার জমিদার বাড়ি হিসাবে পরিচিতি লাভ করে।

‎এই জমিদার বংশের আরেক জমিদার কালী প্রসাদ রায় চৌধুরীর নামে কালীগঞ্জ উপজেলার নামকরণ করা হয়েছে। প্রতিষ্ঠার প্রায় চারশত বছর পর ১৯৩৫ সালে জমিদার গীরিন্দ্র মোহন রায় চৌধুরীর মৃত্যুর মাধ্যমে তুষভাণ্ডার জমিদার বাড়ির ঐতিহাসিক শাসনামলের অবসান ঘটে।