هل تأخذ نفقة الحج من زوجها بائع المحرمات؟

زوجي يملك مطعماً يبيع فيه الخمر والخنزير، لي طفلان وأود الذهاب للحج إن شاء الله بعد سنتين، قال زوجي بأنه سيدفع التكاليف لأنه لا يوجد لي أي مصدر للدخل المالي ولا أريد أن يربي أطفالي أي شخص آخر، فهل هذا جائز؟ ماذا يجب أن أفعل؟ أعلم بأنني وأطفالي لا زلنا صغار في السن ولكنني أريد الحج فماذا أفعل؟