في الحج

السلام عليكم ورحمة الله وبركاته وبعد:
سائل يسأل يقول:
أريد أن أذهب أنا ووالدتي إلى الحج في هذا العام إن شاء الله وقد طلب مني بعض ألأخوه أن أصحب أمهاتهم معي لأنهم لا يستطيعون أن يذهبوا معهن ، فبينت لهم أن هذا لا يجوز أي سفر ألمرأة من غير محرم ، فأصروا على ذلك ، بل إن أحدهم قال لي إن أمي أمانة في رقبتك أو عهدة عندك أو كما قال.
فماذا أفعل والحال كما سمعت يا شيخ؟