با وجود این مسائل، پیوسته شاهد بودم که جَو نامساعدی علیه من رو یه گسترش است و وضع به‌شکلی در می‌آید که دیگر قادر نیستم به‌سهولت دست به کاری بزنم. تا اینکه یک روز در جمع فرماندهان نظامی موقع صحبت راجع‌به نارضایتی شاه از بعضی از واحدهای ارتش، خطاب به آن‌ها گفتم: «ناخشنودی شاهنشاه از چنین مسائلی، هم از نظر شغلی و هم از نظر احساسی برایم فوق‌العاده زجر آور است؛ چون من نه تنها شاهنشاه را فرماندهٔ خود می‌دانم، بلکه به او به‌عنوان برادر خود نیز عشق می‌ورزم.»

گفتن این جملهٔ بی‌ضرر - حتی اگر از ته قلب هم نبوده - سرنوشت تیمسار جَم را دگرگون ساخت. به این ترتیب که اسدالله علم، وزیر دربار، در ملاقات کوتاهی با جم - قبل از شرفیابی او به حضور شاه - به وی گفت که شاه از بی‌مبالاتی او و اینکه شاه را برادر خود دانسته، شدیداً ناخشنود است. البته علم در این ملاقات به جم نگفت که بهتر است از مقام ریاست ارتش استعفاء بدهد، ولی به وی خاطرنشان ساخت که اگر قصد استعفاء دارد، شاه با تقاضایش موافقت خواهد کرد. جم صحبت‌هایش را با این عبارت به پایان برد که «وفاداری من نسبت به شاهنشاه، جای چون و چرا ندارد و همواره خود را مرهون الطاف شاهنشاه می‌دانم؛ ولی ضمناً هرگز موفق به یافتن پاسخی برای این سؤال نشده‌ام که واقعاً چه کار خطایی از من سر زده بود؟». (پرویز راجی، تخت طاووس، صفحه ۱۱‌۰‌ - ۱۱‌۱‌.)