في مجلة المصور عام 1955 كتب الدكتور محمد كامل الخولي مدير مصلحة الصحة العقلية مقالا يحكي فيه قصة إنشاء مستشفى المجانين التي سميت فيما بعد بالسرايا الصفراء قال فيه: من الأقوال الشائعة قولهم خذوا الحكمة من أفواه المجانين، والواقع أن بعض الأذكياء والعباقرة قد يدخلون مستشفى المجاذيب ويقيمون بها. ولا يمكنك أن تعدهم عقلاء ولا مجانين، فهم بين بين.. يحسنون المناقشة ولا ينسون ما يعلموه، وقد يقدرون على الكتابة والبحث والتأليف، لكنهم يستسلمون للمرض أحيانا ثم يعودون إلى الصفاء الذهني. من هذه الطائفة رجل في التسعين من عمره مضى نصف عمره في مستشفى المجاذيب، وكان شغوفا بدراسة التاريخ، فاتجه إلى البحث في تاريخ الجنون والمجانين في مصر. راح يطلب المعلومات والمراجع ويدرسها وهو في المستشفى حتى وضع كتابا فريدا في هذا الموضوع كتبه بيده ولم يتح له إخراجه في شكل كتاب مطبوع. قال مؤرخ المجانين في كتابه: يبلغ عدد المجانين في مصر الآن نحو 7000 مجنون، هم نزلاء العباسية والخانكة، وهناك آلاف المجانين يعيشون طلقاء، بل إنهم أولى بأن يوضعون في المستشفى لأنهم أكثر جنونا من النزلاء. كان المرض بعقولهم منذ 200 سنة، يربطون بالسلاسل في الجدران خشية أن يهربوا، وكان علاجهم المفضل هو وضعهم تحت الدش صيفا وشتاء بعد تجريدهم من ملابسهم، ذلك لأن الأطباء القدامى كانوا يعتقدون أن المياه ترد العقول الذاهبة. وكان مستشفى قلاوون هو البيمارستان الوحيد في مصر، ولم يكن مخصصا لعلاج المجانين وحدهم بل كان فيها قسم لعلاج الأمراض العقلية واحد من أقسامه. وكانت هناك عيادة خارجية يتردد عليها المجانين كل يوم ليعالجوا، وكان كل مريض يسجل اسمه في سجلات المستشفى يمنح شهرية مالية وأقمشة من وقف هذا المستشفى الخيري. وحين جاء كلوت بك إلى مصر وأشرف على المستشفيات رأى عام 1825 أن ينتقل قسم الأمراض العقلية من قلاوون إلى العباسية، وكانت قصرا لأحد حكام الأسرة العلوية، وكان صاحبه يطلق عليه (السرايا الحمرا) فأزيل عنه الطلاء الأحمر وطلي باللون الأصفر. ومن هنا أطلق عليها السرايا الصفراء.
