図書館は、大正14年の大学昇格に合わせたキャンパス整備の一環として建設されました。
関東大震災後の建築物で耐震性も考慮され、折れ曲がった屏風のように稲妻型に壁を繋ぎ合わせることで地震の被害を分散させる「折板構造」という技法がとられました。
ステンドグラスのある中央吹き抜けの大閲覧室の空間構成には、本を読むという行為を崇高な営みに高めようという設計者の意図がうかがえます。
また、当時の屋上からの景観は今日では想像できない程のどかな田園風景が広がっていました。

昭和48(1973)年、現図書館が完成すると、宗教行事も行う癒しの場「耕雲館」としてその役割を担うことになりました。「耕雲館」の名は、禅語「耕雲種月(雲を耕し、月に種を植えるように、高い理想を掲げ、着実に努力する意)」から採られました。

平成11（1999）年、「東京都歴史的建造物」に選定されたことを契機に博物館としてリニューアル計画が進められ、資料保存を考慮した館内環境の確保と建物の外観保存との両立を目指しました。
常設展示室は、寺院建築風の床材や、掛軸を模した解説パネルで、禅寺の静寂な空間を再現し、東洋文化の「禅」と西洋建築との調和を図っています。
また、車椅子昇降機、エレベーター、専用トイレ等を設置し、バリアフリー、ユニバーサルデザインも考慮しました。
平成14年6月1日、開校以来本学に大切に保管されている一仏両祖像(釈尊・道元禅師・瑩山禅師)を仏教研修館竹友寮より遷坐し、開眼法要と開館式典が厳かに行われました。

耕雲館の設計者菅原榮蔵(1892-1968)は、旧帝国ホテルに代表されるフランク・ロイド・ライト(1867-1959)の建築様式「ライト式」に独創性を加えた建築を実現しました。
館内外にはライト風のモチーフなど大正時代に流行した外来様式が巧みに折衷されています。
外壁を覆うスクラッチタイルや、万華鏡のようなステンドグラスから入るやわらかい光、回廊のテラコッタ等、現代建築にはみられない装飾が建物の各部に施され、造形美を楽しむことができます。
特に玄関のタイルは、常滑製でサイズが4寸角と異なりますが、帝国ホテルライト館のギャラリー床のタイル(寸法は6寸角)と同じ意匠、釉薬が用いられています。
また、建物に合わせて製作されたと考えられる衝立、椅子等も現存しています