韮山反射炉を見学した後は、反射炉を建設させた江川太郎左衛門英龍（坦庵）が暮らした家であり、韮山代官所としても使われました。室町時代に建てられたと言われる主屋のほか、書院、仏間、蔵、門、塀、神社などが国の重要文化財に指定されています。
表門は、屋根の中心がやや前側に偏っている薬医門。前後4本の柱のうち、前方の2本がやや太い本柱。後方の控柱2本は中心よりも奥に遠く建てられ、正面から見るとその特徴が分かりにくいのですが、四脚門と比べると来訪者にとっては門の奥への誘いを強く感じさせる設計です。
戦国期は江川曲輪と呼ばれた江川邸。周囲には堀切が巡らされ、土塁の内側は桝形と呼ばれる広場になっています。一旦事が起きればきっと、この桝形に韮山代官所の手下たちが、武器を手に隊列を組んで参集したのでしょう。