試衛館があった場所は、現在の所、完全に確定しているわけではない。
しかし、市ヶ谷柳町、同加賀町。
このあたりの一辺２５０メートルほどの間に、試衛館があったと思われる場所の候補地が４カ所ある。
当時の土地の価格、店のあった場所、町人が住めない場所、坂の上、試衛館の土地主の名前の記録。そんな条件から、候補に挙がっている場所が以下のところである。
（ちなみに、右下４枚目の写真は完全に個人のお宅なので、画像処理をしてあります。）

（2002年10月：研究家により場所が特定されたとのこと）