太鼓門は専修寺の東側にある門で、平屋建ての長屋門の上に三層の櫓を載せ、その最上階に大太鼓を吊るしていることからこの名が付けられました。
正徳2年（1712）から明治5年（1872）の暦制改正までの約160年間この太鼓は門番によって打ち鳴らされ、町の人々に時を知らせる役割を果たしていました。
中世ヨーロッパの教会の鐘のように、太鼓は生活の節目を知らせる大切な存在でした。
現役の太鼓とは別に、現在も破損した古い大太鼓（直径約1メートル）が大切に保存されています。
建築としても、太鼓門は土蔵造りの重厚な本瓦葺で、文化的・歴史的価値の高い建造物です。