日本小檗的叶子薄纸质，倒卵形、匙形或菱状卵形，长1-2厘米，宽5-12毫米。
日本小檗的花期为4-6月，果期为7-10月。
日本小檗的花2-5朵组成具总梗的伞形花序，或近簇生的伞形花序或无总梗而呈簇生状。
日本小檗的浆果椭圆形，长约8毫米，直径约4毫米，亮鲜红色，无宿存花柱。