日本小檗的叶子薄纸质，倒卵形、匙形或菱状卵形，长1-2厘米，宽5-12毫米。
日本小檗的浆果椭圆形，长约8毫米，直径约4毫米，亮鲜红色，无宿存花柱。
日本小檗一般高约1米。
日本小檗的根皮可作为健胃剂。