香叶树的叶子通常为披针形、卵形或椭圆形，长度为(3)4-9(12.5)厘米，宽度为(1)1.5-3(4.5)厘米，先端渐尖，基部宽楔形或近圆形。
香叶树分布于陕西、甘肃、湖南、湖北、江西、浙江、福建、台湾、广东、广西、云南、贵州、四川等省区及中南半岛。
香叶树的果实卵形，长约1厘米，宽7-8毫米，有时略小而近球形，无毛，成熟时为红色，果梗长4-7毫米，被黄褐色微柔毛。
Lindera sterrophylla Allen的标本“甚无毛”，这被视为是与绒毛山胡椒的主要区别特征之一，香叶树则有明显的柔毛。此外，Lindera sterrophylla Allen所强调的叶先端骤尖，也在香叶树变异范围之内，因此被归并。