香叶树是常绿灌木或小乔木，高(1-5)3-4米，胸径25厘米；树皮淡褐色；当年生枝条纤细，绿色，干时棕褐色，被黄白色短柔毛；叶互生，通常披针形、卵形或椭圆形，长(3)4-9(12.5)厘米，宽(1)1.5-3(4.5)厘米，先端渐尖，基部宽楔形或近圆形；伞形花序有5-8朵花，果实成熟时红色。
香叶树在广州植物志中的图版编号是101:6。
Lindera sterrophylla Allen的标本“甚无毛”，这被视为是与绒毛山胡椒的主要区别特征之一，香叶树则有明显的柔毛。此外，Lindera sterrophylla Allen所强调的叶先端骤尖，也在香叶树变异范围之内，因此被归并。
香叶树的叶子通常为披针形、卵形或椭圆形，长度为(3)4-9(12.5)厘米，宽度为(1)1.5-3(4.5)厘米，先端渐尖，基部宽楔形或近圆形。