茶叶的管理主要 属于农业农村行政主管部门。具体来说，县级以上人民政府农业农村行政主管部门负责行政区域内茶产业发展工作，乡镇人民政府和街道办事处则落实茶叶质量安全属地管理的责任，村（居）民委员会则协助乡镇人民政府和街道办事处制定茶叶质量安全管理村规民约。
此外，虽然茶叶也涉及食品安全和食品流通许可证等方面的问题，但这些通常由市场监督管理部门负责，而茶叶的生产和加工则属于农业农村部门的职责范围。
综上所述，茶叶的管理主要归农业农村行政主管部门负责，同时涉及食品安全和食品流通的相关问题由市场监督管理部门负责。