Le Conseil supérieur de la fonction militaire dispose d'un secrétariat général permanent dirigé par un secrétaire général, membre du corps militaire du contrôle général des armées, nommé par le ministre de la défense. Le secrétaire général assiste aux séances, mais ne participe pas aux votes. Par ailleurs, il assure la coordination des travaux des conseils de la fonction militaire.
Le ministre peut déléguer sa signature au secrétaire général pour les besoins du fonctionnement du Conseil supérieur de la fonction militaire.