Le secrétariat général du CSFM, dont les effectifs et les moyens sont fixés par le ministre de la défense, est dirigé par un membre du corps militaire du contrôle général des armées portant le titre de secrétaire général. Nommé par le ministre de la défense, il est rattaché au cabinet de ce dernier.
Le secrétariat permanent de chacun des CFM, dont les effectifs et les moyens sont fixés par le vice-président du conseil, est dirigé par un officier général ou supérieur portant le titre de secrétaire général. Il est désigné par le ministre de la défense sur proposition du vice-président du conseil, auquel il est directement subordonné. Le secrétaire général du CFM de la gendarmerie est désigné par le ministre de la défense sur proposition du ministre de l'intérieur.