L'agrément est automatiquement retiré dans les cas suivants :

- rupture du contrat de travail de l'agent, à l'exception des cas où cette rupture est occasionnée par une mobilité au sein du réseau des organismes de la même branche ;
- communication de fausses informations ou de faux documents à l'appui de la demande d'agrément.

L'agrément peut en outre être retiré à la demande de l'employeur, par décision motivée de l'autorité qui l'a délivré après recueil des observations préalables de l'agent, lorsque les garanties d'intégrité ou les aptitudes professionnelles ne sont plus avérées.
Une nouvelle embauche à la suite d'une rupture du contrat de travail doit donner lieu à une nouvelle demande d'agrément dans les conditions prévues aux articles 3 et 5 du présent arrêté, à l'exception des cas où cette rupture est occasionnée par une mobilité au sein du réseau des organismes de la même branche.
La décision de retrait d'agrément est notifiée à l'agent concerné et à son employeur par la CNAV ou par la CCMSA. Elle est publiée selon le cas au Bulletin officiel du ministère chargé de la sécurité sociale ou du ministère chargé de l'agriculture.