L'agrément est automatiquement retiré dans les cas suivants :
― rupture du contrat de travail de l'agent, à l'exception des cas où cette rupture est occasionnée par une mobilité au sein du réseau des organismes de la même branche ;
― communication de fausses informations ou de faux documents à l'appui de la demande d'agrément.
L'agrément peut en outre être retiré, par décision motivée de l'autorité qui l'a délivré, lorsque les garanties d'intégrité ou les aptitudes professionnelles ne sont plus avérées.
Une nouvelle embauche suite à une rupture du contrat de travail doit donner lieu à une nouvelle demande d'agrément.
La décision de retrait d'agrément est notifiée à l'agent concerné et à son employeur par la caisse nationale. Elle est publiée au Bulletin officiel du ministère chargé de la sécurité sociale.