L'agrément est retiré par le directeur de l'Agence centrale des organismes de sécurité sociale en cas de rupture du contrat de travail de l'agent ou d'affectation à un autre emploi sans fonction de contrôle. Le directeur de l'organisme employeur informe le directeur de l'Agence centrale des organismes de sécurité sociale à cet effet.
Par dérogation à l'alinéa précédent, l'agrément est conservé lorsque la rupture du contrat de travail est occasionnée par une mobilité au sein d'un autre organisme en charge du recouvrement du régime général de sécurité sociale et que l'agent concerné y conserve des fonctions de contrôle.
L'agrément peut en outre être retiré par décision motivée de l'autorité qui l'a délivré, lorsque les garanties d'intégrité ou les aptitudes professionnelles ne sont plus avérées. L'intéressé est au préalable informé des motifs et mis en situation de présenter ses observations.
La décision de retrait d'agrément est notifiée à l'agent concerné et à son employeur par l'Agence centrale des organismes de sécurité sociale. Elle est publiée au Bulletin officiel du ministère chargé de la sécurité sociale.