Deprecated storages¶
-
bucket_s3 (7)
-
database (20)
Deprecated: cf-accumulo-backups¶
[Système : None] [Lifecycle : deprecated] [Subtype : bucket_s3]
Bucket S3 cf-accumulo-backups
Links¶
Deprecated: cf-infra-mncc-eu-west-3¶
[Système : None] [Lifecycle : deprecated] [Subtype : bucket_s3]
Bucket S3 pour le déploiement à l'aide de CloudFormation
TODOs¶
- A vider. A supprimer
Links¶
Deprecated: cf-infra-problog¶
[Système : None] [Lifecycle : deprecated] [Subtype : bucket_s3]
Bucket S3 pour le stockage des données Problog
TODOs¶
- Vide. A supprimer
Links¶
Deprecated: cf-ui-mysql-backups¶
[Système : None] [Lifecycle : deprecated] [Subtype : bucket_s3]
Bucket S3 cf-ui-mysql-backups
Events¶
2025-01-15 - 14:10 - Suppression du Bucket S3 cf-ui-mysql-backups
Ce bucket contient des backups MySQL réalisés avant que nous ne migriions nos applications
dans swarm01. Les plus récents datent de juillet 2022.
J'ai supprimé le bucket complet.
Links¶
Deprecated: cf-yunohost-backups¶
[Système : None] [Lifecycle : deprecated] [Subtype : bucket_s3]
Bucket S3 cf-yunohost-backups
TODOs¶
- Devrait contenir les backups (ISTA au minimum) réalisés depuis YunoHost avec ???. Est vide ?!? Vérifier les backups !
Links¶
Deprecated: sentinel-honeypot-information¶
[Système : None] [Lifecycle : deprecated] [Subtype : bucket_s3]
Bucket S3 sentinel-honeypot-information
TODOs¶
- Servait à déposer les logs des Honeypots. Mais nous les envoyons maintenant directement à l'API de Cywise. A supprimer
Links¶
Deprecated: wordpress-cfn-templates-eu-west-3¶
[Système : None] [Lifecycle : deprecated] [Subtype : bucket_s3]
Bucket S3 pour le déploiement des Wordpress de itslearning avec CloudFormation
Events¶
2025-01-15 - 15:30 - Suppression du Bucket S3 wordpress-cfn-templates-eu-west-3
Ce bucket contient les fichiers CloudFormation pour le déploiement des Wordpress de itslearing. itslearning France a fermé en septembre 2024.
J'ai supprimé le bucket complet.
TODOs¶
- Plus utilisé. A supprimer.
Links¶
Deprecated: devappscompose_cfui¶
[Système : appscompose] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Apps Compose cf-ui DEV
Events¶
2025-01-17 - 12:00 - Suppression de l'environnement de DEV de Apps Compose
Nous n'avons jamais vraiment utilisé Apps Compose. Je vais donc supprimer son environnement de DEV.
Apps Compose Datalake UI DEV¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm dev-appscompose-cf-ui
ansible@s001:~$ sudo docker stack rm dev-appscompose-cf-ui
Removing service dev-appscompose-cf-ui_app
Removing service dev-appscompose-cf-ui_queue
Removing service dev-appscompose-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de Apps Compose (ansible/client-appscompose.yaml).
Ce qui revient à supprimer le ficher car Jenkins était le dernier déploiement restant.
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Apps Compose cf-ui DEV¶
Je supprime la base de données devappscompose_cfui depuis phpMyAdmin.
J'en profite pour supprimer l'utilisateur correspondant : devappscocfui.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Suppression des données sur le SFTP¶
Je désactive le compte SFTP de DEV. Voici la taille des données présentes pour Apps Compose sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/prod_out
24K /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/prod
40K /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/staging_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/staging
84K /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose
J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev
total 16K
drwxr-xr-x 4 ansible ansible 4.0K Jun 13 2023 .
drwxr-xr-x 8 ansible ansible 4.0K Jun 13 2023 ..
drwxr-xr-x 2 ansible ansible 4.0K Jun 13 2023 conf
drwxr-xr-x 3 ansible ansible 4.0K Jun 13 2023 repotests
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 12:18 .
drwxr-xr-x 8 ansible ansible 4.0K Jun 13 2023 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev_out
total 16K
drwxr-xr-x 4 ansible ansible 4.0K Jun 13 2023 .
drwxr-xr-x 8 ansible ansible 4.0K Jun 13 2023 ..
drwxr-xr-x 2 ansible ansible 4.0K Jun 13 2023 conf
drwxr-xr-x 3 ansible ansible 4.0K Jun 13 2023 repotests
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 12:19 .
drwxr-xr-x 8 ansible ansible 4.0K Jun 13 2023 ..
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de appscompose/dev etappscompose/dev_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose
24K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev
28K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev_out
56K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose
4.0K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/appscompose/dev/ de ce bucket (dev_out n'est
pas backupé sur S3).
Suppression des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier dev-mysql/devappscompose_cfui/.
J'ai supprimé ce dossier et son contenu.
Links¶
Dependencies¶
Deprecated: devista_cfui¶
[Système : ista] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Ista cf-ui DEV
Events¶
2025-01-10 - 17:30 - Suppression des 3 stacks cf-ui d'ISTA sur swarm01
Nous avons migré l'infra d'Ista sur les serveurs yunohost-ista-dev et yunohost-ista-prod depuis
plusieurs mois donc je peux supprimer ces 3 stacks conservées par prudence.
Actions :
- suppression des stacks depuis le ssh (
ansible@s001:~$ sudo docker stack rm dev-ista-cf-ui,ansible@s001:~$ sudo docker stack rm staging-ista-cf-ui,ansible@s001:~$ sudo docker stack rm prod-ista-cf-ui) - suppression des 3 bases MySQL correspondantes (
devista_cfui,stagingista_cfui,prodista_cfui, ) avec phpMyAdmin. - suppression dans le playbook ansible (
cf-infra/ansible/client-ista.yaml)
Links¶
Dependencies¶
Deprecated: devlurberri_cfui¶
[Système : lurberri] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Lur Berri cf-ui DEV
Events¶
2025-06-30 - Suppression de l'environnement de DEV de Lur Berri
Lur Berri a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de DEV.
Lur Berri Datalake UI DEV¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm dev-lurberri-cf-ui
ansible@s001:~$ sudo docker stack rm dev-lurberri-cf-ui
Removing service dev-lurberri-cf-ui_app
Removing service dev-lurberri-cf-ui_queue
Removing service dev-lurberri-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de Lur Berri (ansible/client-lurberri.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Lur Berri cf-ui DEV¶
Je supprime la base de données devlurberri_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : devlurbercfui et devlurbercfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Suppression des données sur le SFTP¶
Je désactive le compte SFTP de DEV. Voici la taille des données présentes pour la Lur Berri sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
735G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out
80K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev
7.8G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod
11G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out
12K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out
8.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging
753G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev
total 56K
drwxr-xr-x 6 ansible ansible 4.0K Mar 23 2023 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
drwxr-xr-x 4 ansible ansible 4.0K Dec 3 2022 conf
drwxr-xr-x 2 ansible ansible 36K Mar 30 2022 factures
drwxr-xr-x 3 ansible ansible 4.0K Mar 23 2023 feedit
drwxr-xr-x 3 ansible ansible 4.0K Apr 21 2022 persone-titre
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jun 30 17:28 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out
total 160K
drwxr-xr-x 15 ansible ansible 4.0K Mar 23 2023 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
drwxr-xr-x 3 ansible ansible 4.0K Mar 4 2022 compta-ecritures-analytiques-zzgea
drwxr-xr-x 4 ansible ansible 4.0K Mar 4 2022 compta-ecritures-zzgec
drwxr-xr-x 4 ansible ansible 4.0K Mar 4 2022 compta-plan-comptable-zzgpc
drwxr-xr-x 4 ansible ansible 4.0K Mar 4 2022 conf
drwxr-xr-x 2 ansible ansible 104K Mar 30 2022 factures
drwxr-xr-x 3 ansible ansible 4.0K Mar 23 2023 feedit
drwxr-xr-x 4 ansible ansible 4.0K Mar 4 2022 kerhis-table-batiment
drwxr-xr-x 4 ansible ansible 4.0K Mar 4 2022 kerhis-table-paramanalytique
drwxr-xr-x 4 ansible ansible 4.0K Mar 4 2022 kerhis-table-plancomptable
drwxr-xr-x 3 ansible ansible 4.0K Mar 4 2022 kerhis-table-tiers
drwxr-xr-x 4 ansible ansible 4.0K Mar 4 2022 persone-base
drwxr-xr-x 4 ansible ansible 4.0K Mar 4 2022 persone-pays
drwxr-xr-x 3 ansible ansible 4.0K Apr 21 2022 persone-titre
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jun 30 17:30 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
Il y avait aussi 1 fichier /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri-factures-archive.tar.gz
de 15G que j'ai supprimé.
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de lurberri/dev etlurberri/dev_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
277G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
256K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev
169M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
260K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev_out
277G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
277G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
169M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
277G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/lurberri/dev/ de ce bucket (dev_out n'est
pas backupé sur S3).
Notre NiFi précédent backupait les données dans /var/sftp/lurberri/dev/ donc je
supprime aussi ce dossier.
Suppression des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier dev-mysql/devlurberri_cfui/.
J'ai supprimé ce dossier et son contenu.
Freshping¶
Pas de surveillance Freshping pour Lur Berri DEV.
Links¶
Dependencies¶
Deprecated: devsentinel_cfui¶
[Système : sentinel] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Sentinel cf-ui DEV
Events¶
2025-01-17 - 12:30 - Suppression de l'environnement de DEV de Sentinel
Nous avons déplacé les fonctionnalités de Sentinel dans Towerify / Cywise. Les environnements Sentinel cf-ui ne sont donc plus utilisés. Je vais supprimer l'environnement de DEV.
Sentinel Datalake UI DEV¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm dev-sentinel-cf-ui
ansible@s001:~$ sudo docker stack rm dev-sentinel-cf-ui
Removing service dev-sentinel-cf-ui_app
Removing service dev-sentinel-cf-ui_queue
Removing service dev-sentinel-cf-ui_queue-heavy
Removing service dev-sentinel-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de Sentinel (ansible/client-sentinel.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Sentinel cf-ui DEV¶
Je supprime la base de données devsentinel_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : devsentincfui et devsentincfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Suppression des données sur le SFTP¶
Je désactive le compte SFTP de DEV. Voici la taille des données présentes pour Sentinel sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
75G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out
104K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev
1.0M /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod
3.9G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging
79G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 21 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
drwxr--r-- 4 ansible ansible 4.0K Feb 16 2023 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 12:40 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 28 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
drwxr-xr-x 3 ansible ansible 4.0K Nov 22 2022 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 12:41 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de sentinel/dev etsentinel/dev_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
7.2G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
177M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev
7.2G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
177M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev_out
15G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
7.2G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
7.2G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
15G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/sentinel/dev/ de ce bucket (dev_out n'est
pas backupé sur S3).
Notre NiFi précédent backupait les données dans /var/sftp/sentinel/dev/ donc je
supprime aussi ce dossier.
Suppression des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier dev-mysql/devsentinel_cfui/.
J'ai supprimé ce dossier et son contenu.
Links¶
Dependencies¶
Deprecated: devsmacl_cfmodulesmacl¶
[Système : smacl] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Smacl VAM module DEV
Events¶
2025-01-15 - Suppression de l'environnement de DEV de la Smacl
La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de DEV.
Smacl Datalake UI DEV¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm dev-smacl-cf-ui
ansible@s001:~$ sudo docker stack rm dev-smacl-cf-ui
Removing service dev-smacl-cf-ui_app
Removing service dev-smacl-cf-ui_queue
Removing service dev-smacl-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl cf-ui DEV¶
Je supprime la base de données devsmacl_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : devsmaclcfui et devsmaclcfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Module VAM de la Smacl de DEV¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm dev-smacl-module
ansible@s001:~$ sudo docker stack rm dev-smacl-module
Removing service dev-smacl-module_app
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl VAM module DEV¶
Je supprime la base de données devsmacl_cfmodulesmacl depuis phpMyAdmin.
J'en profite pour supprimer l'utilisateur correspondant : devsmaclcfmodule.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.
Smacl nouveau module contrats ??? DEV¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm dev-modules-smacl-contracts
ansible@s001:~$ sudo docker stack rm dev-modules-smacl-contracts
Removing service dev-modules-smacl-contracts_web
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
Suppression des données sur le SFTP¶
J'ai déjà désactivé le compte SFTP de DEV. Voici la taille des données présentes pour la smacl sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
880K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
6.9G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
24G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
6.4M /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
964G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
total 40K
drwxr-xr-x 10 ansible ansible 4.0K Jan 15 16:44 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr--r-- 4 ansible ansible 4.0K Feb 16 2023 conf
drwxr-xr-x 10 ansible ansible 4.0K Jan 16 2023 dab
drwxr-xr-x 4 ansible ansible 4.0K Oct 10 2022 dce
drwxr--r-- 3 ansible ansible 4.0K Jun 24 2024 smart-policies-1
drwxr--r-- 3 ansible ansible 4.0K Jun 25 2024 test1-1
drwxr-xr-x 6 ansible ansible 4.0K Feb 23 2023 test-coreapi-fileindex
drwxr-xr-x 3 ansible ansible 4.0K Mar 13 2022 test-nifi-invoke-http
drwxr-xr-x 3 ansible ansible 4.0K May 2 2022 test-nifi-unpack-archive
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 15 16:49 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
total 64K
drwxr-xr-x 16 ansible ansible 4.0K Jun 25 2024 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr-xr-x 7 ansible ansible 4.0K Mar 3 2022 conf
drwxr-xr-x 62 ansible ansible 4.0K Jan 16 2023 dab
drwxr-xr-x 4 ansible ansible 4.0K Oct 10 2022 dce
drwxr-xr-x 3 ansible ansible 4.0K Mar 3 2022 ecritures-comptables
drwxr-xr-x 4 ansible ansible 4.0K Mar 3 2022 patrick01
drwxr-xr-x 4 ansible ansible 4.0K Mar 3 2022 patrick02
drwxr-xr-x 4 ansible ansible 4.0K Mar 3 2022 patrick03
drwxr-xr-x 4 ansible ansible 4.0K Mar 3 2022 patrick04
drwxr-xr-x 3 ansible ansible 4.0K Apr 23 2024 smart_policies
drwxr-xr-x 3 ansible ansible 4.0K Jun 24 2024 smart-policies-1
drwxr-xr-x 3 ansible ansible 4.0K Jun 25 2024 test1-1
drwxr-xr-x 4 ansible ansible 4.0K Feb 23 2023 test-coreapi-fileindex
drwxr-xr-x 3 ansible ansible 4.0K May 2 2022 test-nifi-unpack-archive
drwxr-xr-x 74 ansible ansible 4.0K Dec 8 2022 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 15 16:50 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
Il y avait aussi 2 dossiers /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl-dab et
/var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl-vam qui contenaient des .tar.lz4
de 2022. J'ai supprimé complètement ces 2 dossiers.
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de smacl/dev etsmacl/dev_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
9.4M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
54M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
9.1M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
9.1M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/smacl/dev/ de ce bucket (dev_out n'est
pas backupé sur S3).
Notre NiFi précédent backupait les données dans /var/sftp/smacl/dev/ donc je
supprime aussi ce dossier.
Suppression des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier dev-mysql/devsmacl_cfui/ et dans le dossier dev-mysql/devsmacl_cfmodulesmacl/.
J'ai supprimé ces 2 dossiers et leur contenu.
Links¶
Dependencies¶
Deprecated: devsmacl_cfui¶
[Système : smacl] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Smacl cf-ui DEV
Events¶
2025-01-15 - Suppression de l'environnement de DEV de la Smacl
La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de DEV.
Smacl Datalake UI DEV¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm dev-smacl-cf-ui
ansible@s001:~$ sudo docker stack rm dev-smacl-cf-ui
Removing service dev-smacl-cf-ui_app
Removing service dev-smacl-cf-ui_queue
Removing service dev-smacl-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl cf-ui DEV¶
Je supprime la base de données devsmacl_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : devsmaclcfui et devsmaclcfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Module VAM de la Smacl de DEV¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm dev-smacl-module
ansible@s001:~$ sudo docker stack rm dev-smacl-module
Removing service dev-smacl-module_app
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl VAM module DEV¶
Je supprime la base de données devsmacl_cfmodulesmacl depuis phpMyAdmin.
J'en profite pour supprimer l'utilisateur correspondant : devsmaclcfmodule.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.
Smacl nouveau module contrats ??? DEV¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm dev-modules-smacl-contracts
ansible@s001:~$ sudo docker stack rm dev-modules-smacl-contracts
Removing service dev-modules-smacl-contracts_web
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
Suppression des données sur le SFTP¶
J'ai déjà désactivé le compte SFTP de DEV. Voici la taille des données présentes pour la smacl sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
880K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
6.9G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
24G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
6.4M /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
964G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
total 40K
drwxr-xr-x 10 ansible ansible 4.0K Jan 15 16:44 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr--r-- 4 ansible ansible 4.0K Feb 16 2023 conf
drwxr-xr-x 10 ansible ansible 4.0K Jan 16 2023 dab
drwxr-xr-x 4 ansible ansible 4.0K Oct 10 2022 dce
drwxr--r-- 3 ansible ansible 4.0K Jun 24 2024 smart-policies-1
drwxr--r-- 3 ansible ansible 4.0K Jun 25 2024 test1-1
drwxr-xr-x 6 ansible ansible 4.0K Feb 23 2023 test-coreapi-fileindex
drwxr-xr-x 3 ansible ansible 4.0K Mar 13 2022 test-nifi-invoke-http
drwxr-xr-x 3 ansible ansible 4.0K May 2 2022 test-nifi-unpack-archive
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 15 16:49 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
total 64K
drwxr-xr-x 16 ansible ansible 4.0K Jun 25 2024 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr-xr-x 7 ansible ansible 4.0K Mar 3 2022 conf
drwxr-xr-x 62 ansible ansible 4.0K Jan 16 2023 dab
drwxr-xr-x 4 ansible ansible 4.0K Oct 10 2022 dce
drwxr-xr-x 3 ansible ansible 4.0K Mar 3 2022 ecritures-comptables
drwxr-xr-x 4 ansible ansible 4.0K Mar 3 2022 patrick01
drwxr-xr-x 4 ansible ansible 4.0K Mar 3 2022 patrick02
drwxr-xr-x 4 ansible ansible 4.0K Mar 3 2022 patrick03
drwxr-xr-x 4 ansible ansible 4.0K Mar 3 2022 patrick04
drwxr-xr-x 3 ansible ansible 4.0K Apr 23 2024 smart_policies
drwxr-xr-x 3 ansible ansible 4.0K Jun 24 2024 smart-policies-1
drwxr-xr-x 3 ansible ansible 4.0K Jun 25 2024 test1-1
drwxr-xr-x 4 ansible ansible 4.0K Feb 23 2023 test-coreapi-fileindex
drwxr-xr-x 3 ansible ansible 4.0K May 2 2022 test-nifi-unpack-archive
drwxr-xr-x 74 ansible ansible 4.0K Dec 8 2022 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 15 16:50 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
Il y avait aussi 2 dossiers /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl-dab et
/var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl-vam qui contenaient des .tar.lz4
de 2022. J'ai supprimé complètement ces 2 dossiers.
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de smacl/dev etsmacl/dev_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
9.4M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
54M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
9.1M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
9.1M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/smacl/dev/ de ce bucket (dev_out n'est
pas backupé sur S3).
Notre NiFi précédent backupait les données dans /var/sftp/smacl/dev/ donc je
supprime aussi ce dossier.
Suppression des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier dev-mysql/devsmacl_cfui/ et dans le dossier dev-mysql/devsmacl_cfmodulesmacl/.
J'ai supprimé ces 2 dossiers et leur contenu.
Links¶
Dependencies¶
Deprecated: prod_superset¶
[Système : None] [Lifecycle : deprecated] [Subtype : database]
MySQL database for CF Superset PROD
Events¶
2025-03-21 - Suppression du Superset commun sur swarm01
Je pense que je pourrais supprimer le Superset commun déployé sur swarm01, le nôtre.
Il y a 2 dashboards pour la Smacl que je supprime. Un dashboard pour AdversaryMeter qui ne fonctionne plus (nous avons déplacé AM vers Cywise) donc je le supprime aussi. Un dashboard pour Sentinel qui ne fonctionne plus (nous avons déplacé Sentinel vers Cywise) donc je le supprime aussi. Un dashboard AM pour Hermès qui n'est plus client chez nous pour AM. Je supprime également. Un dashboard pour les droits de nos cf-ui que j'ai désinstallés depuis longtemps. Je supprime aussi.
Un dashboard pour Ista qui liste les droits des utilisateurs dans cf-ui pour savoir si ces droits ont été attribués directement à l'utilisateur ou en passant par un rôle. Je vais le transférer dans le Superset de Ista.
Transfert du dashboard ISTA - User Rights
J'ai exporté le dashboard ISTA - User Rights depuis le Superset commun.
J'ai modifié le fichier JSON pour changer le nom de la base de données de MySQL PROD RO
vers ista_prod_mysql_ro.
L'import du JSON c'est fait sans erreur dans le Superset de Ista.
Le nom de la base MySQL a changé de prodista_cfui à federa_ui_prod donc je fais le
changement dans le dataset. Je supprime, dans le dataset, les parties concernant la Smacl et Lur Berri.
Puis, dans le dashboard, j'ai un warning concernant le filtre. J'ai changé les paramètres du
dashboard pour mettre "show_native_filters": false, mais le warning persiste.
J'ai ouvert les 4 "charts", échangé leur dataset par le même puis enregistré. Le warning a disparu.
Je n'ai plus aucun dashboard dans le Superset commun. Je vais donc le supprimer :
- la stack depuis
s001:sudo docker stack rm common-superset - le déploiement ansible dans
ansible/client-common.yaml - la base MySQL
prod_supersetsurswarm01 - l'utilisateur MySQL
prosuper - le déploiement ansible de la base et de l'utilisateur dans
ansible/mysql-stacks.yaml
Links¶
Dependencies¶
Deprecated: prodista_cfui¶
[Système : ista] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Ista cf-ui PROD
Events¶
2025-01-10 - 17:30 - Suppression des 3 stacks cf-ui d'ISTA sur swarm01
Nous avons migré l'infra d'Ista sur les serveurs yunohost-ista-dev et yunohost-ista-prod depuis
plusieurs mois donc je peux supprimer ces 3 stacks conservées par prudence.
Actions :
- suppression des stacks depuis le ssh (
ansible@s001:~$ sudo docker stack rm dev-ista-cf-ui,ansible@s001:~$ sudo docker stack rm staging-ista-cf-ui,ansible@s001:~$ sudo docker stack rm prod-ista-cf-ui) - suppression des 3 bases MySQL correspondantes (
devista_cfui,stagingista_cfui,prodista_cfui, ) avec phpMyAdmin. - suppression dans le playbook ansible (
cf-infra/ansible/client-ista.yaml)
Links¶
Dependencies¶
Deprecated: prodista_superset¶
[Système : ista] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Ista Superset PROD
Events¶
2025-03-20 - Suppression du Superset pour Ista déployé sur swarm01
J'ai d'abord vérifié que j'avais bien transféré les dashboards de Ista vers le Superset
de leur serveur ISTA PROD.
Pour cela, j'ai modifié mon fichier /etc/hosts en ajoutant ces lignes :
# Superset ISTA on swarm01
51.159.100.42 dataviz.ista.computablefacts.com
# Superset ISTA on yunohost-ista-prod
51.159.221.199 dataviz.ista.fr
Puis j'ai comparé les dashboards de dataviz.ista.computablefacts.com et dataviz.ista.fr
et tout était déjà transféré.
J'ai donc supprimé le Superset de Ista déployé sur swarm01 :
- la stack depuis
s001:sudo docker stack rm ista-superset - le déploiement ansible dans
ansible/client-ista.yaml - la base MySQL
prodista_supersetsurswarm01 - l'utilisateur MySQL
proistasuper
Links¶
Dependencies¶
Deprecated: prodlurberri_cfui¶
[Système : lurberri] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Lur Berri cf-ui PROD
Events¶
2025-06-30 - Suppression de l'environnement de PROD de Lur Berri
Lur Berri a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de PROD.
Lur Berri Datalake UI PROD¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm prod-lurberri-cf-ui
ansible@s001:~$ sudo docker stack rm prod-lurberri-cf-ui
Removing service prod-lurberri-cf-ui_app
Removing service prod-lurberri-cf-ui_queue
Removing service prod-lurberri-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de Lur Berri (ansible/client-lurberri.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Lur Berri cf-ui PROD¶
Je supprime la base de données prodlurberri_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 3 utilisateurs correspondant : prolurbercfui, prolurbercfuiro
et prolurbercfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Suppression des données sur le SFTP¶
Je désactive le compte SFTP de PROD. Voici la taille des données présentes pour Lur Berri sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
735G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev
7.8G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging
743G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
J'ai supprimé les données de prod et de prod_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod
total 136K
drwxr-xr-x 34 ansible ansible 4.0K Sep 19 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
drwxr-xr-x 4 ansible ansible 4.0K Mar 31 2023 compta-archive-ecritures-analytiques-zhgea
drwxr-xr-x 4 ansible ansible 4.0K Mar 31 2023 compta-archive-ecritures-tiers-zhget
drwxr-xr-x 4 ansible ansible 4.0K Mar 31 2023 compta-archive-ecritures-zhgec
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 compta-ecritures-analytiques-zzgea
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 compta-ecritures-tiers-zzget
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 compta-ecritures-zzgec
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 compta-origines-zzpor
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 compta-plan-comptable-zzgpc
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 compta-tiers-zztie
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 compta-tiers-zztpc
drwxr--r-- 4 ansible ansible 4.0K Jul 1 2022 conf
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 eloficash
drwxr-xr-x 28 ansible ansible 4.0K Jun 18 03:38 factures
drwxr-xr-x 6 ansible ansible 4.0K Jan 1 02:53 feedit-parcelles
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 gicab-bovins-stats
drwxr-xr-x 4 ansible ansible 4.0K Apr 19 2023 grc-atc-activite
drwxr-xr-x 3 ansible ansible 4.0K Mar 22 2022 kerhis-table-activite
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 kerhis-table-batiment
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 kerhis-table-ecritures-lignes
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 kerhis-table-entete-ecritures
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 kerhis-table-facture-entete
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 kerhis-table-facture-ligne
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 kerhis-table-paramanalytique
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 kerhis-table-plancomptable
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 kerhis-table-sites
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 kerhis-table-tiers
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 oc-base
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 persone-base
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 persone-pays
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 persone-titre
drwxr-xr-x 3 ansible ansible 4.0K Mar 22 2022 tiers-ca-recapitulatif
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 tms-base
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jul 1 16:08 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out
total 140K
drwxr-xr-x 35 ansible ansible 4.0K Sep 19 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
drwxr-xr-x 5 ansible ansible 4.0K Mar 31 2023 compta-archive-ecritures-analytiques-zhgea
drwxr-xr-x 5 ansible ansible 4.0K Mar 31 2023 compta-archive-ecritures-tiers-zhget
drwxr-xr-x 5 ansible ansible 4.0K Mar 31 2023 compta-archive-ecritures-zhgec
drwxr-xr-x 5 ansible ansible 4.0K Jan 1 2023 compta-ecritures-analytiques-zzgea
drwxr-xr-x 5 ansible ansible 4.0K Jan 1 2023 compta-ecritures-tiers-zzget
drwxr-xr-x 5 ansible ansible 4.0K Jan 1 2023 compta-ecritures-zzgec
drwxr-xr-x 5 ansible ansible 4.0K Jan 1 2023 compta-origines-zzpor
drwxr-xr-x 5 ansible ansible 4.0K Jan 1 2023 compta-plan-comptable-zzgpc
drwxr-xr-x 5 ansible ansible 4.0K Jan 1 2023 compta-tiers-zztie
drwxr-xr-x 5 ansible ansible 4.0K Jan 1 2023 compta-tiers-zztpc
drwxr-xr-x 4 ansible ansible 4.0K Mar 4 2022 conf
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 eloficash
drwxr-xr-x 18 ansible ansible 4.0K Aug 4 2022 factures
drwxr-xr-x 5 ansible ansible 4.0K Jan 1 2024 feedit-parcelles
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 gicab-bovins-stats
drwxr-xr-x 4 ansible ansible 4.0K Apr 19 2023 grc-atc-activite
drwxr-xr-x 4 ansible ansible 4.0K Mar 4 2022 kerhis-table-activite
drwxr-xr-x 5 ansible ansible 4.0K Jan 2 2023 kerhis-table-batiment
drwxr-xr-x 5 ansible ansible 4.0K Jan 2 2023 kerhis-table-ecritures-lignes
drwxr-xr-x 5 ansible ansible 4.0K Jan 2 2023 kerhis-table-entete-ecritures
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 kerhis-table-facture-entete
drwxr-xr-x 3 ansible ansible 4.0K Mar 22 2022 kerhis-table-Facture-Entete
drwxr-xr-x 5 ansible ansible 4.0K Jan 2 2023 kerhis-table-facture-ligne
drwxr-xr-x 5 ansible ansible 4.0K Jan 2 2023 kerhis-table-paramanalytique
drwxr-xr-x 5 ansible ansible 4.0K Jan 2 2023 kerhis-table-plancomptable
drwxr-xr-x 5 ansible ansible 4.0K Jan 2 2023 kerhis-table-sites
drwxr-xr-x 5 ansible ansible 4.0K Jan 2 2023 kerhis-table-tiers
drwxr-xr-x 4 ansible ansible 4.0K Jan 1 2023 oc-base
drwxr-xr-x 5 ansible ansible 4.0K Jan 1 2023 persone-base
drwxr-xr-x 5 ansible ansible 4.0K Jan 2 2023 persone-pays
drwxr-xr-x 5 ansible ansible 4.0K Jan 2 2023 persone-titre
drwxr-xr-x 3 ansible ansible 4.0K Mar 4 2022 tiers-ca-recapitulatif
drwxr-xr-x 4 ansible ansible 4.0K Jan 2 2023 tms-base
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jul 1 16:14 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de lurberri/prod etlurberri/prod_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
277G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
169M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
277G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
4.0K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/lurberri/prod/ de ce bucket (prod_out n'est
pas backupé sur S3).
Notre NiFi précédent backupait les données dans /var/sftp/lurberri/prod/ donc je
supprime aussi ce dossier.
Suppression des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier prod-mysql/prodlurberri_cfui/.
J'ai supprimé ce dossier et son contenu.
Freshping¶
J'ai supprimé les 2 checks Freshping de Lur Berri PROD (https://www.lurberri.computablefacts.com/healthz et https://www.lurberri.computablefacts.com/login).
Links¶
Dependencies¶
Deprecated: prodlurberri_superset¶
[Système : lurberri] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Lur Berri Superset PROD
Events¶
2025-06-30 - Suppression du Superset pour Lur Berri déployé sur swarm01
Lur Berri a résilié son contrat avec nous. Je vais donc supprimer le Superset pour Lur Berri déployé sur swarm01.
??? la stack depuis s001 : sudo docker stack rm lurberri-superset
```
ansible@s001:~$ sudo docker stack rm lurberri-superset
Removing service lurberri-superset_redis
Removing service lurberri-superset_superset
Removing service lurberri-superset_superset-init
Removing service lurberri-superset_superset-worker
Removing service lurberri-superset_superset-worker-beat
Removing network lurberri-superset_redis-net
Removing network lurberri-superset_selenium-net
```
Je note ce déploiement comme `deprecated` dans cette doc.
??? le déploiement ansible dans ansible/client-lurberri.yaml
Ce qui revient à supprimer ce fichier car plus rien n'est déployé
pour Lur Berri.
??? la base MySQL prodlurberri_superset sur swarm01
Je supprime la base de données `prodlurberri_superset` depuis phpMyAdmin.
J'en profite pour supprimer l'utilisateur correspondant : `prolurbersuper`.
Je note cette base comme `deprecated` dans cette doc.
Je supprime la création de la base et de l'utilisateur du playbook ansible `ansible/mysql-stacks.yaml`.
??? Suppression des backups de la base MySQL prodlurberri_superset
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier `prod-mysql/prodlurberri_superset/`.
J'ai supprimé ce dossier et son contenu.
Links¶
Dependencies¶
Deprecated: prodsentinel_cfui¶
[Système : sentinel] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Sentinel cf-ui PROD
Events¶
2025-01-17 - 14:30 - Suppression de l'environnement de PROD de Sentinel
Nous avons déplacé les fonctionnalités de Sentinel dans Towerify / Cywise. Les environnements Sentinel cf-ui ne sont donc plus utilisés. Je vais supprimer l'environnement de PROD.
Warning
Je ne vais pas supprimer les backups de la base de données MySQL car nous pourrions en avoir besoin.
Sentinel Datalake UI PROD¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm prod-sentinel-cf-ui
ansible@s001:~$ sudo docker stack rm prod-sentinel-cf-ui
Removing service prod-sentinel-cf-ui_app
Removing service prod-sentinel-cf-ui_queue
Removing service prod-sentinel-cf-ui_queue-heavy
Removing service prod-sentinel-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de Sentinel (ansible/client-sentinel.yaml).
Ce qui revient à supprimer le ficher car Jenkins était le dernier déploiement restant.
Je note ce deploiement comme deprecated dans cette doc.
Je supprime mes surveillances :
- Statping-ng sur DEV02 - Sentinel Socle
- Statping-ng sur DEV02 - Sentinel Login
- Freshping - Sentinel Socle
- Freshping - Sentinel Login
MySQL database for Sentinel cf-ui PROD¶
Je supprime la base de données prodsentinel_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : prosentincfui et prosentincfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Suppression des données sur le SFTP¶
Je désactive le compte SFTP de PROD. Voici la taille des données présentes pour Sentinel sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
75G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev
1.0M /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging
75G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
J'ai supprimé les données de prod et de prod_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 21 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
drwxr--r-- 3 ansible ansible 4.0K Mar 21 2022 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 15:04 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 21 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
drwxr-xr-x 3 ansible ansible 4.0K Mar 21 2022 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 15:06 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de sentinel/prod etsentinel/prod_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
7.2G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
7.2G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
15G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
4.0K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/sentinel/prod/ de ce bucket (prod_out n'est
pas backupé sur S3).
Notre NiFi précédent backupait les données dans /var/sftp/sentinel/prod/ donc je
supprime aussi ce dossier.
Conservation des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier prod-mysql/prodsentinel_cfui/.
Le bucket S3 swarm01-backups-mysql supprime tous les fichiers de plus de 30 jours. Donc, dans 1 mois, les backups auront disparu...
J'ai donc décidé de les copier dans un autre bucket que j'ai créé (swarm01-backups-sentinel). Je vais les faire transiter par mon PC pour les copier d'un bucket à l'autre donc je les aurais en local aussi.
Commandes pour faire la copie
patrick@SpectreMate:~$ mkdir sentinel-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsentinel_cfui/ ./sentinel-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync ./sentinel-mysql-backups/ s3://swarm01-backups-sentinel/
J'ai finalement décidé de n'en garder que 6 sur les 30 (1 tous les 6 jours).
Links¶
Dependencies¶
Deprecated: prodsmacl_cfmodulesmacl¶
[Système : smacl] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Smacl VAM module PROD
Events¶
2025-01-16 - Suppression de l'environnement de PROD de la Smacl
La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de PROD.
Warning
Je ne vais pas supprimer les backups des bases de données MySQL car nous devrons fournir les données à la Smacl.
Quand la Smacl le demandera, nous pourrons restaurer les bases pour le faire.
Smacl Datalake UI PROD¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm prod-smacl-cf-ui
ansible@s001:~$ sudo docker stack rm prod-smacl-cf-ui
Removing service prod-smacl-cf-ui_app
Removing service prod-smacl-cf-ui_queue
Removing service prod-smacl-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl cf-ui PROD¶
Je supprime la base de données prodsmacl_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : prosmaclcfui et prosmaclcfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Module VAM de la Smacl de PROD¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm prod-smacl-module
ansible@s001:~$ sudo docker stack rm prod-smacl-module
Removing service prod-smacl-module_app
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl VAM module PROD¶
Je supprime la base de données prodsmacl_cfmodulesmacl depuis phpMyAdmin.
J'en profite pour supprimer l'utilisateur correspondant : prosmaclcfmodule.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.
Smacl nouveau module contrats ??? PROD¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm prod-modules-smacl-contracts
ansible@s001:~$ sudo docker stack rm prod-modules-smacl-contracts
Removing service prod-modules-smacl-contracts_web
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
Suppression des données sur le SFTP¶
J'ai déjà désactivé le compte SFTP de PROD. Voici la taille des données présentes pour la smacl sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
933G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
J'ai supprimé les données de prod et de prod_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
total 104K
drwxr-xr-x 6 ansible ansible 4.0K Jun 29 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr-xr-x 4 ansible ansible 4.0K Apr 2 2022 conf
drwxr-xr-x 1330 ansible ansible 36K Jan 7 23:12 dab
drwxr-xr-x 6 ansible ansible 12K Dec 30 12:03 dce
drwxr-xr-x 1421 ansible ansible 36K Jan 7 23:15 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 15:19 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
total 488K
drwxr-xr-x 6 ansible ansible 4.0K Jun 29 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr-xr-x 7 ansible ansible 4.0K Mar 4 2022 conf
drwxr-xr-x 9544 ansible ansible 248K Dec 16 23:18 dab
drwxr-xr-x 6 ansible ansible 4.0K Jan 15 2024 dce
drwxr-xr-x 8705 ansible ansible 216K Jan 1 02:04 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 15:24 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de smacl/prod etsmacl/prod_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
123G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
4.0K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/smacl/prod/ de ce bucket (prod_out n'est
pas backupé sur S3).
Notre NiFi précédent backupait les données dans /var/sftp/smacl/prod/ donc je
supprime aussi ce dossier.
Conservation des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier prod-mysql/prodsmacl_cfui/ et dans le dossier prod-mysql/prodsmacl_cfmodulesmacl/.
Le bucket S3 swarm01-backups-mysql supprime tous les fichiers de plus de 30 jours. Donc, dans 1 mois, les backups auront disparu...
J'ai donc décidé de les copier dans un autre bucket que j'ai créé (swarm01-backups-smacl). Je vais les faire transiter par mon PC pour les copier d'un bucket à l'autre donc je les aurais en local aussi.
Commandes pour faire la copie
patrick@SpectreMate:~$ mkdir smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsmacl_cfmodulesmacl/ ./smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsmacl_cfui/ ./smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync ./smacl-mysql-backups/ s3://swarm01-backups-smacl/
Links¶
Dependencies¶
Deprecated: prodsmacl_cfui¶
[Système : smacl] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Smacl cf-ui PROD
Events¶
2025-01-16 - Suppression de l'environnement de PROD de la Smacl
La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de PROD.
Warning
Je ne vais pas supprimer les backups des bases de données MySQL car nous devrons fournir les données à la Smacl.
Quand la Smacl le demandera, nous pourrons restaurer les bases pour le faire.
Smacl Datalake UI PROD¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm prod-smacl-cf-ui
ansible@s001:~$ sudo docker stack rm prod-smacl-cf-ui
Removing service prod-smacl-cf-ui_app
Removing service prod-smacl-cf-ui_queue
Removing service prod-smacl-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl cf-ui PROD¶
Je supprime la base de données prodsmacl_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : prosmaclcfui et prosmaclcfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Module VAM de la Smacl de PROD¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm prod-smacl-module
ansible@s001:~$ sudo docker stack rm prod-smacl-module
Removing service prod-smacl-module_app
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl VAM module PROD¶
Je supprime la base de données prodsmacl_cfmodulesmacl depuis phpMyAdmin.
J'en profite pour supprimer l'utilisateur correspondant : prosmaclcfmodule.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.
Smacl nouveau module contrats ??? PROD¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm prod-modules-smacl-contracts
ansible@s001:~$ sudo docker stack rm prod-modules-smacl-contracts
Removing service prod-modules-smacl-contracts_web
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
Suppression des données sur le SFTP¶
J'ai déjà désactivé le compte SFTP de PROD. Voici la taille des données présentes pour la smacl sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
933G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
J'ai supprimé les données de prod et de prod_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
total 104K
drwxr-xr-x 6 ansible ansible 4.0K Jun 29 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr-xr-x 4 ansible ansible 4.0K Apr 2 2022 conf
drwxr-xr-x 1330 ansible ansible 36K Jan 7 23:12 dab
drwxr-xr-x 6 ansible ansible 12K Dec 30 12:03 dce
drwxr-xr-x 1421 ansible ansible 36K Jan 7 23:15 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 15:19 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
total 488K
drwxr-xr-x 6 ansible ansible 4.0K Jun 29 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr-xr-x 7 ansible ansible 4.0K Mar 4 2022 conf
drwxr-xr-x 9544 ansible ansible 248K Dec 16 23:18 dab
drwxr-xr-x 6 ansible ansible 4.0K Jan 15 2024 dce
drwxr-xr-x 8705 ansible ansible 216K Jan 1 02:04 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 15:24 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de smacl/prod etsmacl/prod_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
123G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
4.0K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/smacl/prod/ de ce bucket (prod_out n'est
pas backupé sur S3).
Notre NiFi précédent backupait les données dans /var/sftp/smacl/prod/ donc je
supprime aussi ce dossier.
Conservation des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier prod-mysql/prodsmacl_cfui/ et dans le dossier prod-mysql/prodsmacl_cfmodulesmacl/.
Le bucket S3 swarm01-backups-mysql supprime tous les fichiers de plus de 30 jours. Donc, dans 1 mois, les backups auront disparu...
J'ai donc décidé de les copier dans un autre bucket que j'ai créé (swarm01-backups-smacl). Je vais les faire transiter par mon PC pour les copier d'un bucket à l'autre donc je les aurais en local aussi.
Commandes pour faire la copie
patrick@SpectreMate:~$ mkdir smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsmacl_cfmodulesmacl/ ./smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsmacl_cfui/ ./smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync ./smacl-mysql-backups/ s3://swarm01-backups-smacl/
Links¶
Dependencies¶
Deprecated: stagingappscompose_cfui¶
[Système : appscompose] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Apps Compose cf-ui STAGING
Events¶
2025-03-19 - Suppression base de données stagingappscompose_cfui
Je supprime la base MySQL stagingappscompose_cfui sur swarm01.
J'avais créé cette base par anticipation mais je n'ai jamais déployé Apps Compose staging.
Je supprime également les deux utilisateurs associés : staappscocfui et staappscocfuimater.
Links¶
Dependencies¶
Deprecated: stagingista_cfui¶
[Système : ista] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Ista cf-ui STAGING
Events¶
2025-01-10 - 17:30 - Suppression des 3 stacks cf-ui d'ISTA sur swarm01
Nous avons migré l'infra d'Ista sur les serveurs yunohost-ista-dev et yunohost-ista-prod depuis
plusieurs mois donc je peux supprimer ces 3 stacks conservées par prudence.
Actions :
- suppression des stacks depuis le ssh (
ansible@s001:~$ sudo docker stack rm dev-ista-cf-ui,ansible@s001:~$ sudo docker stack rm staging-ista-cf-ui,ansible@s001:~$ sudo docker stack rm prod-ista-cf-ui) - suppression des 3 bases MySQL correspondantes (
devista_cfui,stagingista_cfui,prodista_cfui, ) avec phpMyAdmin. - suppression dans le playbook ansible (
cf-infra/ansible/client-ista.yaml)
Links¶
Dependencies¶
Deprecated: staginglurberri_cfui¶
[Système : lurberri] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Lur Berri cf-ui STAGING
Events¶
2025-06-30 - Suppression de l'environnement de STAGING de Lur Berri
Lur Berri a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de STAGING.
Lur Berri Datalake UI STAGING¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm staging-lurberri-cf-ui
ansible@s001:~$ sudo docker stack rm staging-lurberri-cf-ui
Removing service staging-lurberri-cf-ui_app
Removing service staging-lurberri-cf-ui_queue
Removing service staging-lurberri-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de Lur Berri (ansible/client-lurberri.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Lur Berri cf-ui STAGING¶
Je supprime la base de données staginglurberri_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : stalurbercfui et stalurbercfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Suppression des données sur le SFTP¶
Je désactive le compte SFTP de STAGING. Voici la taille des données présentes pour Lur Berri sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
735G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev
7.8G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out
12K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out
8.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging
743G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
J'ai supprimé les données de staging et de staging_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 21 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
drwxr-xr-x 2 ansible ansible 4.0K Mar 21 2022 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jul 1 08:54 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 21 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
drwxr-xr-x 2 ansible ansible 4.0K Mar 21 2022 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jul 1 08:55 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de lurberri/staging etlurberri/staging_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/staging sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
277G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
169M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
277G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/staging
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
277G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
169M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
277G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
NOTA : aucune donnée supprimée car Lur Berri n'utilisait pas l'environnement de STAGING.
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
Pas de donnée dans le dossier /tmp/sftp/lurberri/staging/ ni dans /var/sftp/lurberri/staging/
puisque Lur Berri n'utilisait pas l'environnement de STAGING.
Rien à supprimer donc.
Suppression des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier staging-mysql/staginglurberri_cfui/.
J'ai supprimé ce dossier et son contenu.
Freshping¶
Pas de surveillance Freshping pour Lur Berri STAGING.
Links¶
Dependencies¶
Deprecated: stagingsentinel_cfui¶
[Système : sentinel] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Sentinel cf-ui STAGING
Events¶
2025-01-17 - 14:10 - Suppression de l'environnement de STAGING de Sentinel
Nous avons déplacé les fonctionnalités de Sentinel dans Towerify / Cywise. Les environnements Sentinel cf-ui ne sont donc plus utilisés. Je vais supprimer l'environnement de STAGING.
Sentinel Datalake UI STAGING¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm staging-sentinel-cf-ui
ansible@s001:~$ sudo docker stack rm staging-sentinel-cf-ui
Removing service staging-sentinel-cf-ui_app
Removing service staging-sentinel-cf-ui_queue
Removing service staging-sentinel-cf-ui_queue-heavy
Removing service staging-sentinel-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de Sentinel (ansible/client-sentinel.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Sentinel cf-ui STAGING¶
Je supprime la base de données stagingsentinel_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : stasentincfui et stasentincfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Suppression des données sur le SFTP¶
Je désactive le compte SFTP de STAGING. Voici la taille des données présentes pour Sentinel sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
75G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev
1.0M /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging
75G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
J'ai supprimé les données de staging et de staging_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Mar 7 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Mar 7 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Mar 7 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Mar 7 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar 7 2022 ..
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de sentinel/staging etsentinel/staging_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/staging sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
7.2G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
7.2G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
15G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/staging
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
7.2G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
7.2G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
15G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/sentinel/staging/ de ce bucket (staging_out n'est
pas backupé sur S3). NOTA: ce dossier n'existait pas...
Suppression des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier staging-mysql/stagingsentinel_cfui/.
J'ai supprimé ce dossier et son contenu.
Links¶
Dependencies¶
Deprecated: stagingsmacl_cfmodulesmacl¶
[Système : smacl] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Smacl VAM module STAGING
Events¶
2025-01-16 - Suppression de l'environnement de STAGING de la Smacl
La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de STAGING.
Smacl Datalake UI STAGING¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm staging-smacl-cf-ui
ansible@s001:~$ sudo docker stack rm staging-smacl-cf-ui
Removing service staging-smacl-cf-ui_app
Removing service staging-smacl-cf-ui_queue
Removing service staging-smacl-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl cf-ui STAGING¶
Je supprime la base de données stagingsmacl_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : stasmaclcfui et stasmaclcfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Module VAM de la Smacl de STAGING¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm staging-smacl-module
ansible@s001:~$ sudo docker stack rm staging-smacl-module
Removing service staging-smacl-module_app
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl VAM module STAGING¶
Je supprime la base de données stagingsmacl_cfmodulesmacl depuis phpMyAdmin.
J'en profite pour supprimer l'utilisateur correspondant : stasmaclcfmodule.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.
Smacl nouveau module contrats ??? STAGING¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm staging-modules-smacl-contracts
ansible@s001:~$ sudo docker stack rm staging-modules-smacl-contracts
Removing service staging-modules-smacl-contracts_web
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
Suppression des données sur le SFTP¶
J'ai déjà désactivé le compte SFTP de STAGING. Voici la taille des données présentes pour la smacl sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
24G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
6.4M /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
957G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
J'ai supprimé les données de staging et de staging_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
total 40K
drwxr-xr-x 6 ansible ansible 4.0K Oct 11 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr--r-- 3 ansible ansible 4.0K May 23 2022 conf
drwxr-xr-x 25 ansible ansible 4.0K Jan 10 2023 dab
drwxr-xr-x 4 ansible ansible 20K Jan 8 2024 dce
drwxr-xr-x 27 ansible ansible 4.0K Jan 10 2023 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 12:01 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
total 44K
drwxr-xr-x 6 ansible ansible 4.0K Mar 3 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr-xr-x 8 ansible ansible 4.0K May 23 2022 conf
drwxr-xr-x 25 ansible ansible 12K Jan 9 2023 dab
drwxr-xr-x 6 ansible ansible 4.0K Jan 8 2024 dce
drwxr-xr-x 27 ansible ansible 16K Jan 9 2023 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 12:02 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de smacl/staging etsmacl/staging_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
9.1M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
123G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/smacl/staging/ de ce bucket (staging_out n'est
pas backupé sur S3).
Notre NiFi précédent backupait les données dans /var/sftp/smacl/staging/ donc je
supprime aussi ce dossier.
Suppression des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier staging-mysql/stagingsmacl_cfui/ et dans le dossier staging-mysql/stagingsmacl_cfmodulesmacl/.
J'ai supprimé ces 2 dossiers et leur contenu.
Links¶
Dependencies¶
Deprecated: stagingsmacl_cfui¶
[Système : smacl] [Lifecycle : deprecated] [Subtype : database]
MySQL database for Smacl cf-ui STAGING
Events¶
2025-01-16 - Suppression de l'environnement de STAGING de la Smacl
La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de STAGING.
Smacl Datalake UI STAGING¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm staging-smacl-cf-ui
ansible@s001:~$ sudo docker stack rm staging-smacl-cf-ui
Removing service staging-smacl-cf-ui_app
Removing service staging-smacl-cf-ui_queue
Removing service staging-smacl-cf-ui_scheduler
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl cf-ui STAGING¶
Je supprime la base de données stagingsmacl_cfui depuis phpMyAdmin.
J'en profite pour supprimer les 2 utilisateurs correspondant : stasmaclcfui et stasmaclcfuimater.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.
Module VAM de la Smacl de STAGING¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm staging-smacl-module
ansible@s001:~$ sudo docker stack rm staging-smacl-module
Removing service staging-smacl-module_app
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
MySQL database for Smacl VAM module STAGING¶
Je supprime la base de données stagingsmacl_cfmodulesmacl depuis phpMyAdmin.
J'en profite pour supprimer l'utilisateur correspondant : stasmaclcfmodule.
Je note cette base comme deprecated dans cette doc.
Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.
Smacl nouveau module contrats ??? STAGING¶
Je supprime la stack qui se trouve sur swarm01 depuis s001.
sudo docker stack rm staging-modules-smacl-contracts
ansible@s001:~$ sudo docker stack rm staging-modules-smacl-contracts
Removing service staging-modules-smacl-contracts_web
Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).
Je note ce deploiement comme deprecated dans cette doc.
Suppression des données sur le SFTP¶
J'ai déjà désactivé le compte SFTP de STAGING. Voici la taille des données présentes pour la smacl sur le SFTP :
sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
4.0K /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
24G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
6.4M /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
957G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
J'ai supprimé les données de staging et de staging_out sans supprimer les dossiers eux-mêmes.
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
total 40K
drwxr-xr-x 6 ansible ansible 4.0K Oct 11 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr--r-- 3 ansible ansible 4.0K May 23 2022 conf
drwxr-xr-x 25 ansible ansible 4.0K Jan 10 2023 dab
drwxr-xr-x 4 ansible ansible 20K Jan 8 2024 dce
drwxr-xr-x 27 ansible ansible 4.0K Jan 10 2023 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 12:01 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
total 44K
drwxr-xr-x 6 ansible ansible 4.0K Mar 3 2022 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
drwxr-xr-x 8 ansible ansible 4.0K May 23 2022 conf
drwxr-xr-x 25 ansible ansible 12K Jan 9 2023 dab
drwxr-xr-x 6 ansible ansible 4.0K Jan 8 2024 dce
drwxr-xr-x 27 ansible ansible 16K Jan 9 2023 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 12:02 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18 2022 ..
Suppression des données du cache de NiFi¶
NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les
fichiers qu'il récupère du SFTP dans son dossier tmp.
Je supprime donc les fichiers de smacl/staging etsmacl/staging_out.
sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
9.1M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
123G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
Suppression des données sur S3¶
NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives.
J'ai donc supprimé le dossier /tmp/sftp/smacl/staging/ de ce bucket (staging_out n'est
pas backupé sur S3).
Notre NiFi précédent backupait les données dans /var/sftp/smacl/staging/ donc je
supprime aussi ce dossier.
Suppression des backups¶
Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier staging-mysql/stagingsmacl_cfui/ et dans le dossier staging-mysql/stagingsmacl_cfmodulesmacl/.
J'ai supprimé ces 2 dossiers et leur contenu.