Deprecated deployments

• stack (40)

• yunohost (2)

Deprecated: appscompose-jenkins

[Système : appscompose] [Lifecycle : deprecated] [Subtype : stack]

Jenkins pour Apps Compose déployé sur swarm01

Events

2025-01-17 - 10:30 - Suppression du Jenkins de Apps Compose

Nous n'avons jamais vraiment utilisé Apps Compose. Je vais donc supprimer son Jenkins.

Je supprime la stack qui se trouve sur swarm01.

sudo docker stack rm appscompose-jenkins

ansible@s001:~$ sudo docker stack rm appscompose-jenkins
Removing service appscompose-jenkins_jenkins

Puis je supprime le container DinD (Docker in Docker) qui se trouve sur s008.

sudo docker stop appscompose-jenkins_dind sudo docker rm appscompose-jenkins_dind

ansible@s008:~$ sudo docker stop appscompose-jenkins_dind
appscompose-jenkins_dind
ansible@s008:~$ sudo docker rm appscompose-jenkins_dind
appscompose-jenkins_dind

Je supprime les 2 volumes associés.

sudo docker volume rm appscompose-jenkins_jenkins-data sudo docker volume rm appscompose-jenkins_jenkins-docker-certs

ansible@s008:~$ sudo docker volume rm appscompose-jenkins_jenkins-data
appscompose-jenkins_jenkins-data
ansible@s008:~$ sudo docker volume rm appscompose-jenkins_jenkins-docker-certs
appscompose-jenkins_jenkins-docker-certs

Je supprime le déploiement dans le playbook ansible de la Apps Compose (ansible/client-appscompose.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Je supprime le tag appscompose-jenkins.jenkins_home du noeud s008 en modifiant le fichier ansible/03-swarm01-labels.yaml puis en appliquant avec la commande : ansible-playbook -i ansible/inventory.yml ansible/03-swarm01-labels.yaml.

Links

• https://jenkins.appscompose.computablefacts.com

• Stack on swarm01 Portainer

Dependencies

Depends on (3)

• Component - application - jenkins

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: cf-sentinel-api-dev

[Système : sentinel] [Lifecycle : deprecated] [Subtype : stack]

Sentinel API DEV

Events

2024-07-05 - 17:00 - Décommissionnement des 3 machines de Sentinel API donc du cluster infra2

J'ai planté les machines du cluster de Sentinel API en faisant une mise à jour apt-get update && apt-get upgrade pour tenter de corriger des erreurs.

Comme j'avais préparé la machine yunohost-sentinel-api avec la PROD, nous avons décidé de basculer sur l'API de cette nouvelle machine et, donc, de décommissionner les 3 machines de l'ancien cluster.

Links

• API

Dependencies

Depends on (1)DEPRECATED Depends on (1)

• Component - development - cf-sentinel-api

• Deprecated: Resource - cluster - infra2

Deprecated: cf-sentinel-api-prod

[Système : sentinel] [Lifecycle : deprecated] [Subtype : stack]

Sentinel API PROD

Events

2024-07-05 - 17:00 - Décommissionnement des 3 machines de Sentinel API donc du cluster infra2

J'ai planté les machines du cluster de Sentinel API en faisant une mise à jour apt-get update && apt-get upgrade pour tenter de corriger des erreurs.

Comme j'avais préparé la machine yunohost-sentinel-api avec la PROD, nous avons décidé de basculer sur l'API de cette nouvelle machine et, donc, de décommissionner les 3 machines de l'ancien cluster.

Links

• API

Dependencies

Depends on (1)DEPRECATED Depends on (1)

• Component - development - cf-sentinel-api

• Deprecated: Resource - cluster - infra2

Deprecated: cf-sentinel-api-staging

[Système : sentinel] [Lifecycle : deprecated] [Subtype : stack]

Sentinel API STAGING

Events

2024-07-05 - 17:00 - Décommissionnement des 3 machines de Sentinel API donc du cluster infra2

J'ai planté les machines du cluster de Sentinel API en faisant une mise à jour apt-get update && apt-get upgrade pour tenter de corriger des erreurs.

Comme j'avais préparé la machine yunohost-sentinel-api avec la PROD, nous avons décidé de basculer sur l'API de cette nouvelle machine et, donc, de décommissionner les 3 machines de l'ancien cluster.

Links

• API

Dependencies

Depends on (1)DEPRECATED Depends on (1)

• Component - development - cf-sentinel-api

• Deprecated: Resource - cluster - infra2

Deprecated: cf-ui-sentinel-prod

[Système : sentinel] [Lifecycle : deprecated] [Subtype : stack]

Sentinel Datalake UI PROD

Events

2025-03-03 - Redirection de sentinel.computablefacts.com vers app.cywise.io

Dans Gandi, j'ai modifié l'entrée DNS de sentinel.computablefacts.com pour qu'elle pointe vers yunohost-addapps. Dans le YunoHost de AddApps, j'ai ajouté le domaine sentinel.computablefacts.com puis le certificat SSL Let's Encrypt. Dans le YunoHost de AddApps, j'ai installé l'application redirect pour rediriger https://sentinel.computablefacts.com vers https://app.cywise.io.

2025-01-17 - 14:30 - Suppression de l'environnement de PROD de Sentinel

Nous avons déplacé les fonctionnalités de Sentinel dans Towerify / Cywise. Les environnements Sentinel cf-ui ne sont donc plus utilisés. Je vais supprimer l'environnement de PROD.

Warning

Je ne vais pas supprimer les backups de la base de données MySQL car nous pourrions en avoir besoin.

Sentinel Datalake UI PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-sentinel-cf-ui

ansible@s001:~$ sudo docker stack rm prod-sentinel-cf-ui
Removing service prod-sentinel-cf-ui_app
Removing service prod-sentinel-cf-ui_queue
Removing service prod-sentinel-cf-ui_queue-heavy
Removing service prod-sentinel-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de Sentinel (ansible/client-sentinel.yaml). Ce qui revient à supprimer le ficher car Jenkins était le dernier déploiement restant.

Je note ce deploiement comme deprecated dans cette doc.

Je supprime mes surveillances :

• Statping-ng sur DEV02 - Sentinel Socle
• Statping-ng sur DEV02 - Sentinel Login
• Freshping - Sentinel Socle
• Freshping - Sentinel Login

MySQL database for Sentinel cf-ui PROD

Je supprime la base de données prodsentinel_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : prosentincfui et prosentincfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Suppression des données sur le SFTP

Je désactive le compte SFTP de PROD. Voici la taille des données présentes pour Sentinel sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
75G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev
1.0M    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging
75G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel

J'ai supprimé les données de prod et de prod_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 21  2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..
drwxr--r-- 3 ansible ansible 4.0K Mar 21  2022 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 15:04 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 21  2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..
drwxr-xr-x 3 ansible ansible 4.0K Mar 21  2022 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 15:06 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de sentinel/prod etsentinel/prod_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
7.2G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
7.2G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
15G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
4.0K    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/sentinel/prod/ de ce bucket (prod_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/sentinel/prod/ donc je supprime aussi ce dossier.

Conservation des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier prod-mysql/prodsentinel_cfui/.

Le bucket S3 swarm01-backups-mysql supprime tous les fichiers de plus de 30 jours. Donc, dans 1 mois, les backups auront disparu...

J'ai donc décidé de les copier dans un autre bucket que j'ai créé (swarm01-backups-sentinel). Je vais les faire transiter par mon PC pour les copier d'un bucket à l'autre donc je les aurais en local aussi.

Commandes pour faire la copie

patrick@SpectreMate:~$ mkdir sentinel-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsentinel_cfui/ ./sentinel-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync ./sentinel-mysql-backups/ s3://swarm01-backups-sentinel/

J'ai finalement décidé de n'en garder que 6 sur les 30 (1 tous les 6 jours).

Links

• https://app.adversarymeter.io

• https://sentinel.computablefacts.com

• https://prod.sentinel.swarm01.computablefacts.io

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - prodsentinel_cfui

Deprecated: common-jenkins

[Système : None] [Lifecycle : deprecated] [Subtype : stack]

Jenkins pour ComputableFacts déployé sur swarm01

Events

2025-03-21 - Suppression du Jenkins commun sur swarm01

Je pense que je pourrais supprimer le Jenkins commun déployé sur swarm01, le nôtre.

Il est en version 2.387.1, avec plein d'alertes de sécurité, je commence par le mettre à jour en version 2.479.2.

Jenkins common en version 2.479.2 puis 2.492.2

J'ai changé le tag de l'image Docker pour Jenkins mais ça ne fonctionne pas car cette image est générée par nous...

J'ai donc généré une image avec la version 2.479.2 puis mis à jour la stack de Jenkins common.

J'ai, ensuite, mis à jour les plugins de Jenkins.

Il y avait des avertissements pour mettre à jour dans la dernière version LTS i.e. 2.492.2. J'ai donc généré l'image Docker pour cette version et mis à jour à nouveau.

Mise à jour terminée

Job cf-ui DEV only

Ce job met à jour cf-ui DEV pour Lur Berri, Ista, Smacl et AppsCompose. J'ai supprimé les 3 derniers mais il reste Lur Berri.

Mais je vois que j'ai un job Jenkins sur le Jenkins de Lur Berri qui met à jour leurs cf-ui : https://jenkins.lurberri.computablefacts.com/job/cf-ui/. Je l'avais réglé pour qu'il ne mette pas à jour le DEV mais je pourrais le modifier facilement pour qu'il le fasse (supprimer l'exclusion de la branche develop).

Je vais donc supprimer le job cf-ui DEV only du Jenkins commun.

Job cf-ui ISTA

Je n'ai plus de stack ISTA sur swarm01 donc je supprime ce job.

Jobs DEV_Publish_cf-sentinel-api, STAGING_Publish_cf-sentinel-api et PROD_Publish_cf-sentinel-api

Ces jobs mettent à jour Sentinel API sur le Captain qui n'existe plus. Je les supprime.

J'ai vérifié et j'avais déjà supprimé les fichiers .jenkinsfile de ces jobs de la repo.

Job AdversaryMeter

Ce job met à jour les 3 stacks Sentinel DEV, STAGING et PROD qui n'existent plus. Je le supprime.

Jobs Build_xxx

Ce sont des builds maven de nos librairies Java. Cyrille me confirme que je peux supprimer tous ces jobs.

Suppression du Jenkins common

Je vais donc supprimer le Jenkins common.

Je supprime la stack qui se trouve sur swarm01.

sudo docker stack rm common-jenkins

ansible@s001:~$ sudo docker stack rm common-jenkins
Removing service common-jenkins_jenkins

Puis je supprime le container DinD (Docker in Docker) qui se trouve sur s005.

sudo docker stop common-jenkins_dind sudo docker rm common-jenkins_dind

ansible@s005:~$ sudo docker stop common-jenkins_dind
common-jenkins_dind
ansible@s005:~$ sudo docker rm common-jenkins_dind
common-jenkins_dind

Je supprime les 2 volumes associés.

sudo docker volume rm common-jenkins_jenkins-data sudo docker volume rm common-jenkins_jenkins-docker-certs

ansible@s005:~$ sudo docker volume rm common-jenkins_jenkins-data
common-jenkins_jenkins-data
ansible@s005:~$ sudo docker volume rm common-jenkins_jenkins-docker-certs
common-jenkins_jenkins-docker-certs

Je supprime le déploiement dans le playbook ansible de common (ansible/client-common.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Je supprime le tag common-jenkins.jenkins_home du noeud s005 en modifiant le fichier ansible/03-swarm01-labels.yaml puis en appliquant avec la commande : ansible-playbook -i ansible/inventory.yml ansible/03-swarm01-labels.yaml.

TODOs

• Ajouter la repo qui permet de générer l'image Docker permettant de déployer toutes les stacks Jenkins de swarm01

Links

• https://jenkins.common.computablefacts.com/

• Stack sur portainer

Dependencies

Depends on (3)

• Component - application - jenkins

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: common-superset

[Système : None] [Lifecycle : deprecated] [Subtype : stack]

Superset pour ComputableFacts déployé sur swarm01

Events

2025-03-21 - Suppression du Superset commun sur swarm01

Je pense que je pourrais supprimer le Superset commun déployé sur swarm01, le nôtre.

Il y a 2 dashboards pour la Smacl que je supprime. Un dashboard pour AdversaryMeter qui ne fonctionne plus (nous avons déplacé AM vers Cywise) donc je le supprime aussi. Un dashboard pour Sentinel qui ne fonctionne plus (nous avons déplacé Sentinel vers Cywise) donc je le supprime aussi. Un dashboard AM pour Hermès qui n'est plus client chez nous pour AM. Je supprime également. Un dashboard pour les droits de nos cf-ui que j'ai désinstallés depuis longtemps. Je supprime aussi.

Un dashboard pour Ista qui liste les droits des utilisateurs dans cf-ui pour savoir si ces droits ont été attribués directement à l'utilisateur ou en passant par un rôle. Je vais le transférer dans le Superset de Ista.

Transfert du dashboard ISTA - User Rights

J'ai exporté le dashboard ISTA - User Rights depuis le Superset commun. J'ai modifié le fichier JSON pour changer le nom de la base de données de MySQL PROD RO vers ista_prod_mysql_ro. L'import du JSON c'est fait sans erreur dans le Superset de Ista.

Le nom de la base MySQL a changé de prodista_cfui à federa_ui_prod donc je fais le changement dans le dataset. Je supprime, dans le dataset, les parties concernant la Smacl et Lur Berri.

Puis, dans le dashboard, j'ai un warning concernant le filtre. J'ai changé les paramètres du dashboard pour mettre "show_native_filters": false, mais le warning persiste.

J'ai ouvert les 4 "charts", échangé leur dataset par le même puis enregistré. Le warning a disparu.

Je n'ai plus aucun dashboard dans le Superset commun. Je vais donc le supprimer :

• la stack depuis s001 : sudo docker stack rm common-superset
• le déploiement ansible dans ansible/client-common.yaml
• la base MySQL prod_superset sur swarm01
• l'utilisateur MySQL prosuper
• le déploiement ansible de la base et de l'utilisateur dans ansible/mysql-stacks.yaml

Links

• https://dataviz.common.computablefacts.com

• Stack on swarm01 Portainer

Dependencies

Depends on (5)DEPRECATED Depends on (1)

• Component - application - superset

• Resource - docker-image - computablefacts_superset-for-swarm-custom

• Resource - server - s005

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - prod_superset

Deprecated: dev-appscompose-cf-ui

[Système : appscompose] [Lifecycle : deprecated] [Subtype : stack]

Apps Compose Datalake UI DEV

Events

2025-01-17 - 12:00 - Suppression de l'environnement de DEV de Apps Compose

Nous n'avons jamais vraiment utilisé Apps Compose. Je vais donc supprimer son environnement de DEV.

Apps Compose Datalake UI DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-appscompose-cf-ui

ansible@s001:~$ sudo docker stack rm dev-appscompose-cf-ui
Removing service dev-appscompose-cf-ui_app
Removing service dev-appscompose-cf-ui_queue
Removing service dev-appscompose-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de Apps Compose (ansible/client-appscompose.yaml). Ce qui revient à supprimer le ficher car Jenkins était le dernier déploiement restant.

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Apps Compose cf-ui DEV

Je supprime la base de données devappscompose_cfui depuis phpMyAdmin. J'en profite pour supprimer l'utilisateur correspondant : devappscocfui.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Suppression des données sur le SFTP

Je désactive le compte SFTP de DEV. Voici la taille des données présentes pour Apps Compose sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/prod_out
24K /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/prod
40K /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/staging_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/staging
84K /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose

J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev
total 16K
drwxr-xr-x 4 ansible ansible 4.0K Jun 13  2023 .
drwxr-xr-x 8 ansible ansible 4.0K Jun 13  2023 ..
drwxr-xr-x 2 ansible ansible 4.0K Jun 13  2023 conf
drwxr-xr-x 3 ansible ansible 4.0K Jun 13  2023 repotests
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 12:18 .
drwxr-xr-x 8 ansible ansible 4.0K Jun 13  2023 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev_out
total 16K
drwxr-xr-x 4 ansible ansible 4.0K Jun 13  2023 .
drwxr-xr-x 8 ansible ansible 4.0K Jun 13  2023 ..
drwxr-xr-x 2 ansible ansible 4.0K Jun 13  2023 conf
drwxr-xr-x 3 ansible ansible 4.0K Jun 13  2023 repotests
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/appscompose/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 12:19 .
drwxr-xr-x 8 ansible ansible 4.0K Jun 13  2023 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de appscompose/dev etappscompose/dev_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose
24K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev
28K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev_out
56K /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose
4.0K    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/appscompose

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/appscompose/dev/ de ce bucket (dev_out n'est pas backupé sur S3).

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier dev-mysql/devappscompose_cfui/.

J'ai supprimé ce dossier et son contenu.

Links

• https://dev.appscompose.swarm01.computablefacts.io/login

• https://dev.appscompose.computablefacts.com/login

• Stack on swarm01 Portainer

Dependencies

Depends on (2)DEPRECATED Depends on (1)

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - devappscompose_cfui

Deprecated: dev-ista-cf-ui

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista Datalake UI DEV

Events

2025-01-10 - 17:30 - Suppression des 3 stacks cf-ui d'ISTA sur swarm01

Nous avons migré l'infra d'Ista sur les serveurs yunohost-ista-dev et yunohost-ista-prod depuis plusieurs mois donc je peux supprimer ces 3 stacks conservées par prudence.

Actions :

• suppression des stacks depuis le ssh (ansible@s001:~$ sudo docker stack rm dev-ista-cf-ui, ansible@s001:~$ sudo docker stack rm staging-ista-cf-ui, ansible@s001:~$ sudo docker stack rm prod-ista-cf-ui)
• suppression des 3 bases MySQL correspondantes (devista_cfui, stagingista_cfui, prodista_cfui, ) avec phpMyAdmin.
• suppression dans le playbook ansible (cf-infra/ansible/client-ista.yaml)

Links

• Login with Keycloak

• Internal login

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - devista_cfui

Deprecated: dev-lurberri-cf-ui

[Système : lurberri] [Lifecycle : deprecated] [Subtype : stack]

Lur Berri Datalake UI DEV

Events

2025-06-30 - Suppression de l'environnement de DEV de Lur Berri

Lur Berri a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de DEV.

Lur Berri Datalake UI DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-lurberri-cf-ui

ansible@s001:~$ sudo docker stack rm dev-lurberri-cf-ui
Removing service dev-lurberri-cf-ui_app
Removing service dev-lurberri-cf-ui_queue
Removing service dev-lurberri-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de Lur Berri (ansible/client-lurberri.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Lur Berri cf-ui DEV

Je supprime la base de données devlurberri_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : devlurbercfui et devlurbercfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Suppression des données sur le SFTP

Je désactive le compte SFTP de DEV. Voici la taille des données présentes pour la Lur Berri sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
735G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out
80K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev
7.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod
11G /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out
12K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out
8.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging
753G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri

J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev
total 56K
drwxr-xr-x 6 ansible ansible 4.0K Mar 23  2023 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..
drwxr-xr-x 4 ansible ansible 4.0K Dec  3  2022 conf
drwxr-xr-x 2 ansible ansible  36K Mar 30  2022 factures
drwxr-xr-x 3 ansible ansible 4.0K Mar 23  2023 feedit
drwxr-xr-x 3 ansible ansible 4.0K Apr 21  2022 persone-titre
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jun 30 17:28 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out
total 160K
drwxr-xr-x 15 ansible ansible 4.0K Mar 23  2023 .
drwxr-xr-x  8 ansible ansible 4.0K Mar  7  2022 ..
drwxr-xr-x  3 ansible ansible 4.0K Mar  4  2022 compta-ecritures-analytiques-zzgea
drwxr-xr-x  4 ansible ansible 4.0K Mar  4  2022 compta-ecritures-zzgec
drwxr-xr-x  4 ansible ansible 4.0K Mar  4  2022 compta-plan-comptable-zzgpc
drwxr-xr-x  4 ansible ansible 4.0K Mar  4  2022 conf
drwxr-xr-x  2 ansible ansible 104K Mar 30  2022 factures
drwxr-xr-x  3 ansible ansible 4.0K Mar 23  2023 feedit
drwxr-xr-x  4 ansible ansible 4.0K Mar  4  2022 kerhis-table-batiment
drwxr-xr-x  4 ansible ansible 4.0K Mar  4  2022 kerhis-table-paramanalytique
drwxr-xr-x  4 ansible ansible 4.0K Mar  4  2022 kerhis-table-plancomptable
drwxr-xr-x  3 ansible ansible 4.0K Mar  4  2022 kerhis-table-tiers
drwxr-xr-x  4 ansible ansible 4.0K Mar  4  2022 persone-base
drwxr-xr-x  4 ansible ansible 4.0K Mar  4  2022 persone-pays
drwxr-xr-x  3 ansible ansible 4.0K Apr 21  2022 persone-titre
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jun 30 17:30 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

Il y avait aussi 1 fichier /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri-factures-archive.tar.gz de 15G que j'ai supprimé.

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de lurberri/dev etlurberri/dev_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
277G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
256K    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev
169M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
260K    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev_out
277G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
277G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
169M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
277G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/lurberri/dev/ de ce bucket (dev_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/lurberri/dev/ donc je supprime aussi ce dossier.

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier dev-mysql/devlurberri_cfui/.

J'ai supprimé ce dossier et son contenu.

Freshping

Pas de surveillance Freshping pour Lur Berri DEV.

Links

• Login with Keycloak

• Internal login

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - devlurberri_cfui

Deprecated: dev-modules-ista-api1

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista module api1 de DEV

Details

Ce déploiement sur Swarm01 a été remplacé par un déploiment sur le YunoHost d'Ista.

La stack a été supprimée le 2023-12-26.

Links

• https://dev.api.ista.computablefacts.com/api1/

• Stack on swarm01 Portainer

Dependencies

Depends on (3)

• Component - development - modules-ista-api1

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: dev-modules-ista-ciblage-commercial

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista module Ciblage Commercial de DEV

Details

Ce déploiement sur Swarm01 a été remplacé par un déploiment sur le YunoHost d'Ista.

La stack a été supprimée le 2023-12-26.

Links

• https://dev-ciblage-commercial.ista.computablefacts.com/

• Stack on swarm01 Portainer

Dependencies

Depends on (3)

• Component - development - modules-ista-ciblage-commercial

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: dev-modules-ista-passeport-immeuble

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista module Passport Immeuble de DEV

Details

Ce déploiement sur Swarm01 a été remplacé par un déploiment sur le YunoHost d'Ista.

La stack a été supprimée le 2023-12-26.

Links

• https://dev-passeport-immeuble.ista.computablefacts.com/

• Stack on swarm01 Portainer

Dependencies

Depends on (3)

• Component - development - modules-ista-passeport-immeuble

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: dev-modules-smacl-contracts

[Système : smacl] [Lifecycle : deprecated] [Subtype : stack]

Smacl nouveau module contrats ??? DEV

Events

2025-01-15 - Suppression de l'environnement de DEV de la Smacl

La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de DEV.

Smacl Datalake UI DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-smacl-cf-ui

ansible@s001:~$ sudo docker stack rm dev-smacl-cf-ui
Removing service dev-smacl-cf-ui_app
Removing service dev-smacl-cf-ui_queue
Removing service dev-smacl-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl cf-ui DEV

Je supprime la base de données devsmacl_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : devsmaclcfui et devsmaclcfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Module VAM de la Smacl de DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-smacl-module

ansible@s001:~$ sudo docker stack rm dev-smacl-module
Removing service dev-smacl-module_app

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl VAM module DEV

Je supprime la base de données devsmacl_cfmodulesmacl depuis phpMyAdmin. J'en profite pour supprimer l'utilisateur correspondant : devsmaclcfmodule.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.

Smacl nouveau module contrats ??? DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-modules-smacl-contracts

ansible@s001:~$ sudo docker stack rm dev-modules-smacl-contracts
Removing service dev-modules-smacl-contracts_web

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Suppression des données sur le SFTP

J'ai déjà désactivé le compte SFTP de DEV. Voici la taille des données présentes pour la smacl sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
880K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
6.9G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
24G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
6.4M    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
964G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
total 40K
drwxr-xr-x 10 ansible ansible 4.0K Jan 15 16:44 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr--r--  4 ansible ansible 4.0K Feb 16  2023 conf
drwxr-xr-x 10 ansible ansible 4.0K Jan 16  2023 dab
drwxr-xr-x  4 ansible ansible 4.0K Oct 10  2022 dce
drwxr--r--  3 ansible ansible 4.0K Jun 24  2024 smart-policies-1
drwxr--r--  3 ansible ansible 4.0K Jun 25  2024 test1-1
drwxr-xr-x  6 ansible ansible 4.0K Feb 23  2023 test-coreapi-fileindex
drwxr-xr-x  3 ansible ansible 4.0K Mar 13  2022 test-nifi-invoke-http
drwxr-xr-x  3 ansible ansible 4.0K May  2  2022 test-nifi-unpack-archive
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 15 16:49 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
total 64K
drwxr-xr-x 16 ansible ansible 4.0K Jun 25  2024 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x  7 ansible ansible 4.0K Mar  3  2022 conf
drwxr-xr-x 62 ansible ansible 4.0K Jan 16  2023 dab
drwxr-xr-x  4 ansible ansible 4.0K Oct 10  2022 dce
drwxr-xr-x  3 ansible ansible 4.0K Mar  3  2022 ecritures-comptables
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick01
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick02
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick03
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick04
drwxr-xr-x  3 ansible ansible 4.0K Apr 23  2024 smart_policies
drwxr-xr-x  3 ansible ansible 4.0K Jun 24  2024 smart-policies-1
drwxr-xr-x  3 ansible ansible 4.0K Jun 25  2024 test1-1
drwxr-xr-x  4 ansible ansible 4.0K Feb 23  2023 test-coreapi-fileindex
drwxr-xr-x  3 ansible ansible 4.0K May  2  2022 test-nifi-unpack-archive
drwxr-xr-x 74 ansible ansible 4.0K Dec  8  2022 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 15 16:50 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

Il y avait aussi 2 dossiers /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl-dab et /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl-vam qui contenaient des .tar.lz4 de 2022. J'ai supprimé complètement ces 2 dossiers.

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de smacl/dev etsmacl/dev_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
9.4M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
54M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
9.1M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
9.1M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/smacl/dev/ de ce bucket (dev_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/smacl/dev/ donc je supprime aussi ce dossier.

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier dev-mysql/devsmacl_cfui/ et dans le dossier dev-mysql/devsmacl_cfmodulesmacl/.

J'ai supprimé ces 2 dossiers et leur contenu.

Links

• https://dev-contracts.smacl.computablefacts.com

• Stack on swarm01 Portainer

Dependencies

Depends on (2)

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: dev-sentinel-cf-ui

[Système : sentinel] [Lifecycle : deprecated] [Subtype : stack]

Sentinel Datalake UI DEV

Events

2025-01-17 - 12:30 - Suppression de l'environnement de DEV de Sentinel

Nous avons déplacé les fonctionnalités de Sentinel dans Towerify / Cywise. Les environnements Sentinel cf-ui ne sont donc plus utilisés. Je vais supprimer l'environnement de DEV.

Sentinel Datalake UI DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-sentinel-cf-ui

ansible@s001:~$ sudo docker stack rm dev-sentinel-cf-ui
Removing service dev-sentinel-cf-ui_app
Removing service dev-sentinel-cf-ui_queue
Removing service dev-sentinel-cf-ui_queue-heavy
Removing service dev-sentinel-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de Sentinel (ansible/client-sentinel.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Sentinel cf-ui DEV

Je supprime la base de données devsentinel_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : devsentincfui et devsentincfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Suppression des données sur le SFTP

Je désactive le compte SFTP de DEV. Voici la taille des données présentes pour Sentinel sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
75G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out
104K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev
1.0M    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod
3.9G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging
79G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel

J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 21  2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..
drwxr--r-- 4 ansible ansible 4.0K Feb 16  2023 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 12:40 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 28  2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..
drwxr-xr-x 3 ansible ansible 4.0K Nov 22  2022 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 17 12:41 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de sentinel/dev etsentinel/dev_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
7.2G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
177M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev
7.2G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
177M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev_out
15G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
7.2G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
7.2G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
15G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/sentinel/dev/ de ce bucket (dev_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/sentinel/dev/ donc je supprime aussi ce dossier.

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier dev-mysql/devsentinel_cfui/.

J'ai supprimé ce dossier et son contenu.

Links

• https://dev.app.adversarymeter.io

• https://dev.sentinel.computablefacts.com

• https://dev.sentinel.swarm01.computablefacts.io

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - devsentinel_cfui

Deprecated: dev-smacl-cf-ui

[Système : smacl] [Lifecycle : deprecated] [Subtype : stack]

Smacl Datalake UI DEV

Events

2025-01-15 - Suppression de l'environnement de DEV de la Smacl

La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de DEV.

Smacl Datalake UI DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-smacl-cf-ui

ansible@s001:~$ sudo docker stack rm dev-smacl-cf-ui
Removing service dev-smacl-cf-ui_app
Removing service dev-smacl-cf-ui_queue
Removing service dev-smacl-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl cf-ui DEV

Je supprime la base de données devsmacl_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : devsmaclcfui et devsmaclcfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Module VAM de la Smacl de DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-smacl-module

ansible@s001:~$ sudo docker stack rm dev-smacl-module
Removing service dev-smacl-module_app

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl VAM module DEV

Je supprime la base de données devsmacl_cfmodulesmacl depuis phpMyAdmin. J'en profite pour supprimer l'utilisateur correspondant : devsmaclcfmodule.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.

Smacl nouveau module contrats ??? DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-modules-smacl-contracts

ansible@s001:~$ sudo docker stack rm dev-modules-smacl-contracts
Removing service dev-modules-smacl-contracts_web

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Suppression des données sur le SFTP

J'ai déjà désactivé le compte SFTP de DEV. Voici la taille des données présentes pour la smacl sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
880K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
6.9G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
24G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
6.4M    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
964G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
total 40K
drwxr-xr-x 10 ansible ansible 4.0K Jan 15 16:44 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr--r--  4 ansible ansible 4.0K Feb 16  2023 conf
drwxr-xr-x 10 ansible ansible 4.0K Jan 16  2023 dab
drwxr-xr-x  4 ansible ansible 4.0K Oct 10  2022 dce
drwxr--r--  3 ansible ansible 4.0K Jun 24  2024 smart-policies-1
drwxr--r--  3 ansible ansible 4.0K Jun 25  2024 test1-1
drwxr-xr-x  6 ansible ansible 4.0K Feb 23  2023 test-coreapi-fileindex
drwxr-xr-x  3 ansible ansible 4.0K Mar 13  2022 test-nifi-invoke-http
drwxr-xr-x  3 ansible ansible 4.0K May  2  2022 test-nifi-unpack-archive
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 15 16:49 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
total 64K
drwxr-xr-x 16 ansible ansible 4.0K Jun 25  2024 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x  7 ansible ansible 4.0K Mar  3  2022 conf
drwxr-xr-x 62 ansible ansible 4.0K Jan 16  2023 dab
drwxr-xr-x  4 ansible ansible 4.0K Oct 10  2022 dce
drwxr-xr-x  3 ansible ansible 4.0K Mar  3  2022 ecritures-comptables
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick01
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick02
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick03
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick04
drwxr-xr-x  3 ansible ansible 4.0K Apr 23  2024 smart_policies
drwxr-xr-x  3 ansible ansible 4.0K Jun 24  2024 smart-policies-1
drwxr-xr-x  3 ansible ansible 4.0K Jun 25  2024 test1-1
drwxr-xr-x  4 ansible ansible 4.0K Feb 23  2023 test-coreapi-fileindex
drwxr-xr-x  3 ansible ansible 4.0K May  2  2022 test-nifi-unpack-archive
drwxr-xr-x 74 ansible ansible 4.0K Dec  8  2022 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 15 16:50 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

Il y avait aussi 2 dossiers /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl-dab et /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl-vam qui contenaient des .tar.lz4 de 2022. J'ai supprimé complètement ces 2 dossiers.

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de smacl/dev etsmacl/dev_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
9.4M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
54M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
9.1M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
9.1M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/smacl/dev/ de ce bucket (dev_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/smacl/dev/ donc je supprime aussi ce dossier.

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier dev-mysql/devsmacl_cfui/ et dans le dossier dev-mysql/devsmacl_cfmodulesmacl/.

J'ai supprimé ces 2 dossiers et leur contenu.

Links

• https://dev.smacl.computablefacts.com

• https://dev.smacl.swarm01.computablefacts.io

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - devsmacl_cfui

Deprecated: dev-smacl-module

[Système : smacl] [Lifecycle : deprecated] [Subtype : stack]

Module VAM de la Smacl de DEV

Events

2025-01-15 - Suppression de l'environnement de DEV de la Smacl

La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de DEV.

Smacl Datalake UI DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-smacl-cf-ui

ansible@s001:~$ sudo docker stack rm dev-smacl-cf-ui
Removing service dev-smacl-cf-ui_app
Removing service dev-smacl-cf-ui_queue
Removing service dev-smacl-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl cf-ui DEV

Je supprime la base de données devsmacl_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : devsmaclcfui et devsmaclcfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Module VAM de la Smacl de DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-smacl-module

ansible@s001:~$ sudo docker stack rm dev-smacl-module
Removing service dev-smacl-module_app

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl VAM module DEV

Je supprime la base de données devsmacl_cfmodulesmacl depuis phpMyAdmin. J'en profite pour supprimer l'utilisateur correspondant : devsmaclcfmodule.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.

Smacl nouveau module contrats ??? DEV

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm dev-modules-smacl-contracts

ansible@s001:~$ sudo docker stack rm dev-modules-smacl-contracts
Removing service dev-modules-smacl-contracts_web

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Suppression des données sur le SFTP

J'ai déjà désactivé le compte SFTP de DEV. Voici la taille des données présentes pour la smacl sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
880K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
6.9G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
24G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
6.4M    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
964G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

J'ai supprimé les données de dev et de dev_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
total 40K
drwxr-xr-x 10 ansible ansible 4.0K Jan 15 16:44 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr--r--  4 ansible ansible 4.0K Feb 16  2023 conf
drwxr-xr-x 10 ansible ansible 4.0K Jan 16  2023 dab
drwxr-xr-x  4 ansible ansible 4.0K Oct 10  2022 dce
drwxr--r--  3 ansible ansible 4.0K Jun 24  2024 smart-policies-1
drwxr--r--  3 ansible ansible 4.0K Jun 25  2024 test1-1
drwxr-xr-x  6 ansible ansible 4.0K Feb 23  2023 test-coreapi-fileindex
drwxr-xr-x  3 ansible ansible 4.0K Mar 13  2022 test-nifi-invoke-http
drwxr-xr-x  3 ansible ansible 4.0K May  2  2022 test-nifi-unpack-archive
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 15 16:49 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
total 64K
drwxr-xr-x 16 ansible ansible 4.0K Jun 25  2024 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x  7 ansible ansible 4.0K Mar  3  2022 conf
drwxr-xr-x 62 ansible ansible 4.0K Jan 16  2023 dab
drwxr-xr-x  4 ansible ansible 4.0K Oct 10  2022 dce
drwxr-xr-x  3 ansible ansible 4.0K Mar  3  2022 ecritures-comptables
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick01
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick02
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick03
drwxr-xr-x  4 ansible ansible 4.0K Mar  3  2022 patrick04
drwxr-xr-x  3 ansible ansible 4.0K Apr 23  2024 smart_policies
drwxr-xr-x  3 ansible ansible 4.0K Jun 24  2024 smart-policies-1
drwxr-xr-x  3 ansible ansible 4.0K Jun 25  2024 test1-1
drwxr-xr-x  4 ansible ansible 4.0K Feb 23  2023 test-coreapi-fileindex
drwxr-xr-x  3 ansible ansible 4.0K May  2  2022 test-nifi-unpack-archive
drwxr-xr-x 74 ansible ansible 4.0K Dec  8  2022 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 15 16:50 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

Il y avait aussi 2 dossiers /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl-dab et /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl-vam qui contenaient des .tar.lz4 de 2022. J'ai supprimé complètement ces 2 dossiers.

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de smacl/dev etsmacl/dev_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
9.4M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
54M /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
9.1M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/dev_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
9.1M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/smacl/dev/ de ce bucket (dev_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/smacl/dev/ donc je supprime aussi ce dossier.

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier dev-mysql/devsmacl_cfui/ et dans le dossier dev-mysql/devsmacl_cfmodulesmacl/.

J'ai supprimé ces 2 dossiers et leur contenu.

Links

• https://cf-module-smacl-dev.smacl.computablefacts.com

• https://dev-module.smacl.swarm01.computablefacts.io

• Stack on swarm01 Portainer

Dependencies

Depends on (2)DEPRECATED Depends on (1)

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - devsmacl_cfmodulesmacl

Deprecated: dev-towerify-ui

[Système : towerify] [Lifecycle : deprecated] [Subtype : yunohost]

Towerify UI DEV. A été remplacé par cywise-ui_dev

Events

2025-01-03 - Redirection de app.towerify.io vers app.cywise.io

TODO

Links

• https://dev.towerify-ui.myapps.addapps.io/

Dependencies

Depends on (2)

• Component - development - towerify-ui

• Resource - server - yunohost-addapps

Deprecated: ista-agent-portainer

[Système : None] [Lifecycle : deprecated] [Subtype : stack]

POC pour donner accès à Swarm01 depuis le Portainer du YunoHost d'Ista

Details

Toutes les applications d'ISTA ont été déplacées sur ISTA-PROD et ISTA-DEV donc plus la peine d'avoir accès au portainer de swarm01.

La stack a été supprimée.

Links

• https://ista-agent-2.swarm01.computablefacts.io

• Stack on swarm01 Portainer

Dependencies

Depends on (2)

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: ista-jenkins

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Jenkins pour Ista déployé sur swarm01

Détails

Ce Jenkins est protégé par le royaume ista de notre Keycloak.

Il a été remplacé par un Jenkins déployé sur le YunoHost d'Ista.

La stack a été supprimée le 2023-12-26.

Links

• https://jenkins.ista.computablefacts.com/

• Stack sur portainer

Dependencies

Depends on (3)

• Component - application - jenkins

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: ista-superset

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Superset pour Ista déployé sur swarm01

Events

2025-03-20 - Suppression du Superset pour Ista déployé sur swarm01

J'ai d'abord vérifié que j'avais bien transféré les dashboards de Ista vers le Superset de leur serveur ISTA PROD. Pour cela, j'ai modifié mon fichier /etc/hosts en ajoutant ces lignes :

# Superset ISTA on swarm01
51.159.100.42   dataviz.ista.computablefacts.com
# Superset ISTA on yunohost-ista-prod
51.159.221.199  dataviz.ista.fr

Puis j'ai comparé les dashboards de dataviz.ista.computablefacts.com et dataviz.ista.fr et tout était déjà transféré.

J'ai donc supprimé le Superset de Ista déployé sur swarm01 :

• la stack depuis s001 : sudo docker stack rm ista-superset
• le déploiement ansible dans ansible/client-ista.yaml
• la base MySQL prodista_superset sur swarm01
• l'utilisateur MySQL proistasuper

Links

• https://dataviz.ista.computablefacts.com/

• https://dataviz.ista.fr/

• Stack sur portainer

Dependencies

Depends on (5)DEPRECATED Depends on (1)

• Component - application - superset

• Resource - docker-image - computablefacts_superset-for-swarm-custom

• Resource - server - s005

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - prodista_superset

Deprecated: lurberri-jenkins

[Système : lurberri] [Lifecycle : deprecated] [Subtype : stack]

Jenkins pour Lur Berri déployé sur swarm01

Events

2025-06-30 - Suppression du Jenkins de Lur Berri

Lur Berri a résilié son contrat avec nous. Je vais donc supprimer son Jenkins.

Je supprime la stack qui se trouve sur swarm01.

sudo docker stack rm lurberri-jenkins

ansible@s001:~$ sudo docker stack rm lurberri-jenkins
Removing service lurberri-jenkins_jenkins

Puis je supprime le container DinD (Docker in Docker) qui se trouve sur s005.

sudo docker stop lurberri-jenkins_dind sudo docker rm lurberri-jenkins_dind

ansible@s005:~$ sudo docker stop lurberri-jenkins_dind
lurberri-jenkins_dind
ansible@s005:~$ sudo docker rm lurberri-jenkins_dind
lurberri-jenkins_dind

Je supprime les 2 volumes associés.

sudo docker volume rm lurberri-jenkins_jenkins-data sudo docker volume rm lurberri-jenkins_jenkins-docker-certs

ansible@s005:~$ sudo docker volume rm lurberri-jenkins_jenkins-data
lurberri-jenkins_jenkins-data
ansible@s005:~$ sudo docker volume rm lurberri-jenkins_jenkins-docker-certs
lurberri-jenkins_jenkins-docker-certs

Je supprime le déploiement dans le playbook ansible de Lur Berri (ansible/client-lurberri.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Je supprime le tag lurberri-jenkins.jenkins_home du noeud s005 en modifiant le fichier ansible/03-swarm01-labels.yaml puis en appliquant avec la commande : ansible-playbook -i ansible/inventory.yml ansible/03-swarm01-labels.yaml.

2025-03-21 - Mise à jour de Jenkins pour Lur Berri en version 2.492.2

En voulant supprimer notre Jenkins commun, j'ai vu tous les avertissements de sécurité et je l'ai mis à jour en version 2.492.2.

Comme le Jenkins de Lur Berri est aussi en version 2.387.1, je vais aussi le mettre à jour en version 2.492.2.

Le Jenkins de Lur Berri ne démarre plus... Problème de chargement de plugins... Je suis revenu à la version 2.387.1 mais Jenkins dit qu'il faut minimum la version 2.479.1 pour charger le premier plugin. Je suis passé en version 2.479.2 mais, maintenant, Jenkins demande la version 2.479.3 ou supérieure pour charger le plugin instance-identity.

Je suis repassé en version 2.492.2 donc toujours le problème de démarrage avec un plugins...

Le problème vient probablement du fait que j'ai voulu passer de la version 2.387.1 à la version 2.492.2 sans passer par la version 2.479.2 et sans avoir fait une mise à jour de plugins intermédiaire.

Comme les 2 Jenkins sont sur la même machine, s005, j'ai accès aux 2 répertoires de Jenkins (volumes Docker). Je vais donc copier le répertoire de plugins du Jenkins commun vers le Jenkins de Lur Berri pour voir si ça démarre.

Le Jenkins de Lur Berri redémarre.

Mise à jour terminée.

Links

• https://jenkins.lurberri.computablefacts.com/

• Stack sur portainer

Dependencies

Depends on (3)

• Component - application - jenkins

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: lurberri-superset

[Système : lurberri] [Lifecycle : deprecated] [Subtype : stack]

Superset pour Lur Berri déployé sur swarm01

Events

2025-06-30 - Suppression du Superset pour Lur Berri déployé sur swarm01

Lur Berri a résilié son contrat avec nous. Je vais donc supprimer le Superset pour Lur Berri déployé sur swarm01.

??? la stack depuis s001 : sudo docker stack rm lurberri-superset

```
ansible@s001:~$ sudo docker stack rm lurberri-superset
Removing service lurberri-superset_redis
Removing service lurberri-superset_superset
Removing service lurberri-superset_superset-init
Removing service lurberri-superset_superset-worker
Removing service lurberri-superset_superset-worker-beat
Removing network lurberri-superset_redis-net
Removing network lurberri-superset_selenium-net
```

Je note ce déploiement comme `deprecated` dans cette doc.

??? le déploiement ansible dans ansible/client-lurberri.yaml

Ce qui revient à supprimer ce fichier car plus rien n'est déployé 
pour Lur Berri.

??? la base MySQL prodlurberri_superset sur swarm01

Je supprime la base de données `prodlurberri_superset` depuis phpMyAdmin.
J'en profite pour supprimer l'utilisateur correspondant : `prolurbersuper`.

Je note cette base comme `deprecated` dans cette doc.

Je supprime la création de la base et de l'utilisateur du playbook ansible `ansible/mysql-stacks.yaml`.

??? Suppression des backups de la base MySQL prodlurberri_superset

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql
dans le dossier `prod-mysql/prodlurberri_superset/`.

J'ai supprimé ce dossier et son contenu.

Links

• https://dataviz.lurberri.computablefacts.com/

• Stack sur portainer

Dependencies

Depends on (5)DEPRECATED Depends on (1)

• Component - application - superset

• Resource - docker-image - computablefacts_superset-for-swarm-custom

• Resource - server - s005

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - prodlurberri_superset

Deprecated: prod-ista-cf-ui

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista Datalake UI PROD

Events

2025-01-10 - 17:30 - Suppression des 3 stacks cf-ui d'ISTA sur swarm01

Nous avons migré l'infra d'Ista sur les serveurs yunohost-ista-dev et yunohost-ista-prod depuis plusieurs mois donc je peux supprimer ces 3 stacks conservées par prudence.

Actions :

• suppression des stacks depuis le ssh (ansible@s001:~$ sudo docker stack rm dev-ista-cf-ui, ansible@s001:~$ sudo docker stack rm staging-ista-cf-ui, ansible@s001:~$ sudo docker stack rm prod-ista-cf-ui)
• suppression des 3 bases MySQL correspondantes (devista_cfui, stagingista_cfui, prodista_cfui, ) avec phpMyAdmin.
• suppression dans le playbook ansible (cf-infra/ansible/client-ista.yaml)

Links

• Login with Keycloak

• Internal login

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - prodista_cfui

Deprecated: prod-lurberri-cf-ui

[Système : lurberri] [Lifecycle : deprecated] [Subtype : stack]

Lur Berri Datalake UI PROD

Events

2025-06-30 - Suppression de l'environnement de PROD de Lur Berri

Lur Berri a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de PROD.

Lur Berri Datalake UI PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-lurberri-cf-ui

ansible@s001:~$ sudo docker stack rm prod-lurberri-cf-ui
Removing service prod-lurberri-cf-ui_app
Removing service prod-lurberri-cf-ui_queue
Removing service prod-lurberri-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de Lur Berri (ansible/client-lurberri.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Lur Berri cf-ui PROD

Je supprime la base de données prodlurberri_cfui depuis phpMyAdmin. J'en profite pour supprimer les 3 utilisateurs correspondant : prolurbercfui, prolurbercfuiro et prolurbercfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Suppression des données sur le SFTP

Je désactive le compte SFTP de PROD. Voici la taille des données présentes pour Lur Berri sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
735G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev
7.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging
743G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri

J'ai supprimé les données de prod et de prod_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod
total 136K
drwxr-xr-x 34 ansible ansible 4.0K Sep 19  2022 .
drwxr-xr-x  8 ansible ansible 4.0K Mar  7  2022 ..
drwxr-xr-x  4 ansible ansible 4.0K Mar 31  2023 compta-archive-ecritures-analytiques-zhgea
drwxr-xr-x  4 ansible ansible 4.0K Mar 31  2023 compta-archive-ecritures-tiers-zhget
drwxr-xr-x  4 ansible ansible 4.0K Mar 31  2023 compta-archive-ecritures-zhgec
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 compta-ecritures-analytiques-zzgea
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 compta-ecritures-tiers-zzget
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 compta-ecritures-zzgec
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 compta-origines-zzpor
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 compta-plan-comptable-zzgpc
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 compta-tiers-zztie
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 compta-tiers-zztpc
drwxr--r--  4 ansible ansible 4.0K Jul  1  2022 conf
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 eloficash
drwxr-xr-x 28 ansible ansible 4.0K Jun 18 03:38 factures
drwxr-xr-x  6 ansible ansible 4.0K Jan  1 02:53 feedit-parcelles
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 gicab-bovins-stats
drwxr-xr-x  4 ansible ansible 4.0K Apr 19  2023 grc-atc-activite
drwxr-xr-x  3 ansible ansible 4.0K Mar 22  2022 kerhis-table-activite
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 kerhis-table-batiment
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 kerhis-table-ecritures-lignes
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 kerhis-table-entete-ecritures
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 kerhis-table-facture-entete
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 kerhis-table-facture-ligne
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 kerhis-table-paramanalytique
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 kerhis-table-plancomptable
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 kerhis-table-sites
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 kerhis-table-tiers
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 oc-base
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 persone-base
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 persone-pays
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 persone-titre
drwxr-xr-x  3 ansible ansible 4.0K Mar 22  2022 tiers-ca-recapitulatif
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 tms-base
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jul  1 16:08 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out
total 140K
drwxr-xr-x 35 ansible ansible 4.0K Sep 19  2022 .
drwxr-xr-x  8 ansible ansible 4.0K Mar  7  2022 ..
drwxr-xr-x  5 ansible ansible 4.0K Mar 31  2023 compta-archive-ecritures-analytiques-zhgea
drwxr-xr-x  5 ansible ansible 4.0K Mar 31  2023 compta-archive-ecritures-tiers-zhget
drwxr-xr-x  5 ansible ansible 4.0K Mar 31  2023 compta-archive-ecritures-zhgec
drwxr-xr-x  5 ansible ansible 4.0K Jan  1  2023 compta-ecritures-analytiques-zzgea
drwxr-xr-x  5 ansible ansible 4.0K Jan  1  2023 compta-ecritures-tiers-zzget
drwxr-xr-x  5 ansible ansible 4.0K Jan  1  2023 compta-ecritures-zzgec
drwxr-xr-x  5 ansible ansible 4.0K Jan  1  2023 compta-origines-zzpor
drwxr-xr-x  5 ansible ansible 4.0K Jan  1  2023 compta-plan-comptable-zzgpc
drwxr-xr-x  5 ansible ansible 4.0K Jan  1  2023 compta-tiers-zztie
drwxr-xr-x  5 ansible ansible 4.0K Jan  1  2023 compta-tiers-zztpc
drwxr-xr-x  4 ansible ansible 4.0K Mar  4  2022 conf
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 eloficash
drwxr-xr-x 18 ansible ansible 4.0K Aug  4  2022 factures
drwxr-xr-x  5 ansible ansible 4.0K Jan  1  2024 feedit-parcelles
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 gicab-bovins-stats
drwxr-xr-x  4 ansible ansible 4.0K Apr 19  2023 grc-atc-activite
drwxr-xr-x  4 ansible ansible 4.0K Mar  4  2022 kerhis-table-activite
drwxr-xr-x  5 ansible ansible 4.0K Jan  2  2023 kerhis-table-batiment
drwxr-xr-x  5 ansible ansible 4.0K Jan  2  2023 kerhis-table-ecritures-lignes
drwxr-xr-x  5 ansible ansible 4.0K Jan  2  2023 kerhis-table-entete-ecritures
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 kerhis-table-facture-entete
drwxr-xr-x  3 ansible ansible 4.0K Mar 22  2022 kerhis-table-Facture-Entete
drwxr-xr-x  5 ansible ansible 4.0K Jan  2  2023 kerhis-table-facture-ligne
drwxr-xr-x  5 ansible ansible 4.0K Jan  2  2023 kerhis-table-paramanalytique
drwxr-xr-x  5 ansible ansible 4.0K Jan  2  2023 kerhis-table-plancomptable
drwxr-xr-x  5 ansible ansible 4.0K Jan  2  2023 kerhis-table-sites
drwxr-xr-x  5 ansible ansible 4.0K Jan  2  2023 kerhis-table-tiers
drwxr-xr-x  4 ansible ansible 4.0K Jan  1  2023 oc-base
drwxr-xr-x  5 ansible ansible 4.0K Jan  1  2023 persone-base
drwxr-xr-x  5 ansible ansible 4.0K Jan  2  2023 persone-pays
drwxr-xr-x  5 ansible ansible 4.0K Jan  2  2023 persone-titre
drwxr-xr-x  3 ansible ansible 4.0K Mar  4  2022 tiers-ca-recapitulatif
drwxr-xr-x  4 ansible ansible 4.0K Jan  2  2023 tms-base
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jul  1 16:14 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de lurberri/prod etlurberri/prod_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
277G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
169M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
277G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
4.0K    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/lurberri/prod/ de ce bucket (prod_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/lurberri/prod/ donc je supprime aussi ce dossier.

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier prod-mysql/prodlurberri_cfui/.

J'ai supprimé ce dossier et son contenu.

Freshping

J'ai supprimé les 2 checks Freshping de Lur Berri PROD (https://www.lurberri.computablefacts.com/healthz et https://www.lurberri.computablefacts.com/login).

Links

• Login with Keycloak

• Internal login

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - prodlurberri_cfui

Deprecated: prod-modules-ista-api1

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista module api1 de PROD

Details

Ce déploiement sur Swarm01 a été remplacé par un déploiment sur le YunoHost d'Ista.

La stack a été supprimée le 2023-12-26.

Links

• https://prod.api.ista.computablefacts.com/api1/

• Stack on swarm01 Portainer

Dependencies

Depends on (3)

• Component - development - modules-ista-api1

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: prod-modules-ista-ciblage-commercial

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista module Ciblage Commercial de PROD

Details

Ce déploiement sur Swarm01 a été remplacé par un déploiment sur le YunoHost d'Ista.

La stack a été supprimée le 2023-12-26.

Links

• https://prod-ciblage-commercial.ista.computablefacts.com/

• Stack on swarm01 Portainer

Dependencies

Depends on (3)

• Component - development - modules-ista-ciblage-commercial

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: prod-modules-ista-passeport-immeuble

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista module Passport Immeuble de PROD

Details

Ce déploiement sur Swarm01 a été remplacé par un déploiment sur le YunoHost d'Ista.

La stack a été supprimée le 2023-12-26.

Links

• https://prod-passeport-immeuble.ista.computablefacts.com/

• Stack on swarm01 Portainer

Dependencies

Depends on (3)

• Component - development - modules-ista-passeport-immeuble

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: prod-modules-smacl-contracts

[Système : smacl] [Lifecycle : deprecated] [Subtype : stack]

Smacl nouveau module contrats ??? PROD

Events

2025-01-16 - Suppression de l'environnement de PROD de la Smacl

La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de PROD.

Warning

Je ne vais pas supprimer les backups des bases de données MySQL car nous devrons fournir les données à la Smacl.

Quand la Smacl le demandera, nous pourrons restaurer les bases pour le faire.

Smacl Datalake UI PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-smacl-cf-ui

ansible@s001:~$ sudo docker stack rm prod-smacl-cf-ui
Removing service prod-smacl-cf-ui_app
Removing service prod-smacl-cf-ui_queue
Removing service prod-smacl-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl cf-ui PROD

Je supprime la base de données prodsmacl_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : prosmaclcfui et prosmaclcfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Module VAM de la Smacl de PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-smacl-module

ansible@s001:~$ sudo docker stack rm prod-smacl-module
Removing service prod-smacl-module_app

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl VAM module PROD

Je supprime la base de données prodsmacl_cfmodulesmacl depuis phpMyAdmin. J'en profite pour supprimer l'utilisateur correspondant : prosmaclcfmodule.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.

Smacl nouveau module contrats ??? PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-modules-smacl-contracts

ansible@s001:~$ sudo docker stack rm prod-modules-smacl-contracts
Removing service prod-modules-smacl-contracts_web

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Suppression des données sur le SFTP

J'ai déjà désactivé le compte SFTP de PROD. Voici la taille des données présentes pour la smacl sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
933G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

J'ai supprimé les données de prod et de prod_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
total 104K
drwxr-xr-x    6 ansible ansible 4.0K Jun 29  2022 .
drwxr-xr-x    8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x    4 ansible ansible 4.0K Apr  2  2022 conf
drwxr-xr-x 1330 ansible ansible  36K Jan  7 23:12 dab
drwxr-xr-x    6 ansible ansible  12K Dec 30 12:03 dce
drwxr-xr-x 1421 ansible ansible  36K Jan  7 23:15 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 15:19 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
total 488K
drwxr-xr-x    6 ansible ansible 4.0K Jun 29  2022 .
drwxr-xr-x    8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x    7 ansible ansible 4.0K Mar  4  2022 conf
drwxr-xr-x 9544 ansible ansible 248K Dec 16 23:18 dab
drwxr-xr-x    6 ansible ansible 4.0K Jan 15  2024 dce
drwxr-xr-x 8705 ansible ansible 216K Jan  1 02:04 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 15:24 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de smacl/prod etsmacl/prod_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
4.0K    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/smacl/prod/ de ce bucket (prod_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/smacl/prod/ donc je supprime aussi ce dossier.

Conservation des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier prod-mysql/prodsmacl_cfui/ et dans le dossier prod-mysql/prodsmacl_cfmodulesmacl/.

Le bucket S3 swarm01-backups-mysql supprime tous les fichiers de plus de 30 jours. Donc, dans 1 mois, les backups auront disparu...

J'ai donc décidé de les copier dans un autre bucket que j'ai créé (swarm01-backups-smacl). Je vais les faire transiter par mon PC pour les copier d'un bucket à l'autre donc je les aurais en local aussi.

Commandes pour faire la copie

patrick@SpectreMate:~$ mkdir smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsmacl_cfmodulesmacl/ ./smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsmacl_cfui/ ./smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync ./smacl-mysql-backups/ s3://swarm01-backups-smacl/

Links

• https://prod-contracts.smacl.computablefacts.com

• Stack on swarm01 Portainer

Dependencies

Depends on (2)

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: prod-smacl-cf-ui

[Système : smacl] [Lifecycle : deprecated] [Subtype : stack]

Smacl Datalake UI PROD

Events

2025-01-16 - Suppression de l'environnement de PROD de la Smacl

La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de PROD.

Warning

Je ne vais pas supprimer les backups des bases de données MySQL car nous devrons fournir les données à la Smacl.

Quand la Smacl le demandera, nous pourrons restaurer les bases pour le faire.

Smacl Datalake UI PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-smacl-cf-ui

ansible@s001:~$ sudo docker stack rm prod-smacl-cf-ui
Removing service prod-smacl-cf-ui_app
Removing service prod-smacl-cf-ui_queue
Removing service prod-smacl-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl cf-ui PROD

Je supprime la base de données prodsmacl_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : prosmaclcfui et prosmaclcfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Module VAM de la Smacl de PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-smacl-module

ansible@s001:~$ sudo docker stack rm prod-smacl-module
Removing service prod-smacl-module_app

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl VAM module PROD

Je supprime la base de données prodsmacl_cfmodulesmacl depuis phpMyAdmin. J'en profite pour supprimer l'utilisateur correspondant : prosmaclcfmodule.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.

Smacl nouveau module contrats ??? PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-modules-smacl-contracts

ansible@s001:~$ sudo docker stack rm prod-modules-smacl-contracts
Removing service prod-modules-smacl-contracts_web

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Suppression des données sur le SFTP

J'ai déjà désactivé le compte SFTP de PROD. Voici la taille des données présentes pour la smacl sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
933G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

J'ai supprimé les données de prod et de prod_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
total 104K
drwxr-xr-x    6 ansible ansible 4.0K Jun 29  2022 .
drwxr-xr-x    8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x    4 ansible ansible 4.0K Apr  2  2022 conf
drwxr-xr-x 1330 ansible ansible  36K Jan  7 23:12 dab
drwxr-xr-x    6 ansible ansible  12K Dec 30 12:03 dce
drwxr-xr-x 1421 ansible ansible  36K Jan  7 23:15 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 15:19 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
total 488K
drwxr-xr-x    6 ansible ansible 4.0K Jun 29  2022 .
drwxr-xr-x    8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x    7 ansible ansible 4.0K Mar  4  2022 conf
drwxr-xr-x 9544 ansible ansible 248K Dec 16 23:18 dab
drwxr-xr-x    6 ansible ansible 4.0K Jan 15  2024 dce
drwxr-xr-x 8705 ansible ansible 216K Jan  1 02:04 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 15:24 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de smacl/prod etsmacl/prod_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
4.0K    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/smacl/prod/ de ce bucket (prod_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/smacl/prod/ donc je supprime aussi ce dossier.

Conservation des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier prod-mysql/prodsmacl_cfui/ et dans le dossier prod-mysql/prodsmacl_cfmodulesmacl/.

Le bucket S3 swarm01-backups-mysql supprime tous les fichiers de plus de 30 jours. Donc, dans 1 mois, les backups auront disparu...

J'ai donc décidé de les copier dans un autre bucket que j'ai créé (swarm01-backups-smacl). Je vais les faire transiter par mon PC pour les copier d'un bucket à l'autre donc je les aurais en local aussi.

Commandes pour faire la copie

patrick@SpectreMate:~$ mkdir smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsmacl_cfmodulesmacl/ ./smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsmacl_cfui/ ./smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync ./smacl-mysql-backups/ s3://swarm01-backups-smacl/

2025-01-08 - 15:00 - Suppression des surveillances Freshping de la Smacl

La Smacl a résilié son contrat avec nous.

J'ai donc supprimé 3 surveillances Freshping :

• https://www.smacl.computablefacts.com/healthz
• https://www.smacl.computablefacts.com/login
• https://cf-module-smacl-prod.smacl.computablefacts.com/healthz

J'ai également supprimé la page de statut dédiée qui affichait ces 3 surveillances :

• http://status.smacl.computablefacts.com/
• et supprimé les 2 entrées DNS correspondantes chez Gandi

Enfin, j'ai supprimé les 3 surveillances, les mêmes que Freshping, que j'avais mises dans statping.

Links

• https://www.smacl.computablefacts.com

• https://prod.smacl.computablefacts.com

• https://prod.smacl.swarm01.computablefacts.io

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - prodsmacl_cfui

Deprecated: prod-smacl-module

[Système : smacl] [Lifecycle : deprecated] [Subtype : stack]

Module VAM de la Smacl de PROD

Events

2025-01-16 - Suppression de l'environnement de PROD de la Smacl

La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de PROD.

Warning

Je ne vais pas supprimer les backups des bases de données MySQL car nous devrons fournir les données à la Smacl.

Quand la Smacl le demandera, nous pourrons restaurer les bases pour le faire.

Smacl Datalake UI PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-smacl-cf-ui

ansible@s001:~$ sudo docker stack rm prod-smacl-cf-ui
Removing service prod-smacl-cf-ui_app
Removing service prod-smacl-cf-ui_queue
Removing service prod-smacl-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl cf-ui PROD

Je supprime la base de données prodsmacl_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : prosmaclcfui et prosmaclcfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Module VAM de la Smacl de PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-smacl-module

ansible@s001:~$ sudo docker stack rm prod-smacl-module
Removing service prod-smacl-module_app

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl VAM module PROD

Je supprime la base de données prodsmacl_cfmodulesmacl depuis phpMyAdmin. J'en profite pour supprimer l'utilisateur correspondant : prosmaclcfmodule.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.

Smacl nouveau module contrats ??? PROD

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm prod-modules-smacl-contracts

ansible@s001:~$ sudo docker stack rm prod-modules-smacl-contracts
Removing service prod-modules-smacl-contracts_web

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Suppression des données sur le SFTP

J'ai déjà désactivé le compte SFTP de PROD. Voici la taille des données présentes pour la smacl sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
933G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

J'ai supprimé les données de prod et de prod_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
total 104K
drwxr-xr-x    6 ansible ansible 4.0K Jun 29  2022 .
drwxr-xr-x    8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x    4 ansible ansible 4.0K Apr  2  2022 conf
drwxr-xr-x 1330 ansible ansible  36K Jan  7 23:12 dab
drwxr-xr-x    6 ansible ansible  12K Dec 30 12:03 dce
drwxr-xr-x 1421 ansible ansible  36K Jan  7 23:15 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 15:19 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
total 488K
drwxr-xr-x    6 ansible ansible 4.0K Jun 29  2022 .
drwxr-xr-x    8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x    7 ansible ansible 4.0K Mar  4  2022 conf
drwxr-xr-x 9544 ansible ansible 248K Dec 16 23:18 dab
drwxr-xr-x    6 ansible ansible 4.0K Jan 15  2024 dce
drwxr-xr-x 8705 ansible ansible 216K Jan  1 02:04 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 15:24 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de smacl/prod etsmacl/prod_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
4.0K    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/smacl/prod/ de ce bucket (prod_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/smacl/prod/ donc je supprime aussi ce dossier.

Conservation des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier prod-mysql/prodsmacl_cfui/ et dans le dossier prod-mysql/prodsmacl_cfmodulesmacl/.

Le bucket S3 swarm01-backups-mysql supprime tous les fichiers de plus de 30 jours. Donc, dans 1 mois, les backups auront disparu...

J'ai donc décidé de les copier dans un autre bucket que j'ai créé (swarm01-backups-smacl). Je vais les faire transiter par mon PC pour les copier d'un bucket à l'autre donc je les aurais en local aussi.

Commandes pour faire la copie

patrick@SpectreMate:~$ mkdir smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsmacl_cfmodulesmacl/ ./smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync s3://swarm01-backups-mysql/prod-mysql/prodsmacl_cfui/ ./smacl-mysql-backups
patrick@SpectreMate:~$ aws --profile computablefacts s3 sync ./smacl-mysql-backups/ s3://swarm01-backups-smacl/

2025-01-08 - 15:00 - Suppression des surveillances Freshping de la Smacl

La Smacl a résilié son contrat avec nous.

J'ai donc supprimé 3 surveillances Freshping :

• https://www.smacl.computablefacts.com/healthz
• https://www.smacl.computablefacts.com/login
• https://cf-module-smacl-prod.smacl.computablefacts.com/healthz

J'ai également supprimé la page de statut dédiée qui affichait ces 3 surveillances :

• http://status.smacl.computablefacts.com/
• et supprimé les 2 entrées DNS correspondantes chez Gandi

Enfin, j'ai supprimé les 3 surveillances, les mêmes que Freshping, que j'avais mises dans statping.

Links

• https://cf-module-smacl-prod.smacl.computablefacts.com

• https://prod-module.smacl.swarm01.computablefacts.io

• Stack on swarm01 Portainer

Dependencies

Depends on (2)DEPRECATED Depends on (1)

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - prodsmacl_cfmodulesmacl

Deprecated: prod-towerify-ui

[Système : towerify] [Lifecycle : deprecated] [Subtype : yunohost]

Towerify UI PROD. A été remplacé par cywise-ui_prod

Links

• https://app.towerify.io/

Dependencies

Depends on (2)

• Component - development - towerify-ui

• Resource - server - yunohost-addapps

Deprecated: smacl-jenkins

[Système : smacl] [Lifecycle : deprecated] [Subtype : stack]

Jenkins pour la Smacl déployé sur swarm01

Events

2025-01-17 - 09:30 - Suppression du Jenkins de la Smacl

La Smacl a résilié son contrat avec nous. Je vais donc supprimer son Jenkins.

Je supprime la stack qui se trouve sur swarm01.

sudo docker stack rm smacl-jenkins

ansible@s001:~$ sudo docker stack rm smacl-jenkins
Removing service smacl-jenkins_jenkins

Puis je supprime le container DinD (Docker in Docker) qui se trouve sur s005.

sudo docker stop smacl-jenkins_dind sudo docker rm smacl-jenkins_dind

ansible@s005:~$ sudo docker stop smacl-jenkins_dind
smacl-jenkins_dind
ansible@s005:~$ sudo docker rm smacl-jenkins_dind
smacl-jenkins_dind

Je supprime les 2 volumes associés.

sudo docker volume rm smacl-jenkins_jenkins-data sudo docker volume rm smacl-jenkins_jenkins-docker-certs

ansible@s005:~$ sudo docker volume rm smacl-jenkins_jenkins-data
smacl-jenkins_jenkins-data
ansible@s005:~$ sudo docker volume rm smacl-jenkins_jenkins-docker-certs
smacl-jenkins_jenkins-docker-certs

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml). Ce qui revient à supprimer le ficher car Jenkins était le dernier déploiement restant.

Je note ce deploiement comme deprecated dans cette doc.

Je supprime le tag smacl-jenkins.jenkins_home du noeud s005 en modifiant le fichier ansible/03-swarm01-labels.yaml puis en appliquant avec la commande : ansible-playbook -i ansible/inventory.yml ansible/03-swarm01-labels.yaml.

Links

• https://jenkins.smacl.computablefacts.com/

• Stack sur portainer

Dependencies

Depends on (3)

• Component - application - jenkins

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: staging-ista-cf-ui

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista Datalake UI STAGING

Events

2025-01-10 - 17:30 - Suppression des 3 stacks cf-ui d'ISTA sur swarm01

Nous avons migré l'infra d'Ista sur les serveurs yunohost-ista-dev et yunohost-ista-prod depuis plusieurs mois donc je peux supprimer ces 3 stacks conservées par prudence.

Actions :

• suppression des stacks depuis le ssh (ansible@s001:~$ sudo docker stack rm dev-ista-cf-ui, ansible@s001:~$ sudo docker stack rm staging-ista-cf-ui, ansible@s001:~$ sudo docker stack rm prod-ista-cf-ui)
• suppression des 3 bases MySQL correspondantes (devista_cfui, stagingista_cfui, prodista_cfui, ) avec phpMyAdmin.
• suppression dans le playbook ansible (cf-infra/ansible/client-ista.yaml)

Links

• Login with Keycloak

• Internal login

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - stagingista_cfui

Deprecated: staging-lurberri-cf-ui

[Système : lurberri] [Lifecycle : deprecated] [Subtype : stack]

Lur Berri Datalake UI STAGING

Events

2025-06-30 - Suppression de l'environnement de STAGING de Lur Berri

Lur Berri a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de STAGING.

Lur Berri Datalake UI STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-lurberri-cf-ui

ansible@s001:~$ sudo docker stack rm staging-lurberri-cf-ui
Removing service staging-lurberri-cf-ui_app
Removing service staging-lurberri-cf-ui_queue
Removing service staging-lurberri-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de Lur Berri (ansible/client-lurberri.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Lur Berri cf-ui STAGING

Je supprime la base de données staginglurberri_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : stalurbercfui et stalurbercfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Suppression des données sur le SFTP

Je désactive le compte SFTP de STAGING. Voici la taille des données présentes pour Lur Berri sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri
735G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev
7.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/prod
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/dev_out
12K /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out
8.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging
743G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri

J'ai supprimé les données de staging et de staging_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 21  2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..
drwxr-xr-x 2 ansible ansible 4.0K Mar 21  2022 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jul  1 08:54 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out
total 12K
drwxr-xr-x 3 ansible ansible 4.0K Mar 21  2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..
drwxr-xr-x 2 ansible ansible 4.0K Mar 21  2022 conf
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/lurberri/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jul  1 08:55 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de lurberri/staging etlurberri/staging_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/staging sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/staging_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
277G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
169M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
277G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/staging
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri
277G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod_out
169M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri/prod
277G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/lurberri

NOTA : aucune donnée supprimée car Lur Berri n'utilisait pas l'environnement de STAGING.

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. Pas de donnée dans le dossier /tmp/sftp/lurberri/staging/ ni dans /var/sftp/lurberri/staging/ puisque Lur Berri n'utilisait pas l'environnement de STAGING.

Rien à supprimer donc.

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier staging-mysql/staginglurberri_cfui/.

J'ai supprimé ce dossier et son contenu.

Freshping

Pas de surveillance Freshping pour Lur Berri STAGING.

Links

• Login with Keycloak

• Internal login

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - staginglurberri_cfui

Deprecated: staging-modules-ista-api1

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista module api1 de STAGING

Details

Ce déploiement sur Swarm01 a été remplacé par un déploiment sur le YunoHost d'Ista.

La stack a été supprimée le 2023-12-26.

Links

• https://staging.api.ista.computablefacts.com/api1/

• Stack on swarm01 Portainer

Dependencies

Depends on (3)

• Component - development - modules-ista-api1

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: staging-modules-ista-ciblage-commercial

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista module Ciblage Commercial de STAGING

Details

Ce déploiement sur Swarm01 a été remplacé par un déploiment sur le YunoHost d'Ista.

La stack a été supprimée le 2023-12-26.

Links

• https://staging-ciblage-commercial.ista.computablefacts.com/

• Stack on swarm01 Portainer

Dependencies

Depends on (3)

• Component - development - modules-ista-ciblage-commercial

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: staging-modules-ista-passeport-immeuble

[Système : ista] [Lifecycle : deprecated] [Subtype : stack]

Ista module Passport Immeuble de STAGING

Details

Ce déploiement sur Swarm01 a été remplacé par un déploiment sur le YunoHost d'Ista.

La stack a été supprimée le 2023-12-26.

Links

• https://staging-passeport-immeuble.ista.computablefacts.com/

• Stack on swarm01 Portainer

Dependencies

Depends on (3)

• Component - development - modules-ista-passeport-immeuble

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: staging-modules-smacl-contracts

[Système : smacl] [Lifecycle : deprecated] [Subtype : stack]

Smacl nouveau module contrats ??? STAGING

Events

2025-01-16 - Suppression de l'environnement de STAGING de la Smacl

La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de STAGING.

Smacl Datalake UI STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-smacl-cf-ui

ansible@s001:~$ sudo docker stack rm staging-smacl-cf-ui
Removing service staging-smacl-cf-ui_app
Removing service staging-smacl-cf-ui_queue
Removing service staging-smacl-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl cf-ui STAGING

Je supprime la base de données stagingsmacl_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : stasmaclcfui et stasmaclcfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Module VAM de la Smacl de STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-smacl-module

ansible@s001:~$ sudo docker stack rm staging-smacl-module
Removing service staging-smacl-module_app

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl VAM module STAGING

Je supprime la base de données stagingsmacl_cfmodulesmacl depuis phpMyAdmin. J'en profite pour supprimer l'utilisateur correspondant : stasmaclcfmodule.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.

Smacl nouveau module contrats ??? STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-modules-smacl-contracts

ansible@s001:~$ sudo docker stack rm staging-modules-smacl-contracts
Removing service staging-modules-smacl-contracts_web

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Suppression des données sur le SFTP

J'ai déjà désactivé le compte SFTP de STAGING. Voici la taille des données présentes pour la smacl sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
24G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
6.4M    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
957G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

J'ai supprimé les données de staging et de staging_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
total 40K
drwxr-xr-x  6 ansible ansible 4.0K Oct 11  2022 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr--r--  3 ansible ansible 4.0K May 23  2022 conf
drwxr-xr-x 25 ansible ansible 4.0K Jan 10  2023 dab
drwxr-xr-x  4 ansible ansible  20K Jan  8  2024 dce
drwxr-xr-x 27 ansible ansible 4.0K Jan 10  2023 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 12:01 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
total 44K
drwxr-xr-x  6 ansible ansible 4.0K Mar  3  2022 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x  8 ansible ansible 4.0K May 23  2022 conf
drwxr-xr-x 25 ansible ansible  12K Jan  9  2023 dab
drwxr-xr-x  6 ansible ansible 4.0K Jan  8  2024 dce
drwxr-xr-x 27 ansible ansible  16K Jan  9  2023 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 12:02 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de smacl/staging etsmacl/staging_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
9.1M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/smacl/staging/ de ce bucket (staging_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/smacl/staging/ donc je supprime aussi ce dossier.

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier staging-mysql/stagingsmacl_cfui/ et dans le dossier staging-mysql/stagingsmacl_cfmodulesmacl/.

J'ai supprimé ces 2 dossiers et leur contenu.

Links

• https://staging-contracts.smacl.computablefacts.com

• Stack on swarm01 Portainer

Dependencies

Depends on (2)

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

Deprecated: staging-sentinel-cf-ui

[Système : sentinel] [Lifecycle : deprecated] [Subtype : stack]

Sentinel Datalake UI STAGING

Events

2025-01-17 - 14:10 - Suppression de l'environnement de STAGING de Sentinel

Nous avons déplacé les fonctionnalités de Sentinel dans Towerify / Cywise. Les environnements Sentinel cf-ui ne sont donc plus utilisés. Je vais supprimer l'environnement de STAGING.

Sentinel Datalake UI STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-sentinel-cf-ui

ansible@s001:~$ sudo docker stack rm staging-sentinel-cf-ui
Removing service staging-sentinel-cf-ui_app
Removing service staging-sentinel-cf-ui_queue
Removing service staging-sentinel-cf-ui_queue-heavy
Removing service staging-sentinel-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de Sentinel (ansible/client-sentinel.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Sentinel cf-ui STAGING

Je supprime la base de données stagingsentinel_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : stasentincfui et stasentincfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Suppression des données sur le SFTP

Je désactive le compte SFTP de STAGING. Voici la taille des données présentes pour Sentinel sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel
75G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev
1.0M    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/prod
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/dev_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging
75G /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel

J'ai supprimé les données de staging et de staging_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Mar  7  2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Mar  7  2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Mar  7  2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/sentinel/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Mar  7  2022 .
drwxr-xr-x 8 ansible ansible 4.0K Mar  7  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de sentinel/staging etsentinel/staging_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/staging sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/staging_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
7.2G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
7.2G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
15G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/staging
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel
7.2G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod_out
7.2G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel/prod
15G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/sentinel

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/sentinel/staging/ de ce bucket (staging_out n'est pas backupé sur S3). NOTA: ce dossier n'existait pas...

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier staging-mysql/stagingsentinel_cfui/.

J'ai supprimé ce dossier et son contenu.

Links

• https://staging.app.adversarymeter.io

• https://staging.sentinel.computablefacts.com

• https://staging.sentinel.swarm01.computablefacts.io

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - stagingsentinel_cfui

Deprecated: staging-smacl-cf-ui

[Système : smacl] [Lifecycle : deprecated] [Subtype : stack]

Smacl Datalake UI STAGING

Events

2025-01-16 - Suppression de l'environnement de STAGING de la Smacl

La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de STAGING.

Smacl Datalake UI STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-smacl-cf-ui

ansible@s001:~$ sudo docker stack rm staging-smacl-cf-ui
Removing service staging-smacl-cf-ui_app
Removing service staging-smacl-cf-ui_queue
Removing service staging-smacl-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl cf-ui STAGING

Je supprime la base de données stagingsmacl_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : stasmaclcfui et stasmaclcfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Module VAM de la Smacl de STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-smacl-module

ansible@s001:~$ sudo docker stack rm staging-smacl-module
Removing service staging-smacl-module_app

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl VAM module STAGING

Je supprime la base de données stagingsmacl_cfmodulesmacl depuis phpMyAdmin. J'en profite pour supprimer l'utilisateur correspondant : stasmaclcfmodule.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.

Smacl nouveau module contrats ??? STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-modules-smacl-contracts

ansible@s001:~$ sudo docker stack rm staging-modules-smacl-contracts
Removing service staging-modules-smacl-contracts_web

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Suppression des données sur le SFTP

J'ai déjà désactivé le compte SFTP de STAGING. Voici la taille des données présentes pour la smacl sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
24G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
6.4M    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
957G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

J'ai supprimé les données de staging et de staging_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
total 40K
drwxr-xr-x  6 ansible ansible 4.0K Oct 11  2022 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr--r--  3 ansible ansible 4.0K May 23  2022 conf
drwxr-xr-x 25 ansible ansible 4.0K Jan 10  2023 dab
drwxr-xr-x  4 ansible ansible  20K Jan  8  2024 dce
drwxr-xr-x 27 ansible ansible 4.0K Jan 10  2023 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 12:01 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
total 44K
drwxr-xr-x  6 ansible ansible 4.0K Mar  3  2022 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x  8 ansible ansible 4.0K May 23  2022 conf
drwxr-xr-x 25 ansible ansible  12K Jan  9  2023 dab
drwxr-xr-x  6 ansible ansible 4.0K Jan  8  2024 dce
drwxr-xr-x 27 ansible ansible  16K Jan  9  2023 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 12:02 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de smacl/staging etsmacl/staging_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
9.1M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/smacl/staging/ de ce bucket (staging_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/smacl/staging/ donc je supprime aussi ce dossier.

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier staging-mysql/stagingsmacl_cfui/ et dans le dossier staging-mysql/stagingsmacl_cfmodulesmacl/.

J'ai supprimé ces 2 dossiers et leur contenu.

Links

• https://staging.smacl.computablefacts.com

• https://staging.smacl.swarm01.computablefacts.io

• Stack on swarm01 Portainer

Dependencies

Depends on (3)DEPRECATED Depends on (1)

• Component - development - cf-ui

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - stagingsmacl_cfui

Deprecated: staging-smacl-module

[Système : smacl] [Lifecycle : deprecated] [Subtype : stack]

Module VAM de la Smacl de STAGING

Events

2025-01-16 - Suppression de l'environnement de STAGING de la Smacl

La Smacl a résilié son contrat avec nous. Je vais donc supprimer tout ce qui concerne leur environnement de STAGING.

Smacl Datalake UI STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-smacl-cf-ui

ansible@s001:~$ sudo docker stack rm staging-smacl-cf-ui
Removing service staging-smacl-cf-ui_app
Removing service staging-smacl-cf-ui_queue
Removing service staging-smacl-cf-ui_scheduler

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl cf-ui STAGING

Je supprime la base de données stagingsmacl_cfui depuis phpMyAdmin. J'en profite pour supprimer les 2 utilisateurs correspondant : stasmaclcfui et stasmaclcfuimater.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et des utilisateurs du playbook ansible ansible/mysql-stacks.yaml.

Module VAM de la Smacl de STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-smacl-module

ansible@s001:~$ sudo docker stack rm staging-smacl-module
Removing service staging-smacl-module_app

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

MySQL database for Smacl VAM module STAGING

Je supprime la base de données stagingsmacl_cfmodulesmacl depuis phpMyAdmin. J'en profite pour supprimer l'utilisateur correspondant : stasmaclcfmodule.

Je note cette base comme deprecated dans cette doc.

Je supprime la création de la base et de l'utilisateur du playbook ansible ansible/mysql-stacks.yaml.

Smacl nouveau module contrats ??? STAGING

Je supprime la stack qui se trouve sur swarm01 depuis s001.

sudo docker stack rm staging-modules-smacl-contracts

ansible@s001:~$ sudo docker stack rm staging-modules-smacl-contracts
Removing service staging-modules-smacl-contracts_web

Je supprime le déploiement dans le playbook ansible de la Smacl (ansible/client-smacl.yaml).

Je note ce deploiement comme deprecated dans cette doc.

Suppression des données sur le SFTP

J'ai déjà désactivé le compte SFTP de STAGING. Voici la taille des données présentes pour la smacl sur le SFTP :

sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl
923G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod_out
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev
9.8G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/prod
4.0K    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/dev_out
24G /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
6.4M    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
957G    /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl

J'ai supprimé les données de staging et de staging_out sans supprimer les dossiers eux-mêmes.

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
total 40K
drwxr-xr-x  6 ansible ansible 4.0K Oct 11  2022 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr--r--  3 ansible ansible 4.0K May 23  2022 conf
drwxr-xr-x 25 ansible ansible 4.0K Jan 10  2023 dab
drwxr-xr-x  4 ansible ansible  20K Jan  8  2024 dce
drwxr-xr-x 27 ansible ansible 4.0K Jan 10  2023 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 12:01 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;

ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
total 44K
drwxr-xr-x  6 ansible ansible 4.0K Mar  3  2022 .
drwxr-xr-x  8 ansible ansible 4.0K Feb 18  2022 ..
drwxr-xr-x  8 ansible ansible 4.0K May 23  2022 conf
drwxr-xr-x 25 ansible ansible  12K Jan  9  2023 dab
drwxr-xr-x  6 ansible ansible 4.0K Jan  8  2024 dce
drwxr-xr-x 27 ansible ansible  16K Jan  9  2023 vam
ansible@s004:~$ sudo find /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out -mindepth 1 -maxdepth 1 -type d -exec rm -rf {} \;
ansible@s004:~$ sudo ls -alh /var/lib/docker/volumes/sftp_sftp-data/_data/data/smacl/staging_out
total 8.0K
drwxr-xr-x 2 ansible ansible 4.0K Jan 16 12:02 .
drwxr-xr-x 8 ansible ansible 4.0K Feb 18  2022 ..

Suppression des données du cache de NiFi

NiFi, qui traite les données déposées sur le SFTP et qui est sur la même machine s004, stocke les fichiers qu'il récupère du SFTP dans son dossier tmp.

Je supprime donc les fichiers de smacl/staging etsmacl/staging_out.

sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out

ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
9.1M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
7.6M    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging
ansible@s004:~$ sudo rm -Rf /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/staging_out
ansible@s004:~$ sudo du -h -d 1 /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl
107G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod_out
17G /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl/prod
123G    /var/lib/docker/volumes/nifi-all_tmp/_data/sftp/smacl

Suppression des données sur S3

NiFi backupe les données déposées sur le SFTP dans le bucket S3 cf-sftp-achives. J'ai donc supprimé le dossier /tmp/sftp/smacl/staging/ de ce bucket (staging_out n'est pas backupé sur S3).

Notre NiFi précédent backupait les données dans /var/sftp/smacl/staging/ donc je supprime aussi ce dossier.

Suppression des backups

Ce sont des backups de la base MySQL. Ils se trouvent dans le bucket S3 swarm01-backups-mysql dans le dossier staging-mysql/stagingsmacl_cfui/ et dans le dossier staging-mysql/stagingsmacl_cfmodulesmacl/.

J'ai supprimé ces 2 dossiers et leur contenu.

Links

• https://cf-module-smacl-staging.smacl.computablefacts.com

• https://staging-module.smacl.swarm01.computablefacts.io

• Stack on swarm01 Portainer

Dependencies

Depends on (2)DEPRECATED Depends on (1)

• Resource - deployment - traefik-public

• Resource - cluster - swarm01

• Deprecated: Resource - storage - stagingsmacl_cfmodulesmacl