champs-libres/chill-import-from-canvas
7
0
Fork 0
Code Issues 1 Pull Requests Packages Projects Releases Wiki Activity

feat: Enhance CSV import process and data cleanup

Browse Source 
- Added support for importing 'periodes' data and adjusted related SQL scripts.
- Introduced a new SQL preparation script to set up the import schema.
- Updated the import_all_csv.sh script to handle new CSV files and tables.
- Implemented checks for required SQL files and improved error handling.
- Modified data types and structures in the import process for better consistency.
- Created a new remove-import-data.sql script to clean up imported data effectively.
- Enhanced the handling of postal codes and addresses in the import logic.
- Added comments and structured the SQL scripts for better readability and maintainability.
This commit is contained in:
Boris Waaub
2026-03-16 13:48:12 +01:00
parent 8481acfe5d
commit c388967ebd
9 changed files with 914 additions and 66 deletions
Download Patch File Download Diff File Expand all files Collapse all files

29
csv_stemm/choix_usagers.csv Normal file
View File

@@ -0,0 +1,29 @@
civility,lastname,firstname,gender,gendercomment,nationality,memo,birthdate,place_of_birth,countryofbirth,deathdate,email,phonenumber,mobilenumber,contactinfo,street,extra,streetnumber,postcode,country
Monsieur,Barbosa De Freitas,Jorge,Homme,,Portugal,,27/02/1974,,,,,691823643,,,Avenue Parc Sports,2ème étage,47,L-4671,Luxembourg
Monsieur,Clement,Patrick,Homme,,Luxembourg,,09/01/1980,,,,,661326035,,,rue Jean Gallion,2ème étage,53,L-4569,Luxembourg
Monsieur,Bifsa,Alexanter,Homme,,Grèce,,27/10/1968,,,,,691568014,,,rue des Etats-Unis,2ème étage,40,L-1477,Luxembourg
Monsieur,Schanen,Patrick,Homme,,Luxembourg,,18/01/1965,,,,,691237244,,,rue des Etats-Unis,2ème étage,40,L-1477,Luxembourg
Monsieur,Ramalho Flores,Alexandre,Homme,,Portugal,,10/08/1983,,,,,661838358,,,rue de Merl,3ème étage,83,L-2146,Luxembourg
Madame,Debesay Ghebreyesus,Kesanet,Femme,,Erythrée,,01/01/1995,,,,,661351725,,,rue Gare-Usine,1er étage,44,L-3481,Luxembourg
Monsieur,Castro e Sousa Coelho Da Rocha,Joao Henriques,Homme,,Portugal,,18/11/1964,,,,,691893614,,,rue Gare-Usine,rez-de-chaussée,44,L-3481,Luxembourg
Monsieur,Fettes,André,Homme,,Luxembourg,,11/04/1983,,,,,691584045,,,rue de l'Ecole,3ème étage,27,L-4103,Luxembourg
Madame,Thibault,Véronique,Femme,,France,,19/06/1974,,,,,661798327,,,place Saint Michel,3ème étage,9,L-4242,Luxembourg
Monsieur,Ramdedovic,Muslija,Homme,,Monténégro,,01/10/1971,,,,,691573447,,,rue Jean-Pierre Theisen,rez-de-chaussée,1,L-4331,Luxembourg
Monsieur,De Pina Fortes,Carlos,Homme,,Luxembourg,Portugal,06/12/1978,,,,,691781278,,,rue Saint Vincent,rez-de-chaussée,13,L-4344,Luxembourg
Madame,Da Cruz Monteiro,Laise Telma,Femme,,Luxembourg,,10/10/1992,,,,,691594836,,,rue de la fenderie,rez-de-chaussée,1B,L-3734,Luxembourg
Madame,Ratinet,Magali,Femme,,France,,09/05/1973,,,,,661389224,,,rue de la fenderie,rez-de-chaussée,1A,L-3734,Luxembourg
Monsieur,Wahl,Claude,Homme,,Luxembourg,,19/08/1961,,,,,621476607,,,op der Nuddelsfabrik,1er étage,5,L-3424,Luxembourg
Monsieur,Cantarella,David,Homme,,Belge,,26/05/1973,,,,,691300834,,,rue du Clopp,1er étage,2B,L-4810,Luxembourg
Monsieur,Muno,Patrick,Homme,,Luxembourg,,27/01/1970,,,,,691197050,,,route d'Esch,1er étage,32,L-4450,Luxembourg
Monsieur,Oliveira Rodrigues,Nelson,Homme,,Cap-Vert,,29/12/1976,,,,,621635212,,,route d'Esch,2ème étage,32,L-4450,Luxembourg
Monsieur,Taborda Ribeiro,Daniel,Homme,,Portugal,,23/04/1963,,,,,691595218,,,route d'Esch,2ème étage,32,L-4450,Luxembourg
Madame,Monteiro,Ana Maria,Femme,,Portugal,,20/12/1961,,,,,621644070,,,rue Jean Schortgen,1er étage (arrière),2,L-3787,Luxembourg
Monsieur,Cordovado,Daniel,Homme,,Luxembourg,,24/01/1972,,,,,621561597,,,rue Jean Schortgen,1er étage (avant),2,L-3787,Luxembourg
Monsieur,Hasan,Hashim Abdullah Hasan,Homme,,Irak,,01/06/1985,,,,,661474629,,,rue Jean Schortgen,2ème étage (arrière),2,L-3787,Luxembourg
Madame,Marques Da Costa,Maria Isaura,Femme,,Portugal,,24/12/1957,,,,,621528040,,,rue Jean Schortgen,2ème étage (avant),2,L-3787,Luxembourg
Monsieur,De Oilveira Campos Pereira,Antonio Carlos,Homme,,Portugal,,01/10/1958,,,,,661718315,,,rue Jean Schortgen,3ème étage,2,L-3787,Luxembourg
Madame,Stoffel,Marie-Jeanne,Femme,,Luxembourg,,12/03/1961,,,,,621764613,,,rue de Mâcon,1er étage,81,L-4230,Luxembourg
Monsieur,Brack,Francis,Homme,,Luxembourg,,28/05/1980,,,,,621573872,,,op der Léier,1er étage,4,L-4240,Luxembourg
Monsieur,Moreira Soares,José Augusto,Homme,,Portugal,,17/10/1968,,,,,621765741,,,op der Léier,rez-de-chaussée,5,L-4240,Luxembourg
Madame,Oskan,Laila,Femme,,Luxembourg,,03/02/1990,,,,,621599566,,,rue de l'Avenir,rez-de-chaussée,38,L-1147,Luxembourg
Monsieur,Benamtar,Ilies-Saïd,Homme,,Algérie,,09/05/1988,,,,,691225092,,,rue de l'Ecole,1er étage,6,L-7410,Luxembourg
1 civility lastname firstname gender gendercomment nationality memo birthdate place_of_birth countryofbirth deathdate email phonenumber mobilenumber contactinfo street extra streetnumber postcode country
2 Monsieur Barbosa De Freitas Jorge Homme Portugal 27/02/1974 691823643 Avenue Parc Sports 2ème étage 47 L-4671 Luxembourg
3 Monsieur Clement Patrick Homme Luxembourg 09/01/1980 661326035 rue Jean Gallion 2ème étage 53 L-4569 Luxembourg
4 Monsieur Bifsa Alexanter Homme Grèce 27/10/1968 691568014 rue des Etats-Unis 2ème étage 40 L-1477 Luxembourg
5 Monsieur Schanen Patrick Homme Luxembourg 18/01/1965 691237244 rue des Etats-Unis 2ème étage 40 L-1477 Luxembourg
6 Monsieur Ramalho Flores Alexandre Homme Portugal 10/08/1983 661838358 rue de Merl 3ème étage 83 L-2146 Luxembourg
7 Madame Debesay Ghebreyesus Kesanet Femme Erythrée 01/01/1995 661351725 rue Gare-Usine 1er étage 44 L-3481 Luxembourg
8 Monsieur Castro e Sousa Coelho Da Rocha Joao Henriques Homme Portugal 18/11/1964 691893614 rue Gare-Usine rez-de-chaussée 44 L-3481 Luxembourg
9 Monsieur Fettes André Homme Luxembourg 11/04/1983 691584045 rue de l'Ecole 3ème étage 27 L-4103 Luxembourg
10 Madame Thibault Véronique Femme France 19/06/1974 661798327 place Saint Michel 3ème étage 9 L-4242 Luxembourg
11 Monsieur Ramdedovic Muslija Homme Monténégro 01/10/1971 691573447 rue Jean-Pierre Theisen rez-de-chaussée 1 L-4331 Luxembourg
12 Monsieur De Pina Fortes Carlos Homme Luxembourg Portugal 06/12/1978 691781278 rue Saint Vincent rez-de-chaussée 13 L-4344 Luxembourg
13 Madame Da Cruz Monteiro Laise Telma Femme Luxembourg 10/10/1992 691594836 rue de la fenderie rez-de-chaussée 1B L-3734 Luxembourg
14 Madame Ratinet Magali Femme France 09/05/1973 661389224 rue de la fenderie rez-de-chaussée 1A L-3734 Luxembourg
15 Monsieur Wahl Claude Homme Luxembourg 19/08/1961 621476607 op der Nuddelsfabrik 1er étage 5 L-3424 Luxembourg
16 Monsieur Cantarella David Homme Belge 26/05/1973 691300834 rue du Clopp 1er étage 2B L-4810 Luxembourg
17 Monsieur Muno Patrick Homme Luxembourg 27/01/1970 691197050 route d'Esch 1er étage 32 L-4450 Luxembourg
18 Monsieur Oliveira Rodrigues Nelson Homme Cap-Vert 29/12/1976 621635212 route d'Esch 2ème étage 32 L-4450 Luxembourg
19 Monsieur Taborda Ribeiro Daniel Homme Portugal 23/04/1963 691595218 route d'Esch 2ème étage 32 L-4450 Luxembourg
20 Madame Monteiro Ana Maria Femme Portugal 20/12/1961 621644070 rue Jean Schortgen 1er étage (arrière) 2 L-3787 Luxembourg
21 Monsieur Cordovado Daniel Homme Luxembourg 24/01/1972 621561597 rue Jean Schortgen 1er étage (avant) 2 L-3787 Luxembourg
22 Monsieur Hasan Hashim Abdullah Hasan Homme Irak 01/06/1985 661474629 rue Jean Schortgen 2ème étage (arrière) 2 L-3787 Luxembourg
23 Madame Marques Da Costa Maria Isaura Femme Portugal 24/12/1957 621528040 rue Jean Schortgen 2ème étage (avant) 2 L-3787 Luxembourg
24 Monsieur De Oilveira Campos Pereira Antonio Carlos Homme Portugal 01/10/1958 661718315 rue Jean Schortgen 3ème étage 2 L-3787 Luxembourg
25 Madame Stoffel Marie-Jeanne Femme Luxembourg 12/03/1961 621764613 rue de Mâcon 1er étage 81 L-4230 Luxembourg
26 Monsieur Brack Francis Homme Luxembourg 28/05/1980 621573872 op der Léier 1er étage 4 L-4240 Luxembourg
27 Monsieur Moreira Soares José Augusto Homme Portugal 17/10/1968 621765741 op der Léier rez-de-chaussée 5 L-4240 Luxembourg
28 Madame Oskan Laila Femme Luxembourg 03/02/1990 621599566 rue de l'Avenir rez-de-chaussée 38 L-1147 Luxembourg
29 Monsieur Benamtar Ilies-Saïd Homme Algérie 09/05/1988 691225092 rue de l'Ecole 1er étage 6 L-7410 Luxembourg