'
cell+="$2"
;;
nombre)
cell=""
cell+="$2"
;;
*)
return 1;;
esac
cell+=''
echo $cell >> "$content"
}
echo "génération du fichier $result"
mkdir -p "/dev/shm/$result/META-INF"
cat > "/dev/shm/$result/META-INF/manifest.xml" << EOmetainf
EOmetainf
printf 'application/vnd.oasis.opendocument.spreadsheet' > "/dev/shm/$result/mimetype"
echo '' > "$content"
cat >> "$content" << EOcontent
EOcontent
IFS=$'\n'
for i in $(seq $nb_cols); do
cat >> "$content" << EOcontent
EOcontent
done
cat >> "$content" << EOcontent
EOcontent
for i in $(seq ${#groupe[@]}); do
cat >> "$content" << EOcontent
EOcontent
done
cat >> "$content" << EOcontent
EOcontent
for i in $(seq ${#typevotes[@]}); do
for g in $(seq ${#groupe[@]}); do
cat >> "$content" << EOcontent
EOcontent
done
done
echo '' >> "$content"
IFS=$IFS_
for colonne in ${id_cols[@]}; do
write_cell texte $colonne
done
for typevote in ${typevotes[@]}; do
for g in "${groupe[@]}"; do
write_cell texte "$typevote - $g"
done
done
echo '' >> "$content"
progress=0
begin=$(date +%s)
line=1
test -z "$seq" && qty=$(( $last - $first ))
IFS=$'\n'
scrutin_base_url="https://www2.assemblee-nationale.fr/scrutins/detail/(legislature)/$mandature/(num)/"
for scrutin in $(eval ${seq:-seq $first $last}); do
data=$(sqlite_request "select date,séance,intitulé,adoption,dossiers.url,dossiers.titre from scrutins left join dossiers on scrutins.dossier = dossiers.id where num is $scrutin" json)
date=$(jq -r '.[].date' <<< $data)
seance=$(jq -r '.[]."séance"' <<< $data)
title=$(jq -r '.[]."intitulé" | @html' <<< $data)
adoption=$(jq '.[].adoption' <<< $data)
dossier_url=$(jq '.[].url' <<< $data)
dossier_texte=$(jq -r '.[].titre | @html' <<< $data)
test $adoption -eq 1 && adoption='oui' || adoption='non'
echo '' >> "$content"
write_cell url "\"$scrutin_base_url$scrutin\"" $scrutin
write_cell texte "$date"
write_cell texte "$seance"
write_cell texte "$title"
write_cell texte "$adoption"
write_cell url "${dossier_url/#null/\"\"}" "${dossier_texte/#null}"
unset votes
for typevote in $(seq ${#typevotes[@]}); do
for (( g = 0; g < ${#groupe[@]}; g++ )); do
votes[${#votes[@]}]=$(sqlite_request "select
count(député)
from
dépouillements
inner join
députés, groupes
on
députés.groupe = groupes.id and dépouillements.député = députés.id
where
scrutin is $scrutin
and
vote is $typevote
and
${id_groupe[$g]%:*}.nom = '${groupe[$g]//\'/\'\'}'")
done
done
for ((j = 0; j < ${#groupe[@]}; j++)); do
presence=1 # `let presence+=0` sort en erreur si variable est unset ou égale à 0
for ((i = $j; i < ${#votes[@]}; i += ${#groupe[@]})); do
let presence+=${votes[$i]}
done
if test $presence -eq 1; then
for ((i = $j; i < ${#votes[@]}; i += ${#groupe[@]})); do
votes[$i]=-1
done
fi
done
for ((i = 0; i < ${#votes[@]}; i ++)); do
write_cell nombre ${votes[$i]}
done
echo '' >> "$content"
if test $(( ($line * 100) / ${qty:-$last} )) -ne $progress; then
progress=$(( ($line * 100) / ${qty:-$last} ))
if test $(( $progress % ${generation_progress:-5} )) -eq 0; then
now=$(date +%s)
delta=$(( $now - $begin ))
printf "\r%d%%, ETA %s" $progress $(date +%H:%M:%S -d "$(( $delta * (${qty:-$last} - $line) / $line )) seconds")
fi
fi
let line++
done
cat >> "$content" << EOcontent
EOcontent
( cd "/dev/shm/$result" && zip -r ../"$result" * > /dev/null 2>&1 && cd .. && rm -fr "$result" )
mv -f "/dev/shm/$result.zip" "${destination_path:+$destination_path/}$result.ods"
echo -e "\r\033[KTerminé : ${destination_path:+$destination_path/}$result.ods"
}
function save_database () {
test -n "$result" -a -d "/dev/shm/$result" && rm -fr "/dev/shm/$result"
test -n "$database" -a -n "$in_ram_database" || return
if test -r "$database" && sqldiff=$(sqldiff $in_ram_database $database) && test -z "$sqldiff"; then
echo "pas de modification"
elif test -w "$database"; then
rm -f "$database"
sqlite_request '.dump' | sqlite3 "$database"
echo "base de données $database mise à jour"
elif test ! -e "$database" -a -w ${database%/*}; then
sqlite_request '.dump' | sqlite3 "$database"
echo "base de données $database créée"
else
echo "je ne peux rien faire avec $database !"
fi
rm -f "$in_ram_database" "$tempfile"
}
function dernier_scrutin_public () {
wget -qO- "http://www2.assemblee-nationale.fr/scrutins/liste/(legislature)/$mandature/(type)/TOUS/(idDossier)/TOUS" \
| sed -rn 's/^.*| ([0-9]+)[^0-9].*$/\1/p' \
| head -1
}
trap save_database EXIT
test -z "$database" && database="${0}.db"
declare -A acronymes
if test -n "$config_file"; then
source "$config_file"
else
config_file="${0}.conf"
if test -r "$config_file"; then
source "$config_file"
fi
fi
true_flag=$(mktemp --dry-run XXXXX)
while [[ $# -gt 0 ]]; do
case "$1" in
"--no-db-update")
#|ne met pas à jour la base de données
if test ${db_update_only:-OK} = $true_flag; then
echo "option incompatible avec --db-update-only"
exit 1
fi
no_db_update=$true_flag;;
"--db-update-only")
#|ne génère pas de fichier de résultat
if test ${no_db_update:-OK} = $true_flag; then
echo "option incompatible avec --no-db-update"
exit 1
fi
db_update_only=$true_flag;;
"--cible"|"-c")
#|ajoute les scrutins de ce groupe, de ce ou cette députée, les colonnes seront dans l'ordre
_groupe[${#_groupe[@]}]="${2//\'/\'\'}"
shift;;
"--couleurs")
#:|colore les colonnes en dégradé entre les deux couleurs comprises
if grep -iq '[^0-9A-F:]' <<< ${2:-ERROR}; then
echo "$1 ${2:-ERROR}: format attendu :"
exit 1
elif egrep -iq '[0-9A-F]{6}:[0-9A-F]{6}' <<< ${2:-ERROR}; then
from_color=${2%:*}
to_color=${2#*:}
else
echo erreur $2: couleur RGB au format hexadécimal demandé
fi
shift;;
"--mandature")
mandature="$2"
;;
"--scrutin")
#[:]|commence la génération du résultat pour le scrutin , ou entre les deux nombres donnés
if grep -q '[^0-9:]' <<< ${2:-ERROR}; then
echo "$1 ${2:-ERROR}: format attendu [:]"
exit 1
elif egrep -q '[1-9][0-9]*(:[1-9][0-9]*)?' <<< ${2:-ERROR}; then
first=${2%:*}
last=${2#*:}
if test $first -gt $last; then
last+=:$first
first=${last%:*}
last=${last#*:}
fi
else
echo "$1 ${2:-ERROR}: ne doit pas commencer par 0"
exit 1
fi
shift;;
"--premier-scrutin")
#|commence la génération du résultat à partir du scrutin
first="$2"
shift;;
"--dernier-scrutin")
#|termine la génération du résultat au scrutin
last="$2"
shift;;
"--période")
#|génère un résultat pour les scrutins allant de jj/mm/aaaa à JJ/MM/AAAA
periode=$true_flag
periode_value="$2"
shift;;
"--liste-députés-du-groupe")
#|liste les député·e·s du groupe
liste_deputes=$true_flag
liste_deputes_value="${2}"
shift;;
"--liste-députés")
#|liste tou-te-s les député-e-s de la mandature
liste_deputes=$true_flag;;
"--liste-dossiers")
#|affiche une liste numérotée des dossiers et sort
liste_dossiers=$true_flag;;
"--dossier")
#|génère un résultat pour le dossier numéroté
dossier=$true_flag
dossier_value="$2"
shift;;
"--dossiers")
#|sélection interactive du dossier
dossier=$true_flag;;
"--conf")
#|indique le chemin vers le fichier de configuration. Par défaut "{_}.conf"
test -r "$2" || {
echo "config introuvable $2" >&2
options_error=$true_flag
}
config_file="$2"
shift;;
"--dest")
#|génère le fichier dans le répertoire spécifié. Par défaut $PWD
if test -n "$2" && test -d "$2" -a -r "$2"; then
destination_path="$2"
shift
else
echo "$2 n'est pas un répertoire ou n'est pas autorisé en écriture" >&2
exit 1
fi;;
"--database")
#|indique le chemin vers la base de données SQLite3 contenant les informations. Par défaut "{_}.db"
if test -r "$2" && file -b "$2" | grep -q '^SQLite 3.x database'; then
echo "erreur sur option database: fichier '$2' introuvable ou pas une base SQLite 3" >&2
options_error=$true_flag
fi
database="$2"
shift;;
"--progrès-génération")
#|affiche de la progression de la génération du fichier tous les %. Par défaut 5
generation_progress="$2"
shift;;
"--progrès-update")
#|affiche de la progression de la mise à jour de la base de données tous les %. Par défaut 1
update_progress="$2"
shift;;
"--help")
#|affiche cette aide et quitte
echo "$0 [options]"
echo "génère un classeur ODS pour comparer les scrutins publics de la 15ème mandature à l'Assemblée Nationale"
echo
sed -rn '/^ *"--.+"\)/N; s/^ *"(--.+)"\)\n#(.+)$/\1|\2/p' "$0" \
| awk -F'|' -v marge=' ' -v prog="$0" '{
printf("%s %s\n" marge "%s\n\n", $1, $2, gensub("\\. ", "\\\n" marge, "g", gensub("\\{_\\}", prog, "g", $3)))
}'
exit;;
esac
shift
done
test "$options_error" = $true_flag && exit 1
in_ram_database=$(mktemp --dry-run /dev/shm/XXXXXXXXXXXX)
if test -r "$database"; then
cp "$database" "$in_ram_database"
else
create_database
fi
if test "$periode" = $true_flag; then
function get_date () {
sqlite_request "select distinct(date) from scrutins order by num asc" | awk -v d="$1" -v comp=$2 '
function norm_date (date) {
split(date, a, "/")
return sprintf("%s%s%s",
length(a[3]) == 4 ? a[3] : length(a[3]) == 2 ? "20" a[3] : strftime("%Y", systime()),
length(a[2]) == 2 ? a[2] : "0" a[2],
length(a[1]) == 2 ? a[1] : "0" a[1])
}
function output (date) {
print date
found = 1
exit
}
BEGIN { d = norm_date(d) }
{
s = norm_date($1)
if (NR == 1 && s > d && comp == "first") output($1)
if (s >= d && comp == "first") output($1)
if (s == d && comp == "last") output($1)
if (s > d && comp == "last") output(previous)
previous = $1
}
END {
if (!found) print previous
}'
}
first=$(sqlite_request "select min(num) from scrutins where date = '$(get_date ${periode_value%:*} first)'")
last=$(sqlite_request "select max(num) from scrutins where date = '$(get_date ${periode_value#*:} last)'")
elif test "$dossier" != $true_flag; then
test -z "$last" && last=$(dernier_scrutin_public)
test -z "$first" && first=1
fi
if test "$liste_dossiers" = $true_flag; then
sqlite_request "select printf('• %s (%s)', titre, url) from dossiers"
exit
fi
if test "$db_update_only" = $true_flag; then
unset first last
last=$(dernier_scrutin_public)
update_database
exit
fi
if test "$liste_deputes" = $true_flag; then
if test -n "$liste_deputes_value"; then
sqlite_request "select printf('%s - %s%s',
députés.nom,
groupes.nom,
iif(groupes.nom_court is not null, ' [' || groupes.nom_court || ']', ''))
from députés
inner join groupes on groupes.id = députés.groupe
where
groupes.nom like '%$liste_deputes_value%'
or
groupes.nom_court = '$liste_deputes_value'"
else
sqlite_request "select printf('%s - %s%s',
députés.nom,
groupes.nom,
iif(groupes.nom_court is not null, ' [' || groupes.nom_court || ']', ''))
from députés
inner join groupes on groupes.id = députés.groupe
order by groupes.nom asc"
fi
exit
fi
for (( g = 0; g < ${#_groupe[@]}; g++ )); do
# on vérifie si c'est un ou une député
depute_count=$(sqlite_request "select count(distinct nom) from députés where nom like '%${_groupe[$g]}%'")
groupe_count=$(sqlite_request "select count(distinct nom) from groupes where nom like \"%${_groupe[$g]}%\" or nom_court is '${_groupe[$g]}'")
if test $depute_count -eq 1 -a $groupe_count -ne 1; then
groupe[$g]=$(sqlite_request "select distinct nom from députés where nom like '%${_groupe[$g]}%'")
id_groupe[$g]=députés:$(sqlite_request "select group_concat(id) from députés where nom is '${groupe[$g]//\'/\'\'}'")
elif test $groupe_count -eq 1 -a $depute_count -ne 1; then
groupe[$g]=$(sqlite_request "select distinct nom from groupes where nom like \"%${_groupe[$g]}%\" or nom_court is '${_groupe[$g]}'")
id_groupe[$g]=groupes:$(sqlite_request "select id from groupes where nom is '${groupe[$g]//\'/\'\'}'")
elif test $groupe_count -eq 1 -a $depute_count -eq 1; then
echo "dénomination ambigüe pour ${_groupe[$g]}"
sqlite_request "select printf('député·e: %s', distinct nom) from députés where nom like '%${_groupe[$g]}%'" | grep --color -i "${_groupe[$g]}"
sqlite_request "select printf('groupe : %s', distinct nom) from groupes where nom like \"%${_groupe[$g]}%\" or nom_court is '${_groupe[$g]}'" | grep --color -i "${_groupe[$g]}"
exit 1
elif test $depute_count -gt 1; then
echo plusieurs député·e·s correspondant à "${_groupe[$g]}" trouvé·e·s
sqlite_request "select distinct nom from députés where nom like '%${_groupe[$g]}%'" | grep --color -i "${_groupe[$g]}"
exit 1
elif test $groupe_count -gt 1; then
echo plusieurs groupes correspondant à "${_groupe[$g]}" trouvés
sqlite_request "select distinct nom from groupes where nom like \"%${_groupe[$g]}%\" or nom_court is '${_groupe[$g]}'" | grep --color -i "${_groupe[$g]}"
exit 1
else
echo aucun·e député·e ou groupe ne correspond au critère "${_groupe[$g]}"
exit 1
fi
done
update_database
write_comparaison
|