dossier<.a>.*$/,"\\1","1",$0)
}
END {
for (i in a)
print gensub("*","","1",i) "|" a[i]
}' >> "$url_database"
done
sort -u "$url_database" > "${url_database}.sorted"
mv -f "${url_database}.sorted" "$url_database"
IFS=$'\n'
begin=$(date +%s)
for scrutin in $(seq $((${first:-0}+1)) $last); do
wget -qO- "http://www2.assemblee-nationale.fr/scrutins/detail/(legislature)/$mandature/(num)/$scrutin" \
| sed -r '0,/< *div class="titre-bandeau-bleu +to-print" *>/d; /< *script +type="text\/javascript" *>/,$d' > $tempfile
unset title date adoption url id_url
title=$(sed -rn '/Analyse du scrutin n° '$scrutin'/n; s,^.*(.+).
,\1,p' $tempfile \
| sed "s/;//g; s/[ \t][ \t]+/ /g; s/^Scrutin public sur *//; s/^l[ae']s* *//")
eval $(sed -rn '
s,^.*Analyse du scrutin n° '$scrutin'
(.+)
,date="\1",p
s,^.*
(.+).
.*$,adoption="\1",p
s,^.*([0-9]+)<.*$,contre=\1,p' $tempfile)
test -n "$title" -a -n "$date" || {
echo "erreur dans la récupération du scrutin $scrutin"
exit 1
}
if test -n "$adoption"; then
grep -q 'e a a' <<< "$adoption" && adoption=1 || adoption=0
else
if test $pour -gt $contre; then
adoption=1
elif test $contre -gt $pour; then
adoption=0
fi
fi
url=$(awk -F'|' "/^$scrutin\|/{print \$2}" "$url_database")
id_url=$(sqlite_request "select id from url where url is '$url'")
if test -z "$id_url"; then
sqlite_request "insert into url (url) values ('$url')"
id_url=$(sqlite_request "select id from url where url is '$url'")
fi
sqlite_request "insert into scrutins values ($scrutin, '$date', \"${title//\"}\", $adoption, ${id_url:-0})"
unset adoption pour contre
for v in $(sqlite_request "select * from votes"); do
for g in $(sqlite_request "select id,nom from groupes"); do
for d in $(sed -rn '/
'${g#*|}' /,//p' $tempfile \
| sed -rn '/
'${v#*|}':/,/<.div>/p' \
| sed 's,,\n,g' \
| sed -rn '/
/d; s,^\s*
\s*,,; s, , ,g; s/^\s*//; s/M(me|\.) //; s/ \(.*$//; s,,,; s,,,p'); do
d_id=$(sqlite_request "select id from députés where nom is \"$d\" and groupe is ${g%|*}")
if test -z "$d_id"; then
sqlite_request "insert into députés (nom, groupe) values (\"$d\", ${g%|*})"
d_id=$(sqlite_request "select id from députés where nom is \"$d\" and groupe is ${g%|*}")
fi
sqlite_request "insert into dépouillement values ($d_id, $scrutin, ${g%|*}, ${v%|*})"
done
done
done
if test $(( ($scrutin - ${first:-0}) * 100 / ( $last - ${first:-0} ) )) -ne ${progress:-0}; then
progress=$(( ($scrutin - ${first:-0}) * 100 / ( $last - ${first:-0} ) ))
if test $(($progress % ${update_progress:-1})) -eq 0; then
now=$(date +%s)
delta=$(( $now - $begin ))
# scrutin = {first:-0}+1 à la première itération
printf "\r%d%%, ETA %s" $progress $(date +%H:%M:%S -d "$(($delta * ($last - $scrutin) / ($scrutin - ${first:-0}) )) seconds")
fi
fi
done
echo -e "\r\033[KTerminé: $(($scrutin - ${first:-0} - 1)) scrutins ajoutés"
rm -f "$url_database" "$tempfile"
fi
first=$first_
}
function write_comparaison () {
result="comparaisons ${groupe[0]} avec ${groupe_ref:-GDR}${dossier:+ - ${dossier}}"
content="/dev/shm/$result/content.xml"
id_cols="Scrutin Date Titre Adoption Panurgisme${nom:+ Participation Loyauté}"
typevotes=$(sqlite_request "select nom from votes")
nb_cols=$(( $(wc -w <<< $id_cols) + $(wc -w <<< $typevotes) * ${#groupe[@]} ))
last_col=$(awk -v n=$nb_cols 'BEGIN{printf("%c%c", n < 27 ? "" : int(n/26) + 64, (n % 26) + (n % 26 == 0 ? 26 : 0) + 64)}' | tr -d '\0')
function write_cell () {
case $1 in
url)
cell=''
cell+="$3";;
texte)
cell=''
cell+="$2"
;;
nombre)
cell=""
cell+="$2"
;;
*)
return 1;;
esac
cell+=''
echo $cell >> "$content"
}
echo "génération du fichier $result"
mkdir -p "/dev/shm/$result/META-INF"
cat > "/dev/shm/$result/META-INF/manifest.xml" << EOmetainf
EOmetainf
printf 'application/vnd.oasis.opendocument.spreadsheet' > "/dev/shm/$result/mimetype"
echo '' > "$content"
cat >> "$content" << EOcontent
EOcontent
IFS=$'\n'
for i in $(seq $nb_cols); do
cat >> "$content" << EOcontent
EOcontent
done
cat >> "$content" << EOcontent
EOcontent
for i in $(seq $(wc -w <<< $typevotes)); do
cat >> "$content" << EOcontent
EOcontent
for (( g = 1; g < ${#groupe[@]}; g++ )); do
cat >> "$content" << EOcontent
EOcontent
done
done
echo '' >> "$content"
IFS=$IFS_
for colonne in $id_cols; do
write_cell texte $colonne
done
for typevote in $typevotes; do
for g in "${groupe[@]}"; do
write_cell texte "$typevote - $g"
done
done
echo '' >> "$content"
progress=0
begin=$(date +%s)
line=1
test -z "$seq" && qty=$(( $last - $first ))
IFS=$'\n'
for scrutin in $(eval ${seq:-seq $first $last}); do
data=$(sqlite_request "select date,intitulé,adoption,url.url from scrutins inner join url on scrutins.url = url.id where num is $scrutin")
date=$(cut -d'|' -sf 1 <<< $data)
title=$(cut -d'|' -sf 2 <<< $data)
adoption=$(cut -d'|' -sf 3 <<< $data)
url=$(cut -d'|' -sf 4 <<< $data)
test $adoption -eq 1 && adoption='oui' || adoption='non'
echo '' >> "$content"
if test -n "$url"; then
write_cell url "$url" $scrutin
else
write_cell nombre $scrutin
fi
write_cell texte "$date"
write_cell texte "${title//\'/'}"
write_cell texte "$adoption"
for typevote in $(seq 0 $(( $(wc -w <<< $typevotes) - 1 ))); do
vote_cible[$typevote]=$(sqlite_request "select
count(député)
from
dépouillement
where
scrutin is $scrutin
and
vote is $typevote
and
groupe is ${groupe_id[0]} ${nom:+ and député is ${nom%|*}}")
done
if test \( ${vote_cible[0]} -gt ${vote_cible[1]} -a $adoption = oui \) \
-o \( ${vote_cible[1]} -gt ${vote_cible[0]} -a $adoption = non \); then
panurge=1
else
panurge=0
fi
write_cell nombre $panurge
if test -n "$nom"; then
for typevote in 0 1; do
votes_g0[$typevote]=$(sqlite_request "select
count(député)
from
dépouillement
where
scrutin is $scrutin
and
vote is $typevote
and
groupe is ${groupe_id[0]}")
done
participation=$(( vote_cible[0] + vote_cible[1] + vote_cible[2] + vote_cible[3] ))
if test $(( (${votes_g0[0]} - ${votes_g0[1]}) * (${vote_cible[0]} - ${vote_cible[1]}) )) -gt 0; then
loyaute=1
else
loyaute=0
fi
write_cell nombre $participation
write_cell nombre $loyaute
fi
for typevote in $(seq 0 $(( $(wc -w <<< $typevotes) - 1 ))); do
write_cell nombre ${vote_cible[$typevote]}
for (( g = 1; g < ${#groupe_id[@]}; g++ )); do
votes=$(sqlite_request "select
count(député)
from
dépouillement
where
scrutin is $scrutin
and
vote is $typevote
and
groupe is ${groupe_id[$g]}")
write_cell nombre $votes
done
done
echo '' >> "$content"
if test $(( ($line * 100) / ${qty:-$last} )) -ne $progress; then
progress=$(( ($line * 100) / ${qty:-$last} ))
if test $(( $progress % ${generation_progress:-5} )) -eq 0; then
now=$(date +%s)
delta=$(( $now - $begin ))
printf "\r%d%%, ETA %s" $progress $(date +%H:%M:%S -d "$(( $delta * (${qty:-$last} - $line) / $line )) seconds")
fi
fi
let line++
done
cat >> "$content" << EOcontent
EOcontent
( cd "/dev/shm/$result" && zip -r ../"$result" * > /dev/null 2>&1 && cd .. && rm -fr "$result" )
mv -f "/dev/shm/$result.zip" "$result.ods"
echo -e "\r\033[KTerminé : $result.ods"
}
function save_database () {
test -n "$result" -a -d "/dev/shm/$result" && rm -fr "/dev/shm/$result"
test -n "$database" -a -n "$in_ram_database" || return
test -r "$in_ram_database" || return
if test -r "$database" && md5sum $in_ram_database | sed "s,$in_ram_database,$database," | md5sum --status -c -; then
rm -f $in_ram_database
elif test -w "$database"; then
mv -f $in_ram_database "$database"
elif ! test -e "$database"; then
mv $in_ram_database "$database"
else
rm -f $in_ram_database
fi
}
function dernier_scrutin_public () {
wget -qO- "http://www2.assemblee-nationale.fr/scrutins/liste/(legislature)/$mandature/(type)/TOUS/(idDossier)/TOUS" \
| sed -rn 's,^.*(.+) | .*$,\1,p' \
| head -1
}
trap save_database EXIT
true_flag=$(mktemp --dry-run XXXXX)
OPTS=$( getopt -l no-db-update,\
db-update-only,\
cible:,\
ref:,\
député:,\
premier-scrutin:,\
dernier-scrutin:,\
période:,\
liste-dossiers,\
liste-députés,\
dossiers,\
dossier:,\
conf:,\
database:,\
progrès-génération:\
progrès-update:,\
help \
-- "$@" )
eval set --$OPTS
while [[ $# -gt 0 ]]; do
case "$1" in
"--no-db-update")
#|ne met pas à jour la base de données
no_db_update=$true_flag;;
"--db-update-only")
#|ne génère pas de fichier de résultat
db_update_only=$true_flag;;
"--cible")
#|génère un comparatif pour ce groupe. Par défaut LREM
groupe[0]="${2^^}"
shift;;
"--ref")
#|compare avec ce ou ces groupes. Si plusieurs groupes, ils sont séparés par une virgule, sans espace. Par défaut GDR
groupe_ref="${2^^}"
shift;;
"--député")
#|filtre la cible sur un-e député-e sur le groupe cible (par défaut LREM). est insensible à la casse. Tout ou partie du nom ou du prénom peut être donné, espace compris. Caractère % utilisé comme caractère joker. Si aucune correspondance n'est trouvée avec un-e député-é, sortie en erreur. Si plusieurs député-e-s correspondent la liste est affichée et sortie en erreur.
depute=$true_flag
nom="$2"
shift;;
"--mandature")
mandature="$2"
;;
"--premier-scrutin")
#|commence la génération du résultat à partir du scrutin
no_db_update=$true_flag
first="$2"
shift;;
"--dernier-scrutin")
#|termine la génération du résultat au scrutin
no_db_update=$true_flag
last="$2"
shift;;
"--période")
#|génère un résultat pour les scrutins allant de jj/mm/aaaa à JJ/MM/AAAA
periode=$true_flag
no_db_update=$true_flag
periode_value="$2"
shift;;
"--liste-députés-du-groupe")
#|liste les député-e-s du groupe sur la mandature
liste_deputes=$true_flag
liste_deputes_value="${2^^}"
shift;;
"--liste-députés")
#|liste tou-te-s les député-e-s de la mandature
liste_deputes=$true_flag;;
"--liste-dossiers")
#|affiche une liste numérotée des dossiers et sort
liste_dossiers=$true_flag;;
"--dossier")
#|génère un résultat pour le dossier numéroté
dossier=$true_flag
dossier_value="$2"
shift;;
"--dossiers")
#|sélection interactive du dossier
dossier=$true_flag;;
"--conf")
#|indique le chemin vers le fichier de configuration. Par défaut "{_}.conf"
test -r "$2" || {
echo "config introuvable $2" >&2
options_error=$true_flag
}
config_file="$2"
shift;;
"--database")
#|indique le chemin vers la base de données SQLite3 contenant les informations. Par défaut "{_}.db"
test -r "$2" && file -b "$2" | grep -q '^SQLite 3.x database' || {
echo "erreur sur option database: fichier '$2' introuvable ou pas une base SQLite 3" >&2
options_error=$true_flag
}
database="$2"
shift;;
"--progrès-génération")
#|affiche de la progression de la génération du fichier tous les %. Par défaut 5
generation_progress="$2"
shift;;
"--progrès-update")
#|affiche de la progression de la mise à jour de la base de données tous les %. Par défaut 1
update_progress="$2"
shift;;
"--help")
#|affiche cette aide et quitte
echo "$0 [options]"
echo "génère un classeur ODS pour comparer les scrutins publics de la 15ème mandature à l'Assemblée Nationale"
echo
sed -rn '/^ *"--.+"\)/N; s/^ *"(--.+)"\)\n#(.+)$/\1|\2/p' "$0" \
| awk -F'|' -v marge=' ' -v prog="$0" '{
printf("%s %s\n" marge "%s\n\n", $1, $2, gensub("\\. ", "\\\n" marge, "g", gensub("\\{_\\}", prog, "g", $3)))
}'
exit;;
esac
shift
done
test "$options_error" = $true_flag && exit 1
test -z "$database" && database="${0}.db"
declare -A groupes
if test -n "$config_file"; then
source "$config_file"
else
config_file="${0}.conf"
if test -r "$config_file"; then
source "$config_file"
fi
fi
IFS=',' groupe=(${groupe[0]:-LREM} ${groupe_ref:-GDR})
in_ram_database=$(mktemp --dry-run /dev/shm/XXXXXXXXXXXX)
if test -r "$database"; then
cp "$database" "$in_ram_database"
else
create_database
fi
for (( g = 0; g < ${#groupe[@]}; g++ )); do
groupe_id[$g]=$(sqlite_request "select id from groupes where nom_court is '${groupe[$g]}'")
if test -z "${groupe_id[$g]}"; then
echo "groupe ${groupe[$g]} inconnu" >&2
exit 1
fi
done
if test "$periode" = $true_flag; then
first=$(sqlite_request "select num from scrutins where date like '% du ${periode_value%:*}' order by num asc" | head -1)
last=$(sqlite_request "select num from scrutins where date like '% du ${periode_value#*:}' order by num asc" | tail -1)
test -z "$first" && echo "date de début inconnue: ${periode_value#*:}" >&2 && rm -f $in_ram_database && exit 1
test -z "$last" && echo "date de fin inconnue: ${periode_value%:*}" >&2 && rm -f $in_ram_database && exit 1
elif test "$dossier" != $true_flag; then
test -z "$last" && last=$(dernier_scrutin_public)
test -z "$first" && first=1
fi
if test "$liste_dossiers" = $true_flag; then
sqlite_request "select printf('%s - %s', id, url) from url" | sed 's,https*://.*/dossiers/,,; s/_/ /g; s/.asp$//'
exit
fi
if test "$db_update_only" = $true_flag; then
unset first last
last=$(dernier_scrutin_public)
update_database
exit
fi
if test "$liste_deputes" = $true_flag; then
if test -n "$liste_deputes_value"; then
sqlite_request "select printf('%s - %s', députés.nom, groupes.nom_court) from députés inner join groupes on groupes.id = députés.groupe where groupes.nom_court is '$liste_deputes_value'"
else
sqlite_request "select printf('%s - %s', députés.nom, groupes.nom_court) from députés inner join groupes on groupes.id = députés.groupe order by groupes.nom_court asc"
fi
exit
fi
if test "$depute" = $true_flag; then
if test -n "$nom"; then
match=$(sqlite_request "select count(députés.id) from députés inner join groupes on groupes.id = députés.groupe where députés.nom like '%$nom%' and groupes.nom_court is '$groupe' collate nocase")
if test $match -ne 1; then
if test $match -eq 0; then
echo "pas de député correspondant dans le groupe $groupe"
else
echo "plusieurs députés correspondent:"
sqlite_request "select députés.nom from députés inner join groupes on groupes.id = députés.groupe where députés.nom like '%$nom%' and groupes.nom_court is '$groupe' collate nocase"
fi
exit 1
else
nom=$(sqlite_request "select députés.id,députés.nom from députés inner join groupes on groupes.id = députés.groupe where députés.nom like '%$nom%' and groupes.nom_court is '$groupe' collate nocase")
groupe[0]="${nom#*|} (${groupe[0]})"
fi
fi
fi
if test "$dossier" = $true_flag; then
last=$(dernier_scrutin_public)
if test -z "$dossier_value"; then
IFS=$'\n'
select dossier in $(sqlite_request "select url from url" | sed 's,^.*/dossiers/,,; s/_/ /g; s/.asp$//'); do
if test -n "$dossier"; then
seq="sqlite_request \"select num from scrutins inner join url on url.id = scrutins.url where url.url like '%/dossiers/${dossier// /_}%' order by num asc\""
qty=$(sqlite_request "select count(num) from scrutins inner join url on url.id = scrutins.url where url.url like '%/dossiers/${dossier// /_}%' order by num asc")
break
fi
done
IFS=$IFS_
else
seq="sqlite_request \"select num from scrutins inner join url on url.id = scrutins.url where url.id is $dossier_value order by num asc\""
qty=$(sqlite_request "select count(num) from scrutins inner join url on url.id = scrutins.url where url.id is $dossier_value order by num asc")
dossier=$(sqlite_request "select url from url where id is $dossier_value" | sed 's,^.*/dossiers/,,; s/_/ /g; s/.asp$//')
fi
fi
update_database
write_comparaison