1 contributor
#!/bin/bash
set -e
# on n'autorise qu'une seule exécution à la fois
process_token=$(mktemp --dry-run /dev/shm/XXXXXXXXXXXXXXXX)
token_file="$process_token.${0##*/}"
for tool in sqlite3 getopt mktemp w3m jq; do
which $tool > /dev/null 2>&1 || {
echo missing tool $tool
exit 1
}
done
IFS_=$IFS
function sqlite_request () {
sqlite3 ${2:+-cmd} ${2:+".mode $2"} "$in_ram_database" <<< "$1"
}
function create_database () {
sqlite_request "create table if not exists dossiers (id integer primary key, titre text, url text)"
sqlite_request "create table if not exists votes (id integer primary key, nom text)"
sqlite_request "create table if not exists députés (id integer primary key, nom text, groupe integer, date text)"
sqlite_request "create table if not exists groupes (id integer primary key, nom text unique, nom_court text)"
sqlite_request "create table if not exists scrutins (num integer primary key, séance text, date text not null, intitulé text non null, adoption boolean, dossier integer, mise_au_point text)"
sqlite_request "create table if not exists dépouillements (scrutin integer not null, député integer not null, vote integer not null)"
sqlite_request "create unique index if not exists 'index_députés' on députés (nom, groupe)"
sqlite_request "create unique index if not exists 'index_dossiers' on dossiers (titre, url)"
sqlite_request "create unique index if not exists 'index_dépouillements' on dépouillements (député, scrutin)"
for v in Pour Contre Abstention Non-votant; do
sqlite_request "insert or ignore into votes (nom) values ('$v')"
done
}
function update_database () {
test "$no_db_update" = $true_flag && return
tempfile="/dev/shm/scrutin.$$"
progress=0
for r in "${!acronymes[@]}"; do
sqlite_request "update groupes set nom_court = \"${acronymes[$r]}\" where nom = \"$r\""
done
sqlite_request "create table if not exists dossier_par_scrutin (scrutin integer, url text)"
echo "récupération des dossiers"
wget -qO- "https://www.assemblee-nationale.fr/dyn/$mandature/dossiers" \
| sed -rn 's/<p class="m-0"><a title="Accéder au dossier législatif" href="([^"]+)">([^<]+)<.+$/\1 \2/p' \
| sed -r "s/^[[:space:]]*//; s/'/'/g" \
| awk -v dq='"' '{
printf("insert or ignore into dossiers (titre, url) values (%s, %s);\n", dq gensub($1 " ", "", "1", $0) dq, dq "https://www.assemblee-nationale.fr" $1 dq)
}' > $tempfile
sqlite3 "$in_ram_database" < $tempfile
first_=$first
first=$(sqlite_request "select max(num) from scrutins")
if test ${first:-0} -lt $last; then
echo "récupération des scrutins n°$((${first:-0}+1)) à n°$last dans "$database" (à conserver autant que possible)" >&2
test $((last % 100)) -ne 0 && last_offset=0
IFS=$' \t\n'
for offset in $(seq $((last - 100)) -100 ${first:-0} ) $last_offset; do
wget -qO- "http://www2.assemblee-nationale.fr/scrutins/liste/(offset)/$offset/(legislature)/$mandature/(type)/TOUS/(idDossier)/TOUS" \
| awk -v dq='"' '
BEGIN {
}
/<td class="denom">/ {
scrutin = gensub(/^.+denom.>([[:digit:]]+)\\*?<.td./,"\\1","1",$0)
}
/<td class="desc">/ {
if (match($0, ">dossier<") > 0)
dossier[scrutin] = gensub(/^.+.<a href="([^"]+)">dossier<.a>.*$/,"\\1","1",$0)
}
END {
for (i in dossier) {
printf("insert into dossier_par_scrutin (scrutin, url) values (%i, %s);\n", i, dq dossier[i] dq)
}
}' > $tempfile
sqlite3 "$in_ram_database" < $tempfile
done
# IFS=$'\n'
begin=$(date +%s)
for scrutin in $(seq $((${first:-0}+1)) $last); do
w3m -cols 512 -dump "http://www2.assemblee-nationale.fr/scrutins/detail/(legislature)/$mandature/(num)/$scrutin" \
| sed -n '/^Analyse du scrutin n° /,/^Votes des groupes/{/^Navigation/,/^ • Non inscrits/d;/^[[:space:]]*$/d;p}' \
| awk -v sq="'" -v dq='"' '
BEGIN { adoption = -1; map = 0 }
/^Analyse du scrutin/ { scrutin = $NF }
/séance du [0-3][0-9]\/[01][0-9]\/(19|20)[0-9]+/ { date = $NF; seance = $1 }
/^Scrutin public sur / { titre = gensub("^Scrutin public sur l[ae" sq "]s? ?", "", "1") }
/^L.Assemblée .+ adopté/ { adoption = NF == 3 }
/^Nombre de votants :/ { votants = $NF }
/^Nombre de suffrages exprimés :/ { exprimes = $NF }
/^Majorité absolue :/ { majo_absolue = $NF }
/^Pour l.adoption :/ { pour = $NF }
/^Contre :/ { contre = $NF }
/^Groupe / { groupe = gensub("^Groupe (.+) \\([1-9].+$", "\\1", "1")
groupe = gensub("^(la|les|le|l" sq "|du|des|de|de la|d" sq ") ", "", "1", groupe)
}
/^Non inscrits/ { groupe = "Non inscrits" }
/^(Pour|Abstention|Contre):/ { position = gensub(":", "", "1", $1) }
/^Non-votants?:/ {
position = gensub("s?:", "", "1", $1)
nvl = ""
while ($1 != "Groupe" || $0 != "Contenus annexes") {
getline
if ($1 == "Groupe" || $0 == "Contenus annexes")
break
nvl = nvl $0
}
f = split(nvl, nv, "(, | et )")
for (i=1; i<=f; i++) {
votes[groupe][position][gensub("(^ +|M\\. |Mme |Mlle | \\(.+)", "", "g", nv[i])]++
}
groupe = gensub("^Groupe (.+) \\([1-9].+$", "\\1", "1")
}
/^ • / { votes[groupe][position][gensub("^[^A-Z]*", "", "1")]++ }
/^Mises au point/,/^Votes des groupes/ { if ($1 != "(Sous") mises_au_point[map++] = $0 }
END {
if (adoption < 0)
adoption = pour >= majo_absolue
for (i=1; i<map-1; i++)
mise_au_point = sprintf("%s[%s]", mise_au_point, mises_au_point[i])
printf("insert into scrutins (num, séance, date, intitulé, adoption, mise_au_point) values (%i, %s, %s, %s, %i, %s);\n",
scrutin,
sq seance sq,
sq date sq,
dq gensub(dq, dq dq, "g", titre) dq,
adoption,
dq gensub(dq, dq dq, "g", mise_au_point) dq,
scrutin)
printf("update scrutins set dossier = ( select id from dossiers inner join dossier_par_scrutin where dossiers.url = dossier_par_scrutin.url and dossier_par_scrutin.scrutin = %i) where num = %i;\n",
scrutin,
scrutin)
for (groupe in votes) {
printf("insert or ignore into groupes (nom) values (%s);\n", dq groupe dq)
for (position in votes[groupe]) {
for (nom in votes[groupe][position]) {
if (nom !~ " \\(.+\\) *$")
printf("insert or ignore into députés (nom, groupe, date) select %s, id, %s from groupes where nom = %s;\n",
dq nom dq,
dq date dq,
dq groupe dq)
printf("insert or ignore into dépouillements (scrutin, député, vote) select %i, députés.id, votes.id from députés inner join votes where députés.nom = %s and votes.nom = %s;\n",
scrutin,
dq nom dq,
dq position dq)
}
}
}
}
' > $tempfile
sqlite3 "$in_ram_database" < $tempfile
if test $(( ($scrutin - ${first:-0}) * 100 / ( $last - ${first:-0} ) )) -ne ${progress:-0}; then
progress=$(( ($scrutin - ${first:-0}) * 100 / ( $last - ${first:-0} ) ))
if test $(($progress % ${update_progress:-1})) -eq 0; then
now=$(date +%s)
delta=$(( $now - $begin ))
# scrutin = {first:-0}+1 à la première itération
printf "\r%d%%, ETA %s" $progress $(date +%H:%M:%S -d "$(($delta * ($last - $scrutin) / ($scrutin - ${first:-0}) )) seconds")
fi
fi
done
sqlite_request 'drop table dossier_par_scrutin'
echo -e "\r\033[KTerminé: $(($scrutin - ${first:-0} - 1)) scrutins ajoutés"
rm -f "$tempfile"
fi
first=$first_
}
function write_comparaison () {
result="scrutins ($(sum <<< "${groupe[@]}" | cut -b1-5))${dossier:+ - ${dossier}}"
if test "$envoi_par_mail" = $true_flag; then
result="scrutins"
fi
content="/dev/shm/$result/content.xml"
id_cols=(Scrutin Date Séance Titre Adoption Dossier)
declare -A style=(["Pour"]=Good ["Contre"]=Bad ["Abstention"]=Neutral ["oui"]=Good ["non"]=Bad)
eval $(sqlite_request 'select printf("typevotes[%i]=%s;", id, nom) from votes')
nb_cols=$(( ${#id_cols[@]} + ${#groupe[@]} ))
colors=($(awk -v n=${#groupe[@]} -v from=${from_color:-2A0636} -v to=${to_color:-D09B8A} '
function rgbL (p) {
r = rgb_from[1] + p * (rgb_to[1] - rgb_from[1])
g = rgb_from[2] + p * (rgb_to[2] - rgb_from[2])
b = rgb_from[3] + p * (rgb_to[3] - rgb_from[3])
L = r * 0.299 + g * 0.587 + b * 0.114
printf("%02x%02x%02x:%s\n", int(r), int(g), int(b), L > 185 ? "000000" : "ffffff")
}
BEGIN {
for (i = split(gensub("(..)(..)(..)", "\\1,\\2,\\3", "1", from), rgb_from, ","); i > 0; i--)
rgb_from[i] = strtonum(sprintf("%d", strtonum("0x" rgb_from[i])))
for (i = split(gensub("(..)(..)(..)", "\\1,\\2,\\3", "1", to), rgb_to, ","); i > 0; i--)
rgb_to[i] = strtonum(sprintf("%d", strtonum("0x" rgb_to[i])))
print "pour_bash_array_qui_commence_a_index_0"
rgbL(0)
for (i = 1; i < n-1; i++) {
rgbL(i/n)
}
if (n > 1) rgbL(1)
}
'))
function get_colname () {
awk -v n=$1 '
BEGIN{
printf("%c%c", n < 27 ? "" : int(n/26) + 64, (n % 26) + (n % 26 == 0 ? 26 : 0) + 64)
}' | tr -d '\0'
}
function write_cell () {
cell='<table:table-cell office:value-type='
case $1 in
url)
cell+='"string" calcext:value-type="string">'
cell+="<text:p><text:a xlink:href=$2 xlink:type=\"simple\">$3</text:a></text:p>"
;;
texte)
cell+='"string" calcext:value-type="string"'${style[${2:- }]:+ table:style-name=\"${style[$2]}\"}'>'
cell+="<text:p>${2:- }</text:p>"
;;
nombre)
cell+='"float" office:value="'$2'" calcext:value-type="float">'
cell+="<text:p>$2</text:p>"
;;
formule)
cell+='"string" table:formula="of:='"$2"'" calcext:value-type="string"'${3:+ table:style-name=\"${3}\"}'>'
;;
*)
return 1;;
esac
cell+='</table:table-cell>'
echo $cell >> "$content"
}
if test -z "$envoi_par_mail"; then
echo "génération du fichier $result"
fi
mkdir -p "/dev/shm/$result/META-INF"
cat > "/dev/shm/$result/META-INF/manifest.xml" << EOmetainf
<?xml version="1.0" encoding="UTF-8"?>
<manifest:manifest xmlns:manifest="urn:oasis:names:tc:opendocument:xmlns:manifest:1.0" manifest:version="1.2">
<manifest:file-entry manifest:full-path="/" manifest:version="1.2" manifest:media-type="application/vnd.oasis.opendocument.spreadsheet"/>
<manifest:file-entry manifest:full-path="content.xml" manifest:media-type="text/xml"/>
<manifest:file-entry manifest:full-path="settings.xml" manifest:media-type="text/xml"/>
</manifest:manifest>
EOmetainf
cat > "/dev/shm/$result/settings.xml" << EOsettings
<?xml version="1.0" encoding="UTF-8"?>
<office:document-settings xmlns:config="urn:oasis:names:tc:opendocument:xmlns:config:1.0" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:ooo="http://openoffice.org/2004/office" xmlns:office="urn:oasis:names:tc:opendocument:xmlns:office:1.0" office:version="1.3">
<office:settings>
<config:config-item-set config:name="ooo:view-settings">
<config:config-item-map-indexed config:name="Views">
<config:config-item-map-entry>
<config:config-item config:name="ViewId" config:type="string">view1</config:config-item>
<config:config-item-map-named config:name="Tables">
<config:config-item-map-entry config:name="$result">
<config:config-item config:name="HorizontalSplitMode" config:type="short">2</config:config-item>
<config:config-item config:name="VerticalSplitMode" config:type="short">2</config:config-item>
<config:config-item config:name="HorizontalSplitPosition" config:type="int">${#id_cols[@]}</config:config-item>
<config:config-item config:name="VerticalSplitPosition" config:type="int">1</config:config-item>
<config:config-item config:name="ActiveSplitRange" config:type="short">1</config:config-item>
<config:config-item config:name="PositionLeft" config:type="int">0</config:config-item>
<config:config-item config:name="PositionRight" config:type="int">${#id_cols[@]}</config:config-item>
<config:config-item config:name="PositionTop" config:type="int">0</config:config-item>
<config:config-item config:name="PositionBottom" config:type="int">1</config:config-item>
</config:config-item-map-entry>
</config:config-item-map-named>
</config:config-item-map-entry>
</config:config-item-map-indexed>
</config:config-item-set>
</office:settings>
</office:document-settings>
EOsettings
printf 'application/vnd.oasis.opendocument.spreadsheet' > "/dev/shm/$result/mimetype"
echo '<?xml version="1.0" encoding="UTF-8"?>' > "$content"
cat >> "$content" << EOcontent
<office:document-content xmlns:office="urn:oasis:names:tc:opendocument:xmlns:office:1.0" xmlns:style="urn:oasis:names:tc:opendocument:xmlns:style:1.0" xmlns:text="urn:oasis:names:tc:opendocument:xmlns:text:1.0" xmlns:table="urn:oasis:names:tc:opendocument:xmlns:table:1.0" xmlns:draw="urn:oasis:names:tc:opendocument:xmlns:drawing:1.0" xmlns:fo="urn:oasis:names:tc:opendocument:xmlns:xsl-fo-compatible:1.0" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:meta="urn:oasis:names:tc:opendocument:xmlns:meta:1.0" xmlns:number="urn:oasis:names:tc:opendocument:xmlns:datastyle:1.0" xmlns:presentation="urn:oasis:names:tc:opendocument:xmlns:presentation:1.0" xmlns:svg="urn:oasis:names:tc:opendocument:xmlns:svg-compatible:1.0" xmlns:chart="urn:oasis:names:tc:opendocument:xmlns:chart:1.0" xmlns:dr3d="urn:oasis:names:tc:opendocument:xmlns:dr3d:1.0" xmlns:math="http://www.w3.org/1998/Math/MathML" xmlns:form="urn:oasis:names:tc:opendocument:xmlns:form:1.0" xmlns:script="urn:oasis:names:tc:opendocument:xmlns:script:1.0" xmlns:ooo="http://openoffice.org/2004/office" xmlns:ooow="http://openoffice.org/2004/writer" xmlns:oooc="http://openoffice.org/2004/calc" xmlns:dom="http://www.w3.org/2001/xml-events" xmlns:xforms="http://www.w3.org/2002/xforms" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:rpt="http://openoffice.org/2005/report" xmlns:of="urn:oasis:names:tc:opendocument:xmlns:of:1.2" xmlns:xhtml="http://www.w3.org/1999/xhtml" xmlns:grddl="http://www.w3.org/2003/g/data-view#" xmlns:tableooo="http://openoffice.org/2009/table" xmlns:drawooo="http://openoffice.org/2010/draw" xmlns:calcext="urn:org:documentfoundation:names:experimental:calc:xmlns:calcext:1.0" xmlns:loext="urn:org:documentfoundation:names:experimental:office:xmlns:loext:1.0" xmlns:field="urn:openoffice:names:experimental:ooo-ms-interop:xmlns:field:1.0" xmlns:formx="urn:openoffice:names:experimental:ooxml-odf-interop:xmlns:form:1.0" xmlns:css3t="http://www.w3.org/TR/css3-text/" office:version="1.2">
<office:scripts/>
<office:font-face-decls>
<style:font-face style:name="Liberation Sans" svg:font-family="'Liberation Sans'" style:font-family-generic="swiss" style:font-pitch="variable"/>
<style:font-face style:name="DejaVu Sans" svg:font-family="'DejaVu Sans'" style:font-family-generic="system" style:font-pitch="variable"/>
<style:font-face style:name="FreeSans" svg:font-family="FreeSans" style:font-family-generic="system" style:font-pitch="variable"/>
</office:font-face-decls>
<office:automatic-styles>
EOcontent
IFS=$'\n'
for i in $(seq $nb_cols); do
cat >> "$content" << EOcontent
<style:style style:name="co$i" style:family="table-column">
<style:table-column-properties fo:break-before="auto" style:column-width="30.00mm"/>
</style:style>
EOcontent
done
cat >> "$content" << EOcontent
<style:style style:name="ro1" style:family="table-row">
<style:table-row-properties style:row-height="4.52mm" fo:break-before="auto" style:use-optimal-row-height="true"/>
</style:style>
<style:style style:name="ta1" style:family="table" style:master-page-name="Default">
<style:table-properties table:display="true" style:writing-mode="lr-tb"/>
</style:style>
<style:style style:name="T1" style:family="text">
<style:text-properties fo:font-weight="bold" style:font-weight-asian="bold" style:font-weight-complex="bold" fo:color="#5eb91e"/>
</style:style>
<style:style style:name="T2" style:family="text">
<style:text-properties fo:font-weight="bold" style:font-weight-asian="bold" style:font-weight-complex="bold" fo:color="#c9211e"/>
</style:style>
<style:style style:name="T3" style:family="text">
<style:text-properties fo:font-weight="bold" style:font-weight-asian="bold" style:font-weight-complex="bold" fo:color="#e8a202"/>
</style:style>
EOcontent
for i in $(seq ${#groupe[@]}); do
cat >> "$content" << EOcontent
<style:style style:name="groupe$i" style:family="table-cell" style:parent-style-name="Default">
<style:table-cell-properties fo:wrap-option="wrap" style:vertical-align="middle" fo:background-color="#${colors[$i]%:*}"/>
<style:text-properties fo:hyphenate="false" fo:color="#${colors[$i]}"/>
</style:style>
EOcontent
done
cat >> "$content" << EOcontent
</office:automatic-styles>
<office:body>
<office:spreadsheet>
<table:calculation-settings table:automatic-find-labels="false"/>
<table:table table:name="$result" table:style-name="ta1">
<office:forms form:automatic-focus="false" form:apply-design-mode="false"/>
<table:table-column table:style-name="co1" table:number-columns-repeated="${#id_cols[@]}" table:default-cell-style-name="Default"/>
EOcontent
for g in $(seq ${#groupe[@]}); do
cat >> "$content" << EOcontent
<table:table-column table:style-name="co1" table:default-cell-style-name="ce$g"/>
EOcontent
done
echo '<table:table-row table:style-name="ro1">' >> "$content"
IFS=$IFS_
for colonne in ${id_cols[@]}; do
write_cell texte $colonne
done
for (( g=0; g<${#groupe[@]}; g++ )); do
colname=$(get_colname $(( ${#id_cols[@]} + $g + 1)) )
write_cell formule "COM.MICROSOFT.CONCAT("${groupe[$g]} ("; $(($last-$first+1))-COUNTIF([.${colname}2:.${colname}$(($last-$first+2))];" "); ")")" groupe$(($g+1))
done
echo '</table:table-row>' >> "$content"
progress=0
begin=$(date +%s)
line=1
test -z "$seq" && qty=$(( $last - $first ))
IFS=$'\n'
scrutin_base_url="https://www2.assemblee-nationale.fr/scrutins/detail/(legislature)/$mandature/(num)/"
for scrutin in $(eval ${seq:-seq $first $last}); do
data=$(sqlite_request "select date,séance,intitulé,adoption,dossiers.url,dossiers.titre from scrutins left join dossiers on scrutins.dossier = dossiers.id where num is $scrutin" json)
date=$(jq -r '.[].date' <<< $data)
seance=$(jq -r '.[]."séance"' <<< $data)
title=$(jq -r '.[]."intitulé" | @html' <<< $data)
adoption=$(jq '.[].adoption' <<< $data)
dossier_url=$(jq '.[].url' <<< $data)
dossier_texte=$(jq -r '.[].titre | @html' <<< $data)
test $adoption -eq 1 && adoption='oui' || adoption='non'
echo '<table:table-row table:style-name="ro1">' >> "$content"
write_cell url "\"$scrutin_base_url$scrutin\"" $scrutin
write_cell texte "$date"
write_cell texte "$seance"
write_cell texte "$title"
write_cell texte "$adoption"
write_cell url "${dossier_url/#null/\"\"}" "${dossier_texte/#null}"
unset votes
for (( g = 0; g < ${#groupe[@]}; g++ )); do
case ${id_groupe[$g]%:*} in
groupes)
unset _vote
eval $(sqlite_request "select '_vote[' || vote || ']=' || count(vote) from dépouillements
where scrutin = $scrutin and député in (
select id from députés
where groupe in (${id_groupe[$g]#*:})
)
group by vote")
if test ${#_vote[@]} -gt 0; then
unset _votes
for i in {1..3}; do
_votes+="<text:span text:style-name=\"T$i\">${_vote[$i]:-0}</text:span> / "
done
_votes+="${_vote[4]:-0}"
votes[${#votes[@]}]=$_votes
else
votes[${#votes[@]}]=" "
fi
;;
députés)
votes[${#votes[@]}]=$(sqlite_request "select nom from votes
where id in (
select vote from dépouillements
where scrutin = $scrutin and député in (${id_groupe[$g]#*:})
)")
;;
esac
done
for ((i = 0; i < ${#votes[@]}; i ++)); do
write_cell texte ${votes[$i]}
done
echo '</table:table-row>' >> "$content"
if test $(( ($line * 100) / ${qty:-$last} )) -ne $progress; then
progress=$(( ($line * 100) / ${qty:-$last} ))
if test $(( $progress % ${generation_progress:-5} )) -eq 0; then
now=$(date +%s)
delta=$(( $now - $begin ))
printf "\r%d%%, ETA %s" $progress $(date +%H:%M:%S -d "$(( $delta * (${qty:-$last} - $line) / $line )) seconds")
fi
fi
let line++
done
cat >> "$content" << EOcontent
</table:table>
<table:named-expressions/>
<table:database-ranges>
<table:database-range table:name="__Anonymous_Sheet_DB__0" table:target-range-address="'$result'.D1:'$result'.$(get_colname $nb_cols)$line" table:display-filter-buttons="true"/>
</table:database-ranges>
</office:spreadsheet>
</office:body>
</office:document-content>
EOcontent
( cd "/dev/shm/$result" && zip -r ../"$result" * > /dev/null 2>&1 && cd .. && rm -fr "$result" )
mv -f "/dev/shm/$result.zip" "${destination_path:+$destination_path/}$result.ods"
if test -z "$envoi_par_mail"; then
echo -e "\r\033[KTerminé : ${destination_path:+$destination_path/}$result.ods"
fi
}
function save_database () {
rm -f "$token_file"
test -n "$result" -a -d "/dev/shm/$result" && rm -fr "/dev/shm/$result"
test -n "$database" -a -n "$in_ram_database" || return
if test "$envoi_par_mail" = $true_flag; then
if test -n "$mailconfig_file" && test -r "$mailconfig_file"; then
source "$mailconfig_file"
elif test -r "/usr/local/etc/${0##*/}.mail.conf"; then
source "/usr/local/etc/${0##*/}.mail.conf"
fi
stat -Lc "(date de mise à jour de la base: %x)" $database
cat > $process_token.headers << EOC
From: ${from_mail:?}
To: $destinataire
Subject: les scrutins demandés
EOC
curl_opt=(
--url smtp://${smtp_address:?}:${smtp_port:?}
--mail-rcpt $destinataire
-H @$process_token.headers
-F "=(;type=multipart/alternative"
-F "=<$process_token.txt;encoder=quoted-printable"
-F "=<$process_token.html;encoder=quoted-printable"
-F "=)"
)
if test -r "${destination_path:+$destination_path/}$result.ods"; then
curl_opt[${#curl_opt[@]}]="-F"
curl_opt[${#curl_opt[@]}]="=@${destination_path:+$destination_path/}$result.ods;encoder=base64"
fi
exec 1>&-
aha -f $process_token.mail -t "envoi automatisé" > $process_token.html
w3m -dump $process_token.html > $process_token.txt
curl ${curl_opt[@]}
rm -f "${destination_path:+$destination_path/}$result.ods" $process_token*
elif test -r "$database" && sqldiff=$(sqldiff $in_ram_database $database) && test -z "$sqldiff"; then
echo "pas de modification"
elif test -w "$database"; then
rm -f "$database"
sqlite_request '.dump' | sqlite3 "$database"
echo "base de données $database mise à jour"
elif test ! -e "$database" -a -w ${database%/*}; then
sqlite_request '.dump' | sqlite3 "$database"
echo "base de données $database créée"
else
echo "je ne peux rien faire avec $database !"
fi
rm -f "$in_ram_database" "$tempfile"
}
function dernier_scrutin_public () {
wget -qO- "http://www2.assemblee-nationale.fr/scrutins/liste/(legislature)/$mandature/(type)/TOUS/(idDossier)/TOUS" \
| sed -rn 's/^.*<td class="denom">([0-9]+)[^0-9].*$/\1/p' \
| head -1
}
trap save_database EXIT
test -z "$database" && database="${0}.db"
echo "$0 $@" > $token_file
declare -A acronymes
true_flag=$(mktemp --dry-run XXXXX)
while [[ $# -gt 0 ]]; do
case "$1" in
"--no-db-update")
#|ne met pas à jour la base de données
if test ${db_update_only:-OK} = $true_flag; then
echo "option incompatible avec --db-update-only"
exit 1
fi
no_db_update=$true_flag;;
"--db-update-only")
#|ne génère pas de fichier de résultat
if test ${no_db_update:-OK} = $true_flag; then
echo "option incompatible avec --no-db-update"
exit 1
fi
db_update_only=$true_flag;;
"--cible"|"-c")
#<nom court du groupe>|ajoute les scrutins de ce groupe, de ce ou cette députée, les colonnes seront dans l'ordre
_groupe[${#_groupe[@]}]="${2//\'/\'\'}"
shift;;
"--couleurs")
#<nombre hexadécimal>:<nombre hexadécimal>|colore les colonnes en dégradé entre les deux couleurs comprises
if grep -iq '[^0-9A-F:]' <<< ${2:-ERROR}; then
echo "$1 ${2:-ERROR}: format attendu <nombre>:<nombre>"
exit 1
elif egrep -iq '[0-9A-F]{6}:[0-9A-F]{6}' <<< ${2:-ERROR}; then
from_color=${2%:*}
to_color=${2#*:}
else
echo erreur $2: couleur RGB au format hexadécimal demandé
fi
shift;;
"--mandature")
mandature="$2"
;;
"--scrutin")
#<nombre>[:<nombre>]|commence la génération du résultat pour le scrutin <nombre>, ou entre les deux nombres donnés
if grep -q '[^0-9:]' <<< ${2:-ERROR}; then
echo "$1 ${2:-ERROR}: format attendu <nombre>[:<nombre>]"
exit 1
elif egrep -q '[1-9][0-9]*(:[1-9][0-9]*)?' <<< ${2:-ERROR}; then
first=${2%:*}
last=${2#*:}
if test $first -gt $last; then
last+=:$first
first=${last%:*}
last=${last#*:}
fi
else
echo "$1 ${2:-ERROR}: <nombre> ne doit pas commencer par 0"
exit 1
fi
shift;;
"--premier-scrutin")
#<numéro>|commence la génération du résultat à partir du scrutin <numéro>
first="$2"
shift;;
"--dernier-scrutin")
#<numéro>|termine la génération du résultat au scrutin <numéro>
last="$2"
shift;;
"--période")
#<jj/mm/aaaa:JJ/MM/AAAA>|génère un résultat pour les scrutins allant de jj/mm/aaaa à JJ/MM/AAAA
periode=$true_flag
periode_value="$2"
shift;;
"--liste-députés-du-groupe")
#<groupe>|liste les député·e·s du groupe <groupe>
liste_deputes=$true_flag
liste_deputes_value="${2}"
shift;;
"--liste-députés")
#|liste tou-te-s les député-e-s de la mandature
liste_deputes=$true_flag;;
"--liste-dossiers")
#|affiche une liste numérotée des dossiers et sort
liste_dossiers=$true_flag;;
"--dossier")
#<numéro>|génère un résultat pour le dossier numéroté <numéro>
dossier=$true_flag
dossier_value="$2"
shift;;
"--dossiers")
#|sélection interactive du dossier
dossier=$true_flag;;
"--conf")
#<fichier>|indique le chemin vers le fichier de configuration. Par défaut "{_}.conf"
test -r "$2" || {
echo "config introuvable $2" >&2
options_error=$true_flag
}
config_file="$2"
shift;;
"--mailconf")
#<fichier>|indique le chemin vers le fichier de configuration. Par défaut "{_}.conf"
test -r "$2" || {
echo "config introuvable $2" >&2
options_error=$true_flag
}
mailconfig_file="$2"
shift;;
"--dest")
#<répertoire>|génère le fichier dans le répertoire spécifié. Par défaut $PWD
if test -n "$2" && test -d "$2" -a -r "$2"; then
destination_path="$2"
shift
else
echo "$2 n'est pas un répertoire ou n'est pas autorisé en écriture" >&2
exit 1
fi;;
"--database")
#<fichier>|indique le chemin vers la base de données SQLite3 contenant les informations. Par défaut "{_}.db"
if test -r "$2" && file -Lb "$2" | grep -q '^SQLite 3.x database'; then
:
else
echo "erreur sur option database: fichier '$2' introuvable ou pas une base SQLite 3" >&2
options_error=$true_flag
fi
database="$2"
shift;;
"--progrès-génération")
#<chiffre>|affiche de la progression de la génération du fichier tous les <chiffre>%. Par défaut 5
generation_progress="$2"
shift;;
"--progrès-update")
#<chiffre>|affiche de la progression de la mise à jour de la base de données tous les <chiffre>%. Par défaut 1
update_progress="$2"
shift;;
"--mail")
#<adresse mail>|envoie le fichier généré à l'adresse mail indiquée
envoi_par_mail=$true_flag
destinataire="$2"
no_db_update=$true_flag
destination_path=/dev/shm
generation_progress=1000
exec > $process_token.mail 2>&1
shift;;
"--help")
#|affiche cette aide et quitte
echo "$0 [options]"
echo "génère un classeur ODS pour comparer les scrutins publics de la 16ème mandature à l'Assemblée Nationale"
echo
sed -rn '/^ *"--.+"\)/N; s/^ *"(--.+)"\)\n#(.+)$/\1|\2/p' "$0" \
| awk -F'|' -v marge=' ' -v prog="$0" '{
printf("%s %s\n" marge "%s\n\n", $1, $2, gensub("\\. ", "\\\n" marge, "g", gensub("\\{_\\}", prog, "g", $3)))
}'
exit;;
esac
shift
done
test "$options_error" = $true_flag && exit 1
if test -n "$config_file"; then
source "$config_file"
else
config_file="${0}.conf"
if test -r "$config_file"; then
source "$config_file"
fi
fi
while true; do
if ls -1rt /dev/shm/*."${0##*/}" | head -1 | grep -q "^$token_file$"; then
# c'est notre tour
break
else
sleep 5
fi
done
in_ram_database=$process_token.db
if test -r "$database"; then
cp "$database" "$in_ram_database"
else
create_database
fi
if test "$periode" = $true_flag; then
function get_date () {
sqlite_request "select distinct(date) from scrutins order by num asc" | awk -v d="$1" -v comp=$2 '
function norm_date (date) {
split(date, a, "/")
return sprintf("%s%s%s",
length(a[3]) == 4 ? a[3] : length(a[3]) == 2 ? "20" a[3] : strftime("%Y", systime()),
length(a[2]) == 2 ? a[2] : "0" a[2],
length(a[1]) == 2 ? a[1] : "0" a[1])
}
function output (date) {
print date
found = 1
exit
}
BEGIN { d = norm_date(d) }
{
s = norm_date($1)
if (NR == 1 && s > d && comp == "first") output($1)
if (s >= d && comp == "first") output($1)
if (s == d && comp == "last") output($1)
if (s > d && comp == "last") output(previous)
previous = $1
}
END {
if (!found) print previous
}'
}
first=$(sqlite_request "select min(num) from scrutins where date = '$(get_date ${periode_value%:*} first)'")
last=$(sqlite_request "select max(num) from scrutins where date = '$(get_date ${periode_value#*:} last)'")
if test "$envoi_par_mail" = $true_flag; then
texte_periode="du $(get_date ${periode_value%:*} first) (scrutin n°$first) au $(get_date ${periode_value#*:} last) (scrutin n°$last)"
fi
elif test "$dossier" != $true_flag -a "$no_db_update" = $true_flag; then
test -z "$last" && last=$(sqlite_request "select max(num) from scrutins")
test -z "$first" && first=1
fi
if test "$liste_dossiers" = $true_flag; then
if test "$envoi_par_mail" = $true_flag; then
echo "Voici la liste des dossiers actuellement à l'étude"
fi
sqlite_request "select printf('• %s (%s)', titre, url) from dossiers"
exit
fi
if test "$db_update_only" = $true_flag; then
unset first last
last=$(dernier_scrutin_public)
update_database
exit
fi
if test "$liste_deputes" = $true_flag; then
if test -n "$liste_deputes_value"; then
if test "$envoi_par_mail" = $true_flag; then
echo "Voici la liste des député·e·s du groupe dont le nom correspond au critère $liste_deputes_value"
fi
sqlite_request "select printf('%s - %s%s',
députés.nom,
groupes.nom,
iif(groupes.nom_court is not null, ' [' || groupes.nom_court || ']', ''))
from députés
inner join groupes on groupes.id = députés.groupe
where
groupes.nom like '%$liste_deputes_value%'
or
groupes.nom_court = '$liste_deputes_value'"
else
if test "$envoi_par_mail" = $true_flag; then
echo "Voici la liste des député·e·s"
fi
sqlite_request "select printf('%s - %s%s',
députés.nom,
groupes.nom,
iif(groupes.nom_court is not null, ' [' || groupes.nom_court || ']', ''))
from députés
inner join groupes on groupes.id = députés.groupe
order by groupes.nom asc"
fi
exit
fi
for (( g = 0; g < ${#_groupe[@]}; g++ )); do
# on vérifie si c'est un ou une député
depute_count=$(sqlite_request "select count(distinct nom) from députés where nom like '%${_groupe[$g]}%'")
groupe_count=$(sqlite_request "select count(distinct nom) from groupes where nom like \"%${_groupe[$g]}%\" or nom_court is '${_groupe[$g]}'")
if test $depute_count -eq 1 -a $groupe_count -ne 1; then
groupe[$g]=$(sqlite_request "select distinct nom from députés where nom like '%${_groupe[$g]}%'")
id_groupe[$g]=députés:$(sqlite_request "select group_concat(id) from députés where nom is '${groupe[$g]//\'/\'\'}'")
elif test $groupe_count -eq 1 -a $depute_count -ne 1; then
groupe[$g]=$(sqlite_request "select distinct nom from groupes where nom like \"%${_groupe[$g]}%\" or nom_court is '${_groupe[$g]}'")
id_groupe[$g]=groupes:$(sqlite_request "select id from groupes where nom is '${groupe[$g]//\'/\'\'}'")
elif test $groupe_count -eq 1 -a $depute_count -eq 1; then
echo "dénomination ambigüe pour « ${_groupe[$g]} »"
sqlite_request "select printf('député·e: %s', distinct nom) from députés where nom like '%${_groupe[$g]}%'" | grep --color=always -i "${_groupe[$g]}"
sqlite_request "select printf('groupe : %s', distinct nom) from groupes where nom like \"%${_groupe[$g]}%\" or nom_court is '${_groupe[$g]}'" | grep --color=always -i "${_groupe[$g]}"
echo
elif test $depute_count -gt 1; then
echo "plusieurs député·e·s trouvé·e·s correspondant à « ${_groupe[$g]} »"
sqlite_request "select distinct nom from députés where nom like '%${_groupe[$g]}%'" | grep --color=always -i "${_groupe[$g]}"
echo
elif test $groupe_count -gt 1; then
echo "plusieurs groupes trouvés correspondant à « ${_groupe[$g]} »"
sqlite_request "select distinct nom from groupes where nom like \"%${_groupe[$g]}%\" or nom_court is '${_groupe[$g]}'" | grep --color=always -i "${_groupe[$g]}"
echo
else
echo "aucun·e député·e ou groupe ne correspond au critère « ${_groupe[$g]} »"
echo
fi
done
if test -s $process_token.mail; then
exit 1
fi
update_database
write_comparaison
if test "$envoi_par_mail" = $true_flag; then
echo Vous pourrez trouver en pièce-jointe les résultats demandés avec ces critères:
if test ${#groupe[@]} -gt 0; then
echo "votes des groupes et député·e·s suivant·e·s:"
printf " • %s\n" "${groupe[@]}"
fi
if test "$periode" = $true_flag; then
echo sur la période allant $texte_periode
fi
fi