scripts / analyse-votes-AN /
Newer Older
625 lines | 29.701kb
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
1
#!/bin/bash
2

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
3
for tool in sqlite3 getopt md5sum mktemp; do
4
    which $tool > /dev/null 2>&1 || {
5
        echo missing tool $tool
6
        exit 1
7
    }
plus de souplesse dans les p...
Sébastien MARQUE authored on 2019-02-20
8
done
9

            
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
10
IFS_=$IFS
11

            
amélioration code
Sébastien Marque authored on 2019-05-30
12
function sqlite_request () {
13
    sqlite3 "$in_ram_database" <<< "$1"
14
}
15

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
16
function create_database () {
fix syntax error
Sébastien Marque authored on 2019-06-10
17
    if test ${#groupes[@]} -eq 0; then
complète re-écriture
Sébastien Marque authored on 2019-04-27
18
        echo "unable to find groupes in $config_file" >&2
19
        exit 1
fixe pb quand groupe cible e...
Sébastien Marque authored on 2019-02-18
20
    fi
complète re-écriture
Sébastien Marque authored on 2019-04-27
21

            
amélioration code
Sébastien Marque authored on 2019-05-30
22
    sqlite_request "create table if not exists votes (id integer primary key, nom text)"
23
    sqlite_request "create table if not exists url (id integer primary key autoincrement, url text)"
24
    sqlite_request "create table if not exists députés (id integer primary key autoincrement, nom text, groupe integer)"
25
    sqlite_request "create table if not exists groupes (id integer primary key autoincrement, nom text, nom_court text)"
26
    sqlite_request "create table if not exists scrutins (num integer primary key, date text not null, intitulé text non null, adoption boolean, url integer)"
27
    sqlite_request "create table if not exists dépouillement (député integer not null, scrutin integer not null, groupe integer not null, vote integer not null)"
complète re-écriture
Sébastien Marque authored on 2019-04-27
28

            
29
    v_id=0
30
    for v in Pour Contre Abstention Non-votant; do
amélioration code
Sébastien Marque authored on 2019-05-30
31
        if test -z $(sqlite_request "select nom from votes where id is $v_id"); then
32
            sqlite_request "insert into votes values ($v_id, '$v')"
complète re-écriture
Sébastien Marque authored on 2019-04-27
33
        else
amélioration code
Sébastien Marque authored on 2019-05-30
34
            test -z $(sqlite_request "select nom from votes where id is $v_id and nom is '$v'") \
35
                && sqlite_request "update votes set nom = '$v' where id is $v_id)"
complète re-écriture
Sébastien Marque authored on 2019-04-27
36
        fi
37
        let v_id++
38
    done
39
    unset v_id v
40

            
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
41
    for g in ${!groupes[@]}; do
amélioration code
Sébastien Marque authored on 2019-05-30
42
        test -z $(sqlite_request "select id from groupes where nom is '${groupes[$g]}' and nom_court is '$g'") \
43
            && sqlite_request "insert into groupes (nom, nom_court) values ('${groupes[$g]}', '$g')"
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
44
    done
complète re-écriture
Sébastien Marque authored on 2019-04-27
45
    unset g groupes
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
46

            
amélioration code
Sébastien Marque authored on 2019-05-30
47
    test -z $(sqlite_request "select id from url where id = 0") \
48
        && sqlite_request "insert into url values (0, '')"
complète re-écriture
Sébastien Marque authored on 2019-04-27
49
}
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
50

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
51
function update_database () {
52
    test "$no_db_update" = $true_flag && return
53
    tempfile="/dev/shm/scrutin.$$"
54
    progress=0
fix bug sur premier scrutin
Sébastien Marque authored on 2019-04-27
55
    first_=$first
amélioration code
Sébastien Marque authored on 2019-05-30
56
    first=$(sqlite_request "select count(num) from scrutins")
complète re-écriture
Sébastien Marque authored on 2019-04-27
57
    if test ${first:-0} -lt $last; then
58
        echo "récupération des scrutins n°$((${first:-0}+1)) à n°$last dans "$database" (à conserver autant que possible)" >&2
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
59

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
60
        url_database=/dev/shm/url_database
61
        : > "$url_database"
62
        test $((last % 100)) -ne 0 && last_offset=0
63
        for offset in $(seq $((last - 100)) -100 ${first:-0} ) $last_offset; do
64
            wget -qO- "http://www2.assemblee-nationale.fr/scrutins/liste/(offset)/$offset/(legislature)/15/(type)/TOUS/(idDossier)/TOUS" \
65
                | awk '
66
                    /<td class="denom">/ {
67
                        scrutin = gensub(/^.+denom.>([[:digit:]]+).*<.td./,"\\1","1",$0)
68
                    }
69
                    /<td class="desc">.+dossier<.a/ {
70
                        a[scrutin] = gensub(/^.+.<a href="(.+)">dossier<.a>.*$/,"\\1","1",$0)
71
                    }
72
                    END {
73
                        for (i in a)
74
                            print gensub("*","","1",i) "|" a[i]
75
                    }' >> "$url_database"
76
        done
77
        sort -u "$url_database" > "${url_database}.sorted"
78
        mv -f "${url_database}.sorted" "$url_database"
79

            
80
        IFS=$'\n'
81
        begin=$(date +%s)
82
        for scrutin in $(seq $((${first:-0}+1)) $last); do
83
            wget -qO- "http://www2.assemblee-nationale.fr/scrutins/detail/(legislature)/15/(num)/$scrutin" \
84
                |  sed -r '0,/< *div class="titre-bandeau-bleu +to-print" *>/d; /< *script +type="text\/javascript" *>/,$d' > $tempfile
85

            
86
            unset title date adoption url id_url
87

            
88
            title=$(sed -rn '/<h1 class="">Analyse du scrutin n° '$scrutin'/n; s,^.*<h3 class="president-title">(.+).</h3>,\1,p' $tempfile \
89
                    | sed "s/;//g; s/[ \t][ \t]+/ /g; s/^Scrutin public sur *//; s/^l[ae']s* *//")
90
            date=$(sed -rn 's,^.*<h1 class="">Analyse du scrutin n° '$scrutin'<br/>(.+) </h1>,\1,p' $tempfile)
91
            adoption=$(sed -rn 's,^.*<p class="annonce"><span class="annoncevote">(.+).</span></p>.*$,\1,p' $tempfile)
92
            test -n "$title" -a -n "$date" -a -n "$adoption" || {
93
                echo "erreur dans la récupération du scrutin $scrutin"
94
                exit 1
95
            }
96
            grep -q 'e a a' <<< "$adoption" && adoption=1 || adoption=0
petite simplification du cod...
Sébastien MARQUE authored on 2019-03-31
97

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
98
            url=$(awk -F'|' "/^$scrutin\|/{print \$2}" "$url_database")
amélioration code
Sébastien Marque authored on 2019-05-30
99
            id_url=$(sqlite_request "select id from url where url is '$url'")
complète re-écriture
Sébastien Marque authored on 2019-04-27
100
            if test -z "$id_url"; then
amélioration code
Sébastien Marque authored on 2019-05-30
101
                sqlite_request "insert into url (url) values ('$url')"
102
                id_url=$(sqlite_request "select id from url where url is '$url'")
complète re-écriture
Sébastien Marque authored on 2019-04-27
103
            fi
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
104

            
amélioration code
Sébastien Marque authored on 2019-05-30
105
            sqlite_request "insert into scrutins values ($scrutin, '$date', \"${title//\"}\", $adoption, ${id_url:-0})"
complète re-écriture
Sébastien Marque authored on 2019-04-27
106

            
amélioration code
Sébastien Marque authored on 2019-05-30
107
            for v in $(sqlite_request "select * from votes"); do
108
                for g in $(sqlite_request "select id,nom from groupes"); do
complète re-écriture
Sébastien Marque authored on 2019-04-27
109
                    for d in $(sed -rn '/<p class="nomgroupe">'${g#*|}' <span class="block topmargin">/,/<div class="TTgroupe topmargin-lg">/p' $tempfile \
110
                        | sed -rn '/<p class="typevote">'${v#*|}':/,/<.div>/p' \
111
                        | sed 's,</li>,\n,g' \
112
                        | sed -rn '/<p class="typevote">/d; s,^\s*<li>\s*,,; s,&nbsp;, ,g; s/^\s*//; s/M(me|\.) //; s/ \(.*$//; s,<b>,,; s,</b>,,p'); do
amélioration code
Sébastien Marque authored on 2019-05-30
113
                        d_id=$(sqlite_request "select id from députés where nom is \"$d\" and groupe is ${g%|*}")
complète re-écriture
Sébastien Marque authored on 2019-04-27
114
                        if test -z "$d_id"; then
amélioration code
Sébastien Marque authored on 2019-05-30
115
                            sqlite_request "insert into députés (nom, groupe) values (\"$d\", ${g%|*})"
116
                            d_id=$(sqlite_request "select id from députés where nom is \"$d\" and groupe is ${g%|*}")
complète re-écriture
Sébastien Marque authored on 2019-04-27
117
                        fi
amélioration code
Sébastien Marque authored on 2019-05-30
118
                        sqlite_request "insert into dépouillement values ($d_id, $scrutin, ${g%|*}, ${v%|*})"
complète re-écriture
Sébastien Marque authored on 2019-04-27
119
                    done
120
                done
121
            done
122

            
amélioration du calcul ETA p...
Sébastien MARQUE authored on 2019-05-30
123
            if test $(( ($scrutin - $first) * 100 / ( $last - $first ) )) -ne $progress; then
124
                progress=$(( ($scrutin - $first) * 100 / ( $last - $first ) ))
complète re-écriture
Sébastien Marque authored on 2019-04-27
125
                if test $(($progress % ${update_progress:-1})) -eq 0; then
126
                    now=$(date +%s)
127
                    delta=$(( $now - $begin ))
amélioration du calcul ETA p...
Sébastien MARQUE authored on 2019-05-30
128
#                   scrutin = first+1 à la première itération
129
                    echo $progress%, ETA: $(date +%H:%M:%S -d "$(($delta * ($last - $scrutin) / ($scrutin - $first) )) seconds")
complète re-écriture
Sébastien Marque authored on 2019-04-27
130
                fi
131
            fi
132
        done
133
        rm -f "$url_database" "$tempfile"
134
    fi
fix bug sur premier scrutin
Sébastien Marque authored on 2019-04-27
135
    first=$first_
complète re-écriture
Sébastien Marque authored on 2019-04-27
136
}
137

            
138
function write_comparaison () {
ajoute colonnes loyauté, pan...
Sébastien MARQUE authored on 2019-11-13
139

            
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
140
    result="comparaisons ${groupe[0]} avec ${groupe_ref:-GDR}${dossier:+ - ${dossier}}"
complète re-écriture
Sébastien Marque authored on 2019-04-27
141
    content="/dev/shm/$result/content.xml"
ajoute colonnes loyauté, pan...
Sébastien MARQUE authored on 2019-11-13
142
    id_cols="Scrutin Date Titre Adoption Panurgisme${nom:+ Participation Loyauté}"
amélioration code
Sébastien Marque authored on 2019-05-30
143
    typevotes=$(sqlite_request "select nom from votes")
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
144
    nb_cols=$(( $(wc -w <<< $id_cols) + $(wc -w <<< $typevotes) * ${#groupe[@]} ))
145
    last_col=$(awk -v n=$nb_cols 'BEGIN{printf("%c%c", n < 27 ? "" : int(n/26) + 64, (n % 26) + (n % 26 == 0 ? 26 : 0) + 64)}' | tr -d '\0')
complète re-écriture
Sébastien Marque authored on 2019-04-27
146

            
147
    echo "génération du fichier $result"
148

            
149
    mkdir -p "/dev/shm/$result/META-INF"
150

            
151
    cat > "/dev/shm/$result/META-INF/manifest.xml" << EOmetainf
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
152
<?xml version="1.0" encoding="UTF-8"?>
153
<manifest:manifest xmlns:manifest="urn:oasis:names:tc:opendocument:xmlns:manifest:1.0" manifest:version="1.2">
154
 <manifest:file-entry manifest:full-path="/" manifest:version="1.2" manifest:media-type="application/vnd.oasis.opendocument.spreadsheet"/>
155
 <manifest:file-entry manifest:full-path="content.xml" manifest:media-type="text/xml"/>
156
</manifest:manifest>
157
EOmetainf
158

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
159
    printf 'application/vnd.oasis.opendocument.spreadsheet' > "/dev/shm/$result/mimetype"
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
160

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
161
    echo '<?xml version="1.0" encoding="UTF-8"?>' > "$content"
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
162

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
163
    cat >> "$content" << EOcontent
164
    <office:document-content xmlns:office="urn:oasis:names:tc:opendocument:xmlns:office:1.0" xmlns:style="urn:oasis:names:tc:opendocument:xmlns:style:1.0" xmlns:text="urn:oasis:names:tc:opendocument:xmlns:text:1.0" xmlns:table="urn:oasis:names:tc:opendocument:xmlns:table:1.0" xmlns:draw="urn:oasis:names:tc:opendocument:xmlns:drawing:1.0" xmlns:fo="urn:oasis:names:tc:opendocument:xmlns:xsl-fo-compatible:1.0" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:meta="urn:oasis:names:tc:opendocument:xmlns:meta:1.0" xmlns:number="urn:oasis:names:tc:opendocument:xmlns:datastyle:1.0" xmlns:presentation="urn:oasis:names:tc:opendocument:xmlns:presentation:1.0" xmlns:svg="urn:oasis:names:tc:opendocument:xmlns:svg-compatible:1.0" xmlns:chart="urn:oasis:names:tc:opendocument:xmlns:chart:1.0" xmlns:dr3d="urn:oasis:names:tc:opendocument:xmlns:dr3d:1.0" xmlns:math="http://www.w3.org/1998/Math/MathML" xmlns:form="urn:oasis:names:tc:opendocument:xmlns:form:1.0" xmlns:script="urn:oasis:names:tc:opendocument:xmlns:script:1.0" xmlns:ooo="http://openoffice.org/2004/office" xmlns:ooow="http://openoffice.org/2004/writer" xmlns:oooc="http://openoffice.org/2004/calc" xmlns:dom="http://www.w3.org/2001/xml-events" xmlns:xforms="http://www.w3.org/2002/xforms" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:rpt="http://openoffice.org/2005/report" xmlns:of="urn:oasis:names:tc:opendocument:xmlns:of:1.2" xmlns:xhtml="http://www.w3.org/1999/xhtml" xmlns:grddl="http://www.w3.org/2003/g/data-view#" xmlns:tableooo="http://openoffice.org/2009/table" xmlns:drawooo="http://openoffice.org/2010/draw" xmlns:calcext="urn:org:documentfoundation:names:experimental:calc:xmlns:calcext:1.0" xmlns:loext="urn:org:documentfoundation:names:experimental:office:xmlns:loext:1.0" xmlns:field="urn:openoffice:names:experimental:ooo-ms-interop:xmlns:field:1.0" xmlns:formx="urn:openoffice:names:experimental:ooxml-odf-interop:xmlns:form:1.0" xmlns:css3t="http://www.w3.org/TR/css3-text/" office:version="1.2">
165
    <office:scripts/>
166
    <office:font-face-decls>
167
    <style:font-face style:name="Liberation Sans" svg:font-family="&apos;Liberation Sans&apos;" style:font-family-generic="swiss" style:font-pitch="variable"/>
168
    <style:font-face style:name="DejaVu Sans" svg:font-family="&apos;DejaVu Sans&apos;" style:font-family-generic="system" style:font-pitch="variable"/>
169
    <style:font-face style:name="FreeSans" svg:font-family="FreeSans" style:font-family-generic="system" style:font-pitch="variable"/>
170
    </office:font-face-decls>
171
    <office:automatic-styles>
172
EOcontent
173

            
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
174
    IFS=$'\n'
complète re-écriture
Sébastien Marque authored on 2019-04-27
175
    for i in $(seq $nb_cols); do
176
        cat >> "$content" << EOcontent
177
            <style:style style:name="co$i" style:family="table-column">
178
            <style:table-column-properties fo:break-before="auto" style:column-width="30.00mm"/>
179
            </style:style>
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
180
EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
181
    done
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
182

            
183
    cat >> "$content" << EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
184
    <style:style style:name="ro1" style:family="table-row">
185
    <style:table-row-properties style:row-height="4.52mm" fo:break-before="auto" style:use-optimal-row-height="true"/>
186
    </style:style>
187
    <style:style style:name="ta1" style:family="table" style:master-page-name="Default">
188
    <style:table-properties table:display="true" style:writing-mode="lr-tb"/>
189
    </style:style>
190
    <style:style style:name="ce1" style:family="table-cell" style:parent-style-name="Default">
191
    <style:table-cell-properties fo:background-color="#cccccc"/>
192
    </style:style>
193
    </office:automatic-styles>
194
    <office:body>
195
    <office:spreadsheet>
196
    <table:calculation-settings table:automatic-find-labels="false"/>
197
    <table:table table:name="$result" table:style-name="ta1">
198
    <office:forms form:automatic-focus="false" form:apply-design-mode="false"/>
199
    <table:table-column table:style-name="co1" table:number-columns-repeated="$(wc -w <<< $id_cols)" table:default-cell-style-name="Default"/>
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
200
EOcontent
201

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
202
    for i in $(seq $(wc -w <<< $typevotes)); do
203
        cat >> "$content" << EOcontent
204
        <table:table-column table:style-name="co1" table:default-cell-style-name="ce1"/>
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
205
EOcontent
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
206
        for (( g = 1; g < ${#groupe[@]}; g++ )); do
207
            cat >> "$content" << EOcontent
208
            <table:table-column table:style-name="co1" table:default-cell-style-name="Default"/>
209
EOcontent
210
        done
complète re-écriture
Sébastien Marque authored on 2019-04-27
211
    done
212
    echo '<table:table-row table:style-name="ro1">' >> "$content"
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
213

            
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
214
    IFS=$IFS_
complète re-écriture
Sébastien Marque authored on 2019-04-27
215
    for colonne in $id_cols; do
216
        cat >> "$content" << EOcontent
217
            <table:table-cell office:value-type="string" calcext:value-type="string">
218
            <text:p>$colonne</text:p>
219
            </table:table-cell>
220
EOcontent
221
    done
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
222

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
223
    for typevote in $typevotes; do
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
224
        for g in "${groupe[@]}"; do
complète re-écriture
Sébastien Marque authored on 2019-04-27
225
            cat >> "$content" << EOcontent
226
                <table:table-cell office:value-type="string" calcext:value-type="string">
227
                <text:p>$typevote - $g</text:p>
228
                </table:table-cell>
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
229
EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
230
        done
231
    done
232

            
233
    echo '</table:table-row>' >> "$content"
234

            
235
    progress=0
236
    begin=$(date +%s)
237
    line=1
améliore progression
Sébastien Marque authored on 2019-05-03
238
    test -z "$seq" && qty=$(( $last - $first ))
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
239
    IFS=$'\n'
complète re-écriture
Sébastien Marque authored on 2019-04-27
240
    for scrutin in $(eval ${seq:-seq $first $last}); do
241

            
amélioration code
Sébastien Marque authored on 2019-05-30
242
        data=$(sqlite_request "select date,intitulé,adoption,url.url from scrutins inner join url on scrutins.url = url.id where num is $scrutin")
complète re-écriture
Sébastien Marque authored on 2019-04-27
243
        date=$(cut -d'|' -sf 1 <<< $data)
244
        title=$(cut -d'|' -sf 2 <<< $data)
245
        adoption=$(cut -d'|' -sf 3 <<< $data)
246
        url=$(cut -d'|' -sf 4 <<< $data)
247
        test $adoption -eq 1 && adoption='oui' || adoption='non'
groupe de référence: GDR
Sébastien MARQUE authored on 2019-02-17
248

            
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
249
        cat >> "$content" << EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
250
            <table:table-row table:style-name="ro1">
251
EOcontent
252
        if test -n "$url"; then
253
            cat >> "$content" << EOcontent
254
                <table:table-cell office:value-type="string" calcext:value-type="string">
255
                <text:p><text:a xlink:href="$url" xlink:type="simple">$scrutin</text:a></text:p>
256
                </table:table-cell>
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
257
EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
258
        else
259
            cat >> "$content" << EOcontent
260
                <table:table-cell office:value-type="float" office:value="$scrutin" calcext:value-type="float">
261
                <text:p>$scrutin</text:p>
262
                </table:table-cell>
263
EOcontent
264
        fi
265
        cat >> "$content" << EOcontent
266
            <table:table-cell office:value-type="string" calcext:value-type="string">
267
            <text:p>$date</text:p>
268
            </table:table-cell>
269
            <table:table-cell office:value-type="string" calcext:value-type="string">
270
            <text:p>${title//\'/&apos;}</text:p>
271
            </table:table-cell>
272
            <table:table-cell office:value-type="string" calcext:value-type="string">
273
            <text:p>${adoption}</text:p>
274
            </table:table-cell>
275
EOcontent
ajoute colonnes loyauté, pan...
Sébastien MARQUE authored on 2019-11-13
276

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
277
        for typevote in 0 1 2 3; do
ajoute colonnes loyauté, pan...
Sébastien MARQUE authored on 2019-11-13
278
            vote_cible[$typevote]=$(sqlite_request "select
complète re-écriture
Sébastien Marque authored on 2019-04-27
279
                                        count(député)
280
                                     from
281
                                        dépouillement
282
                                     where
283
                                        scrutin is $scrutin
284
                                     and
285
                                        vote is $typevote
286
                                     and
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
287
                                        groupe is ${groupe_id[0]} ${nom:+ and député is ${nom%|*}}")
ajoute colonnes loyauté, pan...
Sébastien MARQUE authored on 2019-11-13
288
        done
289
        if test \( ${vote_cible[0]} -gt ${vote_cible[1]} -a $adoption = oui \) \
290
            -o  \( ${vote_cible[1]} -gt ${vote_cible[0]} -a $adoption = non \); then
291
            panurge=1
292
        else
293
            panurge=0
294
        fi
295
        cat >> "$content" << EOcontent
296
            <table:table-cell office:value-type="float" office:value="$panurge" calcext:value-type="float">
297
            <text:p>$panurge</text:p>
298
            </table:table-cell>
299
EOcontent
300

            
301
        if test -n "$nom"; then
302
            for typevote in 0 1; do
303
                votes_g0[$typevote]=$(sqlite_request "select
304
                                            count(député)
305
                                         from
306
                                            dépouillement
307
                                         where
308
                                            scrutin is $scrutin
309
                                         and
310
                                            vote is $typevote
311
                                         and
312
                                            groupe is ${groupe_id[0]}")
313
            done
314
            participation=$(( vote_cible[0] + vote_cible[1] + vote_cible[2] + vote_cible[3] ))
315
            if test $(( (${votes_g0[0]} - ${votes_g0[1]}) * (${vote_cible[0]} - ${vote_cible[1]}) )) -gt 0; then
316
                loyaute=1
317
            else
318
                loyaute=0
319
            fi
320
            cat >> "$content" << EOcontent
321
                <table:table-cell office:value-type="float" office:value="$participation" calcext:value-type="float">
322
                <text:p>$participation</text:p>
323
                </table:table-cell>
324
                <table:table-cell office:value-type="float" office:value="$loyaute" calcext:value-type="float">
325
                <text:p>$loyaute</text:p>
326
                </table:table-cell>
327
EOcontent
328
        fi
329

            
330
        for typevote in 0 1 2 3; do
complète re-écriture
Sébastien Marque authored on 2019-04-27
331
            cat >> "$content" << EOcontent
ajoute colonnes loyauté, pan...
Sébastien MARQUE authored on 2019-11-13
332
                <table:table-cell office:value-type="float" office:value="${vote_cible[$typevote]}" calcext:value-type="float">
333
                <text:p>${vote_cible[$typevote]}</text:p>
complète re-écriture
Sébastien Marque authored on 2019-04-27
334
                </table:table-cell>
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
335
EOcontent
336
            for (( g = 1; g < ${#groupe_id[@]}; g++ )); do
amélioration code
Sébastien Marque authored on 2019-05-30
337
                votes=$(sqlite_request "select
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
338
                                            count(député)
339
                                         from
340
                                            dépouillement
341
                                         where
342
                                            scrutin is $scrutin
343
                                         and
344
                                            vote is $typevote
345
                                         and
346
                                            groupe is ${groupe_id[$g]}")
347
                cat >> "$content" << EOcontent
348
                    <table:table-cell office:value-type="float" office:value="$votes" calcext:value-type="float">
349
                    <text:p>$votes</text:p>
350
                    </table:table-cell>
complète re-écriture
Sébastien Marque authored on 2019-04-27
351
EOcontent
352
            done
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
353
        done
complète re-écriture
Sébastien Marque authored on 2019-04-27
354
        echo '</table:table-row>' >> "$content"
355

            
meilleur calcul progression
Sébastien Marque authored on 2019-04-27
356
        if test $(( ($line * 100) / ${qty:-$last} )) -ne $progress; then
357
            progress=$(( ($line * 100) / ${qty:-$last} ))
358
            if test $(( $progress % ${generation_progress:-5} )) -eq 0; then
complète re-écriture
Sébastien Marque authored on 2019-04-27
359
                now=$(date +%s)
360
                delta=$(( $now - $begin ))
meilleur calcul progression
Sébastien Marque authored on 2019-04-27
361
                echo $progress%, ETA: $(date +%H:%M:%S -d "$(( $delta * (${qty:-$last} - $line) / $line )) seconds")
complète re-écriture
Sébastien Marque authored on 2019-04-27
362
            fi
363
        fi
meilleur calcul progression
Sébastien Marque authored on 2019-04-27
364

            
365
        let line++
366

            
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
367
    done
complète re-écriture
Sébastien Marque authored on 2019-04-27
368
    echo
369

            
370
    cat >> "$content" << EOcontent
371
    </table:table>
372
    <table:named-expressions/>
373
    <table:database-ranges>
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
374
    <table:database-range table:name="__Anonymous_Sheet_DB__0" table:target-range-address="&apos;$result&apos;.D1:&apos;$result&apos;.$last_col$line" table:display-filter-buttons="true"/>
complète re-écriture
Sébastien Marque authored on 2019-04-27
375
    </table:database-ranges>
376
    </office:spreadsheet>
377
    </office:body>
378
    </office:document-content>
379
EOcontent
380

            
381
    ( cd "/dev/shm/$result" && zip -r ../"$result" * > /dev/null 2>&1 && cd .. && rm -fr "$result" )
382

            
383
    mv -f "/dev/shm/$result.zip" "$result.ods"
384

            
385
    echo "$result.ods"
386
}
387

            
388
function save_database () {
améliore le trap
Sébastien Marque authored on 2019-04-27
389
    test -n "$database" -a -n "$in_ram_database" || return
améliore la sortie
Sébastien Marque authored on 2019-06-10
390
    test -r "$in_ram_database" || return
complète re-écriture
Sébastien Marque authored on 2019-04-27
391
    if test -r "$database" && md5sum $in_ram_database | sed "s,$in_ram_database,$database," | md5sum --status -c -; then
392
        rm -f $in_ram_database
393
    elif test -w "$database"; then
394
        mv -f $in_ram_database "$database"
395
    elif ! test -e "$database"; then
396
        mv $in_ram_database "$database"
397
    else
398
        rm -f $in_ram_database
399
    fi
400
}
401

            
402
trap save_database EXIT
403

            
404
true_flag=$(mktemp --dry-run XXXXX)
405

            
406
OPTS=$( getopt -l no-db-update,\
407
                  db-update-only,\
408
                  cible:,\
409
                  ref:,\
410
                  député:,\
411
                  premier-scrutin:,\
412
                  dernier-scrutin:,\
413
                  période:,\
414
                  liste-dossiers,\
415
                  liste-députés,\
416
                  dossiers,\
417
                  dossier:,\
418
                  conf:,\
419
                  database:,\
420
                  progrès-génération:\
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
421
                  progrès-update:,\
422
                  help \
complète re-écriture
Sébastien Marque authored on 2019-04-27
423
                  -- "$@" )
424

            
425
eval set --$OPTS
426

            
427
while [[ $# -gt 0 ]]; do
428
    case "$1" in
429
        "--no-db-update")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
430
#|ne met pas à jour la base de données
complète re-écriture
Sébastien Marque authored on 2019-04-27
431
            no_db_update=$true_flag;;
432
        "--db-update-only")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
433
#|ne génère pas de fichier de résultat
complète re-écriture
Sébastien Marque authored on 2019-04-27
434
            db_update_only=$true_flag;;
435
        "--cible")
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
436
#<nom court du groupe>|génère un comparatif pour ce groupe. Par défaut LREM
437
            groupe[0]="${2^^}"
complète re-écriture
Sébastien Marque authored on 2019-04-27
438
            shift;;
439
        "--ref")
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
440
#<nom court du groupe ou des groupes>|compare avec ce ou ces groupes. Si plusieurs groupes, ils sont séparés par une virgule, sans espace. Par défaut GDR
fix typo
Sébastien Marque authored on 2019-04-27
441
            groupe_ref="${2^^}"
complète re-écriture
Sébastien Marque authored on 2019-04-27
442
            shift;;
443
        "--député")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
444
#<nom>|filtre la cible sur un-e député-e sur le groupe cible (par défaut LREM). <nom> est insensible à la casse. Tout ou partie du nom ou du prénom peut être donné, espace compris. Caractère % utilisé comme caractère joker. Si aucune correspondance n'est trouvée avec un-e député-é, sortie en erreur. Si plusieurs député-e-s correspondent la liste est affichée et sortie en erreur.
complète re-écriture
Sébastien Marque authored on 2019-04-27
445
            depute=$true_flag
446
            nom="$2"
447
            shift;;
448
        "--premier-scrutin")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
449
#<numéro>|commence la génération du résultat à partir du scrutin <numéro>
complète re-écriture
Sébastien Marque authored on 2019-04-27
450
            no_db_update=$true_flag
451
            first="$2"
452
            shift;;
453
        "--dernier-scrutin")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
454
#<numéro>|termine la génération du résultat au scrutin <numéro>
complète re-écriture
Sébastien Marque authored on 2019-04-27
455
            no_db_update=$true_flag
456
            last="$2"
457
            shift;;
458
        "--période")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
459
#<jj/mm/aaaa:JJ/MM/AAAA>|génère un résultat pour les scrutins allant de jj/mm/aaaa à JJ/MM/AAAA
complète re-écriture
Sébastien Marque authored on 2019-04-27
460
            periode=$true_flag
461
            no_db_update=$true_flag
462
            periode_value="$2"
463
            shift;;
464
        "--liste-députés-du-groupe")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
465
#<nom court du groupe>|liste les député-e-s du groupe <nom court du groupe> sur la mandature
complète re-écriture
Sébastien Marque authored on 2019-04-27
466
            liste_deputes=$true_flag
467
            liste_deputes_value="${2^^}"
468
            shift;;
469
        "--liste-députés")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
470
#|liste tou-te-s les député-e-s de la mandature
complète re-écriture
Sébastien Marque authored on 2019-04-27
471
            liste_deputes=$true_flag;;
472
        "--liste-dossiers")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
473
#|affiche une liste numérotée des dossiers et sort
complète re-écriture
Sébastien Marque authored on 2019-04-27
474
            liste_dossiers=$true_flag;;
475
        "--dossier")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
476
#<numéro>|génère un résultat pour le dossier numéroté <numéro>
complète re-écriture
Sébastien Marque authored on 2019-04-27
477
            dossier=$true_flag
478
            dossier_value="$2"
479
            shift;;
480
        "--dossiers")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
481
#|sélection interactive du dossier
complète re-écriture
Sébastien Marque authored on 2019-04-27
482
            dossier=$true_flag;;
483
        "--conf")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
484
#<fichier>|indique le chemin vers le fichier de configuration. Par défaut "{_}.conf"
complète re-écriture
Sébastien Marque authored on 2019-04-27
485
            test -r "$2" || {
486
                echo "config introuvable $2" >&2
487
                options_error=$true_flag
488
            }
489
            config_file="$2"
490
            shift;;
491
        "--database")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
492
#<fichier>|indique le chemin vers la base de données SQLite3 contenant les informations. Par défaut "{_}.db"
complète re-écriture
Sébastien Marque authored on 2019-04-27
493
            test -r "$2" && file -b "$2" | grep -q '^SQLite 3.x database' || {
494
                echo "erreur sur option database: fichier '$2' introuvable ou pas une base SQLite 3" >&2
495
                options_error=$true_flag
496
            }
497
            database="$2"
498
            shift;;
499
        "--progrès-génération")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
500
#<chiffre>|affiche de la progression de la génération du fichier tous les <chiffre>%. Par défaut 5
complète re-écriture
Sébastien Marque authored on 2019-04-27
501
            generation_progress="$2"
502
            shift;;
503
        "--progrès-update")
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
504
#<chiffre>|affiche de la progression de la mise à jour de la base de données tous les <chiffre>%. Par défaut 1
complète re-écriture
Sébastien Marque authored on 2019-04-27
505
            update_progress="$2"
506
            shift;;
ajout d'un message d'aide
Sébastien Marque authored on 2019-04-27
507
        "--help")
508
#|affiche cette aide et quitte
509
            echo "$0 [options]"
510
            echo "génère un classeur ODS pour comparer les scrutins publics de la 15ème mandature à l'Assemblée Nationale"
511
            echo
512
            sed -rn '/^ *"--.+"\)/N; s/^ *"(--.+)"\)\n#(.+)$/\1|\2/p' "$0" \
513
                | awk -F'|' -v marge='  ' -v prog="$0" '{
514
                    printf("%s %s\n" marge "%s\n\n", $1, $2, gensub("\\. ", "\\\n" marge, "g", gensub("\\{_\\}", prog, "g", $3)))
515
                }'
516
            exit;;
complète re-écriture
Sébastien Marque authored on 2019-04-27
517
    esac
518
    shift
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
519
done
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
520

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
521
test "$options_error" = $true_flag && exit 1
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
522

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
523
test -z "$database" && database="${0}.db"
utilsation d'une archive com...
Sébastien MARQUE authored on 2019-02-20
524

            
fix syntax error
Sébastien Marque authored on 2019-06-10
525
declare -A groupes
complète re-écriture
Sébastien Marque authored on 2019-04-27
526
if test -n "$config_file"; then
527
    source "$config_file"
528
else
529
    config_file="${0}.conf"
530
    if test -r "$config_file"; then
531
        source "$config_file"
532
    fi
utilsation d'une archive com...
Sébastien MARQUE authored on 2019-02-20
533
fi
534

            
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
535
IFS=',' groupe=(${groupe[0]:-LREM} ${groupe_ref:-GDR})
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
536

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
537
in_ram_database=$(mktemp --dry-run /dev/shm/XXXXXXXXXXXX)
538
if test -r "$database"; then
539
    cp "$database" "$in_ram_database"
540
else
541
    create_database
542
fi
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
543

            
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
544
for (( g = 0; g < ${#groupe[@]}; g++ )); do
amélioration code
Sébastien Marque authored on 2019-05-30
545
    groupe_id[$g]=$(sqlite_request "select id from groupes where nom_court is '${groupe[$g]}'")
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
546
    if test -z "${groupe_id[$g]}"; then
547
        echo "groupe ${groupe[$g]} inconnu" >&2
complète re-écriture
Sébastien Marque authored on 2019-04-27
548
        exit 1
549
    fi
550
done
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
551

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
552
if test "$periode" = $true_flag; then
amélioration code
Sébastien Marque authored on 2019-05-30
553
    first=$(sqlite_request "select num from scrutins where date like '% du ${periode_value%:*}' order by num asc" | head -1)
554
    last=$(sqlite_request "select num from scrutins where date like '% du ${periode_value#*:}' order by num asc" | tail -1)
complète re-écriture
Sébastien Marque authored on 2019-04-27
555
    test -z "$first" && echo "date de début inconnue: ${periode_value#*:}" >&2 && rm -f $in_ram_database && exit 1
556
    test -z "$last" && echo "date de fin inconnue: ${periode_value%:*}" >&2 && rm -f $in_ram_database && exit 1
fix bug sur premier scrutin
Sébastien Marque authored on 2019-04-27
557
elif test "$dossier" != $true_flag; then
complète re-écriture
Sébastien Marque authored on 2019-04-27
558
    test -z "$last" && last=$(wget -qO- 'http://www2.assemblee-nationale.fr/scrutins/liste/(legislature)/15/(type)/TOUS/(idDossier)/TOUS' \
559
            | sed -rn 's,^.*<td class="denom">(.+)</td>.*$,\1,p' \
560
            | head -1)
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
561

            
fix bug sur premier scrutin
Sébastien Marque authored on 2019-04-27
562
    test -z "$first" && first=1
complète re-écriture
Sébastien Marque authored on 2019-04-27
563
fi
affiche nom du fichier des r...
Sébastien MARQUE authored on 2019-03-30
564

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
565
if test "$liste_dossiers" = $true_flag; then
amélioration code
Sébastien Marque authored on 2019-05-30
566
    sqlite_request "select printf('%s - %s', id, url) from url" | sed 's,https*://.*/dossiers/,,; s/_/ /g; s/.asp$//'
complète re-écriture
Sébastien Marque authored on 2019-04-27
567
    exit
568
fi
569

            
570
if test "$db_update_only" = $true_flag; then
571
    unset first last
fix dernier scrutin pour upd...
Sébastien Marque authored on 2019-05-30
572
    last=$(wget -qO- 'http://www2.assemblee-nationale.fr/scrutins/liste/(legislature)/15/(type)/TOUS/(idDossier)/TOUS' \
573
            | sed -rn 's,^.*<td class="denom">(.+)</td>.*$,\1,p' \
574
            | head -1)
complète re-écriture
Sébastien Marque authored on 2019-04-27
575
    update_database
576
    exit
577
fi
578

            
579
if test "$liste_deputes" = $true_flag; then
580
    if test -n "$liste_deputes_value"; then
amélioration code
Sébastien Marque authored on 2019-05-30
581
        sqlite_request "select printf('%s - %s', députés.nom, groupes.nom_court) from députés inner join groupes on groupes.id = députés.groupe where groupes.nom_court is '$liste_deputes_value'"
complète re-écriture
Sébastien Marque authored on 2019-04-27
582
    else
amélioration code
Sébastien Marque authored on 2019-05-30
583
        sqlite_request "select printf('%s - %s', députés.nom, groupes.nom_court) from députés inner join groupes on groupes.id = députés.groupe order by groupes.nom_court asc"
complète re-écriture
Sébastien Marque authored on 2019-04-27
584
    fi
585
    exit
586
fi
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
587

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
588
if test "$depute" = $true_flag; then
589
    if test -n "$nom"; then
amélioration code
Sébastien Marque authored on 2019-05-30
590
        match=$(sqlite_request "select count(députés.id) from députés inner join groupes on groupes.id = députés.groupe where députés.nom like '%$nom%' and groupes.nom_court is '$groupe' collate nocase")
complète re-écriture
Sébastien Marque authored on 2019-04-27
591
        if test $match -ne 1; then
592
            if test $match -eq 0; then
593
                echo "pas de député correspondant dans le groupe $groupe"
594
            else 
595
                echo "plusieurs députés correspondent:"
amélioration code
Sébastien Marque authored on 2019-05-30
596
                sqlite_request "select députés.nom from députés inner join groupes on groupes.id = députés.groupe where députés.nom like '%$nom%' and groupes.nom_court is '$groupe' collate nocase"
complète re-écriture
Sébastien Marque authored on 2019-04-27
597
            fi
598
            exit 1
599
        else
amélioration code
Sébastien Marque authored on 2019-05-30
600
            nom=$(sqlite_request "select députés.id,députés.nom from députés inner join groupes on groupes.id = députés.groupe where députés.nom like '%$nom%' and groupes.nom_court is '$groupe' collate nocase")
ajout possibilité de compare...
Sébastien Marque authored on 2019-05-03
601
            groupe[0]="${nom#*|} (${groupe[0]})"
complète re-écriture
Sébastien Marque authored on 2019-04-27
602
        fi
603
    fi
604
fi
605

            
606
if test "$dossier" = $true_flag; then
607
    if test -z "$dossier_value"; then
608
        IFS=$'\n'
amélioration code
Sébastien Marque authored on 2019-05-30
609
        select dossier in $(sqlite_request "select url from url" | sed 's,^.*/dossiers/,,; s/_/ /g; s/.asp$//'); do
complète re-écriture
Sébastien Marque authored on 2019-04-27
610
            if test -n "$dossier"; then
amélioration code
Sébastien Marque authored on 2019-05-30
611
                seq="sqlite_request \"select num from scrutins inner join url on url.id = scrutins.url where url.url like '%/dossiers/${dossier// /_}%' order by num asc\""
612
                qty=$(sqlite_request "select count(num) from scrutins inner join url on url.id = scrutins.url where url.url like '%/dossiers/${dossier// /_}%' order by num asc")
complète re-écriture
Sébastien Marque authored on 2019-04-27
613
                break
614
            fi
615
        done
616
        IFS=$IFS_
617
    else
amélioration code
Sébastien Marque authored on 2019-05-30
618
        seq="sqlite_request \"select num from scrutins inner join url on url.id = scrutins.url where url.id is $dossier_value order by num asc\""
619
        qty=$(sqlite_request "select count(num) from scrutins inner join url on url.id = scrutins.url where url.id is $dossier_value order by num asc")
620
        dossier=$(sqlite_request "select url from url where id is $dossier_value" | sed 's,^.*/dossiers/,,; s/_/ /g; s/.asp$//')
complète re-écriture
Sébastien Marque authored on 2019-04-27
621
    fi
622
fi
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
623

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
624
update_database
625
write_comparaison