scripts / analyse-votes-AN /
Newer Older
530 lines | 25.151kb
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
1
#!/bin/bash
2

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
3
for tool in sqlite3 getopt md5sum mktemp; do
4
    which $tool > /dev/null 2>&1 || {
5
        echo missing tool $tool
6
        exit 1
7
    }
plus de souplesse dans les p...
Sébastien MARQUE authored on 2019-02-20
8
done
9

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
10
function create_database () {
11
    declare -A groupes
12
    if test -z "${groupes[@]}"; then
13
        echo "unable to find groupes in $config_file" >&2
14
        exit 1
fixe pb quand groupe cible e...
Sébastien Marque authored on 2019-02-18
15
    fi
complète re-écriture
Sébastien Marque authored on 2019-04-27
16

            
17
    sqlite3 "$in_ram_database" <<< "create table if not exists votes (id integer primary key, nom text)"
18
    sqlite3 "$in_ram_database" <<< "create table if not exists url (id integer primary key autoincrement, url text)"
19
    sqlite3 "$in_ram_database" <<< "create table if not exists députés (id integer primary key autoincrement, nom text, groupe integer)"
20
    sqlite3 "$in_ram_database" <<< "create table if not exists groupes (id integer primary key autoincrement, nom text, nom_court text)"
21
    sqlite3 "$in_ram_database" <<< "create table if not exists scrutins (num integer primary key, date text not null, intitulé text non null, adoption boolean, url integer)"
22
    sqlite3 "$in_ram_database" <<< "create table if not exists dépouillement (député integer not null, scrutin integer not null, groupe integer not null, vote integer not null)"
23

            
24
    v_id=0
25
    for v in Pour Contre Abstention Non-votant; do
26
        if test -z $(sqlite3 "$in_ram_database" <<< "select nom from votes where id is $v_id"); then
27
            sqlite3 "$in_ram_database" <<< "insert into votes values ($v_id, '$v')"
28
        else
29
            test -z $(sqlite3 "$in_ram_database" <<< "select nom from votes where id is $v_id and nom is '$v'") \
30
                && sqlite3 "$in_ram_database" <<< "update votes set nom = '$v' where id is $v_id)"
31
        fi
32
        let v_id++
33
    done
34
    unset v_id v
35

            
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
36
    for g in ${!groupes[@]}; do
complète re-écriture
Sébastien Marque authored on 2019-04-27
37
        test -z $(sqlite3 "$in_ram_database" <<< "select id from groupes where nom is '${groupes[$g]}' and nom_court is '$g'") \
38
            && sqlite3 "$in_ram_database" <<< "insert into groupes (nom, nom_court) values ('${groupes[$g]}', '$g')"
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
39
    done
complète re-écriture
Sébastien Marque authored on 2019-04-27
40
    unset g groupes
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
41

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
42
    test -z $(sqlite3 "$in_ram_database" <<< "select id from url where id = 0") \
43
        && sqlite3 "$in_ram_database" <<< "insert into url values (0, '')"
44
}
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
45

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
46
function update_database () {
47
    test "$no_db_update" = $true_flag && return
48
    tempfile="/dev/shm/scrutin.$$"
49
    progress=0
fix bug sur premier scrutin
Sébastien Marque authored on 2019-04-27
50
    first_=$first
51
    first=$(sqlite3 "$in_ram_database" <<< "select count(num) from scrutins")
complète re-écriture
Sébastien Marque authored on 2019-04-27
52
    if test ${first:-0} -lt $last; then
53
        echo "récupération des scrutins n°$((${first:-0}+1)) à n°$last dans "$database" (à conserver autant que possible)" >&2
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
54

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
55
        url_database=/dev/shm/url_database
56
        : > "$url_database"
57
        test $((last % 100)) -ne 0 && last_offset=0
58
        for offset in $(seq $((last - 100)) -100 ${first:-0} ) $last_offset; do
59
            wget -qO- "http://www2.assemblee-nationale.fr/scrutins/liste/(offset)/$offset/(legislature)/15/(type)/TOUS/(idDossier)/TOUS" \
60
                | awk '
61
                    /<td class="denom">/ {
62
                        scrutin = gensub(/^.+denom.>([[:digit:]]+).*<.td./,"\\1","1",$0)
63
                    }
64
                    /<td class="desc">.+dossier<.a/ {
65
                        a[scrutin] = gensub(/^.+.<a href="(.+)">dossier<.a>.*$/,"\\1","1",$0)
66
                    }
67
                    END {
68
                        for (i in a)
69
                            print gensub("*","","1",i) "|" a[i]
70
                    }' >> "$url_database"
71
        done
72
        sort -u "$url_database" > "${url_database}.sorted"
73
        mv -f "${url_database}.sorted" "$url_database"
74

            
75
        IFS=$'\n'
76
        begin=$(date +%s)
77
        for scrutin in $(seq $((${first:-0}+1)) $last); do
78
            wget -qO- "http://www2.assemblee-nationale.fr/scrutins/detail/(legislature)/15/(num)/$scrutin" \
79
                |  sed -r '0,/< *div class="titre-bandeau-bleu +to-print" *>/d; /< *script +type="text\/javascript" *>/,$d' > $tempfile
80

            
81
            unset title date adoption url id_url
82

            
83
            title=$(sed -rn '/<h1 class="">Analyse du scrutin n° '$scrutin'/n; s,^.*<h3 class="president-title">(.+).</h3>,\1,p' $tempfile \
84
                    | sed "s/;//g; s/[ \t][ \t]+/ /g; s/^Scrutin public sur *//; s/^l[ae']s* *//")
85
            date=$(sed -rn 's,^.*<h1 class="">Analyse du scrutin n° '$scrutin'<br/>(.+) </h1>,\1,p' $tempfile)
86
            adoption=$(sed -rn 's,^.*<p class="annonce"><span class="annoncevote">(.+).</span></p>.*$,\1,p' $tempfile)
87
            test -n "$title" -a -n "$date" -a -n "$adoption" || {
88
                echo "erreur dans la récupération du scrutin $scrutin"
89
                exit 1
90
            }
91
            grep -q 'e a a' <<< "$adoption" && adoption=1 || adoption=0
petite simplification du cod...
Sébastien MARQUE authored on 2019-03-31
92

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
93
            url=$(awk -F'|' "/^$scrutin\|/{print \$2}" "$url_database")
94
            id_url=$(sqlite3 "$in_ram_database" <<< "select id from url where url is '$url'")
95
            if test -z "$id_url"; then
96
                sqlite3 "$in_ram_database" <<< "insert into url (url) values ('$url')"
97
                id_url=$(sqlite3 "$in_ram_database" <<< "select id from url where url is '$url'")
98
            fi
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
99

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
100
            sqlite3 "$in_ram_database" <<< "insert into scrutins values ($scrutin, '$date', \"${title//\"}\", $adoption, ${id_url:-0})"
101

            
102
            for v in $(sqlite3 "$in_ram_database" <<< "select * from votes"); do
103
                for g in $(sqlite3 "$in_ram_database" <<< "select id,nom from groupes"); do
104
                    for d in $(sed -rn '/<p class="nomgroupe">'${g#*|}' <span class="block topmargin">/,/<div class="TTgroupe topmargin-lg">/p' $tempfile \
105
                        | sed -rn '/<p class="typevote">'${v#*|}':/,/<.div>/p' \
106
                        | sed 's,</li>,\n,g' \
107
                        | sed -rn '/<p class="typevote">/d; s,^\s*<li>\s*,,; s,&nbsp;, ,g; s/^\s*//; s/M(me|\.) //; s/ \(.*$//; s,<b>,,; s,</b>,,p'); do
108
                        d_id=$(sqlite3 "$in_ram_database" <<< "select id from députés where nom is \"$d\" and groupe is ${g%|*}")
109
                        if test -z "$d_id"; then
110
                            sqlite3 "$in_ram_database" <<< "insert into députés (nom, groupe) values (\"$d\", ${g%|*})"
111
                            d_id=$(sqlite3 "$in_ram_database" <<< "select id from députés where nom is \"$d\" and groupe is ${g%|*}")
112
                        fi
113
                        sqlite3 "$in_ram_database" <<< "insert into dépouillement values ($d_id, $scrutin, ${g%|*}, ${v%|*})"
114
                    done
115
                done
116
            done
117

            
118
            if test $((($scrutin*100)/$last)) -ne $progress; then
119
                progress=$((($scrutin*100)/$last))
120
                if test $(($progress % ${update_progress:-1})) -eq 0; then
121
                    now=$(date +%s)
122
                    delta=$(( $now - $begin ))
123
                    echo $progress%, ETA: $(date +%H:%M:%S -d "$(($delta * ($last - $scrutin) / $scrutin)) seconds")
124
                fi
125
            fi
126
        done
127
        rm -f "$url_database" "$tempfile"
128
    fi
fix bug sur premier scrutin
Sébastien Marque authored on 2019-04-27
129
    first=$first_
complète re-écriture
Sébastien Marque authored on 2019-04-27
130
}
131

            
132
function write_comparaison () {
133
    result="comparaisons $cible avec $groupe_ref${dossier:+ - ${dossier}}"
134
    content="/dev/shm/$result/content.xml"
135
    id_cols="Scrutin Date Titre Adoption"
136
    typevotes=$(sqlite3 "$in_ram_database" <<< "select nom from votes")
137
    nb_cols=$(wc -w <<< "$id_cols $typevotes $typevotes")
138

            
139
    echo "génération du fichier $result"
140

            
141
    mkdir -p "/dev/shm/$result/META-INF"
142

            
143
    cat > "/dev/shm/$result/META-INF/manifest.xml" << EOmetainf
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
144
<?xml version="1.0" encoding="UTF-8"?>
145
<manifest:manifest xmlns:manifest="urn:oasis:names:tc:opendocument:xmlns:manifest:1.0" manifest:version="1.2">
146
 <manifest:file-entry manifest:full-path="/" manifest:version="1.2" manifest:media-type="application/vnd.oasis.opendocument.spreadsheet"/>
147
 <manifest:file-entry manifest:full-path="content.xml" manifest:media-type="text/xml"/>
148
</manifest:manifest>
149
EOmetainf
150

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
151
    printf 'application/vnd.oasis.opendocument.spreadsheet' > "/dev/shm/$result/mimetype"
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
152

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
153
    echo '<?xml version="1.0" encoding="UTF-8"?>' > "$content"
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
154

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
155
    cat >> "$content" << EOcontent
156
    <office:document-content xmlns:office="urn:oasis:names:tc:opendocument:xmlns:office:1.0" xmlns:style="urn:oasis:names:tc:opendocument:xmlns:style:1.0" xmlns:text="urn:oasis:names:tc:opendocument:xmlns:text:1.0" xmlns:table="urn:oasis:names:tc:opendocument:xmlns:table:1.0" xmlns:draw="urn:oasis:names:tc:opendocument:xmlns:drawing:1.0" xmlns:fo="urn:oasis:names:tc:opendocument:xmlns:xsl-fo-compatible:1.0" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:meta="urn:oasis:names:tc:opendocument:xmlns:meta:1.0" xmlns:number="urn:oasis:names:tc:opendocument:xmlns:datastyle:1.0" xmlns:presentation="urn:oasis:names:tc:opendocument:xmlns:presentation:1.0" xmlns:svg="urn:oasis:names:tc:opendocument:xmlns:svg-compatible:1.0" xmlns:chart="urn:oasis:names:tc:opendocument:xmlns:chart:1.0" xmlns:dr3d="urn:oasis:names:tc:opendocument:xmlns:dr3d:1.0" xmlns:math="http://www.w3.org/1998/Math/MathML" xmlns:form="urn:oasis:names:tc:opendocument:xmlns:form:1.0" xmlns:script="urn:oasis:names:tc:opendocument:xmlns:script:1.0" xmlns:ooo="http://openoffice.org/2004/office" xmlns:ooow="http://openoffice.org/2004/writer" xmlns:oooc="http://openoffice.org/2004/calc" xmlns:dom="http://www.w3.org/2001/xml-events" xmlns:xforms="http://www.w3.org/2002/xforms" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:rpt="http://openoffice.org/2005/report" xmlns:of="urn:oasis:names:tc:opendocument:xmlns:of:1.2" xmlns:xhtml="http://www.w3.org/1999/xhtml" xmlns:grddl="http://www.w3.org/2003/g/data-view#" xmlns:tableooo="http://openoffice.org/2009/table" xmlns:drawooo="http://openoffice.org/2010/draw" xmlns:calcext="urn:org:documentfoundation:names:experimental:calc:xmlns:calcext:1.0" xmlns:loext="urn:org:documentfoundation:names:experimental:office:xmlns:loext:1.0" xmlns:field="urn:openoffice:names:experimental:ooo-ms-interop:xmlns:field:1.0" xmlns:formx="urn:openoffice:names:experimental:ooxml-odf-interop:xmlns:form:1.0" xmlns:css3t="http://www.w3.org/TR/css3-text/" office:version="1.2">
157
    <office:scripts/>
158
    <office:font-face-decls>
159
    <style:font-face style:name="Liberation Sans" svg:font-family="&apos;Liberation Sans&apos;" style:font-family-generic="swiss" style:font-pitch="variable"/>
160
    <style:font-face style:name="DejaVu Sans" svg:font-family="&apos;DejaVu Sans&apos;" style:font-family-generic="system" style:font-pitch="variable"/>
161
    <style:font-face style:name="FreeSans" svg:font-family="FreeSans" style:font-family-generic="system" style:font-pitch="variable"/>
162
    </office:font-face-decls>
163
    <office:automatic-styles>
164
EOcontent
165

            
166
    for i in $(seq $nb_cols); do
167
        cat >> "$content" << EOcontent
168
            <style:style style:name="co$i" style:family="table-column">
169
            <style:table-column-properties fo:break-before="auto" style:column-width="30.00mm"/>
170
            </style:style>
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
171
EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
172
    done
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
173

            
174
    cat >> "$content" << EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
175
    <style:style style:name="ro1" style:family="table-row">
176
    <style:table-row-properties style:row-height="4.52mm" fo:break-before="auto" style:use-optimal-row-height="true"/>
177
    </style:style>
178
    <style:style style:name="ta1" style:family="table" style:master-page-name="Default">
179
    <style:table-properties table:display="true" style:writing-mode="lr-tb"/>
180
    </style:style>
181
    <style:style style:name="ce1" style:family="table-cell" style:parent-style-name="Default">
182
    <style:table-cell-properties fo:background-color="#cccccc"/>
183
    </style:style>
184
    </office:automatic-styles>
185
    <office:body>
186
    <office:spreadsheet>
187
    <table:calculation-settings table:automatic-find-labels="false"/>
188
    <table:table table:name="$result" table:style-name="ta1">
189
    <office:forms form:automatic-focus="false" form:apply-design-mode="false"/>
190
    <table:table-column table:style-name="co1" table:number-columns-repeated="$(wc -w <<< $id_cols)" table:default-cell-style-name="Default"/>
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
191
EOcontent
192

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
193
    for i in $(seq $(wc -w <<< $typevotes)); do
194
        cat >> "$content" << EOcontent
195
        <table:table-column table:style-name="co1" table:default-cell-style-name="ce1"/>
196
        <table:table-column table:style-name="co1" table:default-cell-style-name="Default"/>
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
197
EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
198
    done
199
    echo '<table:table-row table:style-name="ro1">' >> "$content"
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
200

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
201
    for colonne in $id_cols; do
202
        cat >> "$content" << EOcontent
203
            <table:table-cell office:value-type="string" calcext:value-type="string">
204
            <text:p>$colonne</text:p>
205
            </table:table-cell>
206
EOcontent
207
    done
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
208

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
209
    for typevote in $typevotes; do
210
        for g in "$cible" $groupe_ref; do
211
            cat >> "$content" << EOcontent
212
                <table:table-cell office:value-type="string" calcext:value-type="string">
213
                <text:p>$typevote - $g</text:p>
214
                </table:table-cell>
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
215
EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
216
        done
217
    done
218

            
219
    echo '</table:table-row>' >> "$content"
220

            
221
    progress=0
222
    begin=$(date +%s)
223
    line=1
224
    for scrutin in $(eval ${seq:-seq $first $last}); do
225

            
226
        data=$(sqlite3 "$in_ram_database" <<< "select date,intitulé,adoption,url.url from scrutins inner join url on scrutins.url = url.id where num is $scrutin")
227
        date=$(cut -d'|' -sf 1 <<< $data)
228
        title=$(cut -d'|' -sf 2 <<< $data)
229
        adoption=$(cut -d'|' -sf 3 <<< $data)
230
        url=$(cut -d'|' -sf 4 <<< $data)
231
        test $adoption -eq 1 && adoption='oui' || adoption='non'
groupe de référence: GDR
Sébastien MARQUE authored on 2019-02-17
232

            
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
233
        cat >> "$content" << EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
234
            <table:table-row table:style-name="ro1">
235
EOcontent
236
        if test -n "$url"; then
237
            cat >> "$content" << EOcontent
238
                <table:table-cell office:value-type="string" calcext:value-type="string">
239
                <text:p><text:a xlink:href="$url" xlink:type="simple">$scrutin</text:a></text:p>
240
                </table:table-cell>
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
241
EOcontent
complète re-écriture
Sébastien Marque authored on 2019-04-27
242
        else
243
            cat >> "$content" << EOcontent
244
                <table:table-cell office:value-type="float" office:value="$scrutin" calcext:value-type="float">
245
                <text:p>$scrutin</text:p>
246
                </table:table-cell>
247
EOcontent
248
        fi
249
        cat >> "$content" << EOcontent
250
            <table:table-cell office:value-type="string" calcext:value-type="string">
251
            <text:p>$date</text:p>
252
            </table:table-cell>
253
            <table:table-cell office:value-type="string" calcext:value-type="string">
254
            <text:p>${title//\'/&apos;}</text:p>
255
            </table:table-cell>
256
            <table:table-cell office:value-type="string" calcext:value-type="string">
257
            <text:p>${adoption}</text:p>
258
            </table:table-cell>
259
EOcontent
260
        for typevote in 0 1 2 3; do
261
            cible_votes=$(sqlite3 "$in_ram_database" <<< "select
262
                                        count(député)
263
                                     from
264
                                        dépouillement
265
                                     where
266
                                        scrutin is $scrutin
267
                                     and
268
                                        vote is $typevote
269
                                     and
270
                                        groupe is $groupe_id ${nom:+ and député is ${nom%|*}}")
271
            ref_votes=$(sqlite3 "$in_ram_database" <<< "select
272
                                        count(député)
273
                                     from
274
                                        dépouillement
275
                                     where
276
                                        scrutin is $scrutin
277
                                     and
278
                                        vote is $typevote
279
                                     and
280
                                        groupe is $groupe_ref_id")
281
            cat >> "$content" << EOcontent
282
                <table:table-cell office:value-type="float" office:value="$cible_votes" calcext:value-type="float">
283
                <text:p>$cible_votes</text:p>
284
                </table:table-cell>
285
                <table:table-cell office:value-type="float" office:value="$ref_votes" calcext:value-type="float">
286
                <text:p>$ref_votes</text:p>
287
                </table:table-cell>
288
EOcontent
289
            done
290
        echo '</table:table-row>' >> "$content"
291

            
meilleur calcul progression
Sébastien Marque authored on 2019-04-27
292
        if test $(( ($line * 100) / ${qty:-$last} )) -ne $progress; then
293
            progress=$(( ($line * 100) / ${qty:-$last} ))
294
            if test $(( $progress % ${generation_progress:-5} )) -eq 0; then
complète re-écriture
Sébastien Marque authored on 2019-04-27
295
                now=$(date +%s)
296
                delta=$(( $now - $begin ))
meilleur calcul progression
Sébastien Marque authored on 2019-04-27
297
                echo $progress%, ETA: $(date +%H:%M:%S -d "$(( $delta * (${qty:-$last} - $line) / $line )) seconds")
complète re-écriture
Sébastien Marque authored on 2019-04-27
298
            fi
299
        fi
meilleur calcul progression
Sébastien Marque authored on 2019-04-27
300

            
301
        let line++
302

            
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
303
    done
complète re-écriture
Sébastien Marque authored on 2019-04-27
304
    echo
305

            
306
    cat >> "$content" << EOcontent
307
    </table:table>
308
    <table:named-expressions/>
309
    <table:database-ranges>
310
    <table:database-range table:name="__Anonymous_Sheet_DB__0" table:target-range-address="&apos;$result&apos;.D1:&apos;$result&apos;.$(printf "\\$(printf '%03o' $((64+$nb_cols)))")$line" table:display-filter-buttons="true"/>
311
    </table:database-ranges>
312
    </office:spreadsheet>
313
    </office:body>
314
    </office:document-content>
315
EOcontent
316

            
317
    ( cd "/dev/shm/$result" && zip -r ../"$result" * > /dev/null 2>&1 && cd .. && rm -fr "$result" )
318

            
319
    mv -f "/dev/shm/$result.zip" "$result.ods"
320

            
321
    echo "$result.ods"
322
}
323

            
324
function save_database () {
325
    if test -r "$database" && md5sum $in_ram_database | sed "s,$in_ram_database,$database," | md5sum --status -c -; then
326
        rm -f $in_ram_database
327
    elif test -w "$database"; then
328
        mv -f $in_ram_database "$database"
329
    elif ! test -e "$database"; then
330
        mv $in_ram_database "$database"
331
    else
332
        rm -f $in_ram_database
333
    fi
334
}
335

            
336
trap save_database EXIT
337

            
338
true_flag=$(mktemp --dry-run XXXXX)
339

            
340
OPTS=$( getopt -l no-db-update,\
341
                  db-update-only,\
342
                  cible:,\
343
                  ref:,\
344
                  député:,\
345
                  premier-scrutin:,\
346
                  dernier-scrutin:,\
347
                  période:,\
348
                  liste-dossiers,\
349
                  liste-députés,\
350
                  dossiers,\
351
                  dossier:,\
352
                  conf:,\
353
                  database:,\
354
                  progrès-génération:\
355
                  progrès-update: \
356
                  -- "$@" )
357

            
358
eval set --$OPTS
359

            
360
while [[ $# -gt 0 ]]; do
361
    case "$1" in
362
        "--no-db-update")
363
            no_db_update=$true_flag;;
364
        "--db-update-only")
365
            db_update_only=$true_flag;;
366
        "--cible")
367
            groupe="${2^^}"
368
            shift;;
369
        "--ref")
fix typo
Sébastien Marque authored on 2019-04-27
370
            groupe_ref="${2^^}"
complète re-écriture
Sébastien Marque authored on 2019-04-27
371
            shift;;
372
        "--député")
373
            depute=$true_flag
374
            nom="$2"
375
            shift;;
376
        "--premier-scrutin")
377
            no_db_update=$true_flag
378
            first="$2"
379
            shift;;
380
        "--dernier-scrutin")
381
            no_db_update=$true_flag
382
            last="$2"
383
            shift;;
384
        "--période")
385
            periode=$true_flag
386
            no_db_update=$true_flag
387
            periode_value="$2"
388
            shift;;
389
        "--liste-députés-du-groupe")
390
            liste_deputes=$true_flag
391
            liste_deputes_value="${2^^}"
392
            shift;;
393
        "--liste-députés")
394
            liste_deputes=$true_flag;;
395
        "--liste-dossiers")
396
            liste_dossiers=$true_flag;;
397
        "--dossier")
398
            dossier=$true_flag
399
            dossier_value="$2"
400
            shift;;
401
        "--dossiers")
402
            dossier=$true_flag;;
403
        "--conf")
404
            test -r "$2" || {
405
                echo "config introuvable $2" >&2
406
                options_error=$true_flag
407
            }
408
            config_file="$2"
409
            shift;;
410
        "--database")
411
            test -r "$2" && file -b "$2" | grep -q '^SQLite 3.x database' || {
412
                echo "erreur sur option database: fichier '$2' introuvable ou pas une base SQLite 3" >&2
413
                options_error=$true_flag
414
            }
415
            database="$2"
416
            shift;;
417
        "--progrès-génération")
418
            generation_progress="$2"
419
            shift;;
420
        "--progrès-update")
421
            update_progress="$2"
422
            shift;;
423
    esac
424
    shift
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
425
done
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
426

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
427
test "$options_error" = $true_flag && exit 1
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
428

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
429
test -z "$database" && database="${0}.db"
utilsation d'une archive com...
Sébastien MARQUE authored on 2019-02-20
430

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
431
if test -n "$config_file"; then
432
    source "$config_file"
433
else
434
    config_file="${0}.conf"
435
    if test -r "$config_file"; then
436
        source "$config_file"
437
    fi
utilsation d'une archive com...
Sébastien MARQUE authored on 2019-02-20
438
fi
439

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
440
groupe=${groupe:-LREM}
441
groupe_ref=${groupe_ref:-GDR}
442
cible=$groupe
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
443

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
444
in_ram_database=$(mktemp --dry-run /dev/shm/XXXXXXXXXXXX)
445
if test -r "$database"; then
446
    cp "$database" "$in_ram_database"
447
else
448
    create_database
449
fi
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
450

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
451
for g in groupe groupe_ref; do
452
    eval "${g}_id=$(sqlite3 "$in_ram_database" <<< "select id from groupes where nom_court is '${!g}'")"
453
    if eval "test -z \$${g}_id"; then
454
        echo "groupe ${!g} inconnu" >&2
455
        exit 1
456
    fi
457
done
ajout script d'analyse des v...
Sébastien MARQUE authored on 2019-02-17
458

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
459
if test "$periode" = $true_flag; then
460
    first=$(sqlite3 "$in_ram_database" <<< "select num from scrutins where date like '% du ${periode_value%:*}' order by num asc" | head -1)
461
    last=$(sqlite3 "$in_ram_database" <<< "select num from scrutins where date like '% du ${periode_value#*:}' order by num asc" | tail -1)
462
    test -z "$first" && echo "date de début inconnue: ${periode_value#*:}" >&2 && rm -f $in_ram_database && exit 1
463
    test -z "$last" && echo "date de fin inconnue: ${periode_value%:*}" >&2 && rm -f $in_ram_database && exit 1
fix bug sur premier scrutin
Sébastien Marque authored on 2019-04-27
464
elif test "$dossier" != $true_flag; then
complète re-écriture
Sébastien Marque authored on 2019-04-27
465
    test -z "$last" && last=$(wget -qO- 'http://www2.assemblee-nationale.fr/scrutins/liste/(legislature)/15/(type)/TOUS/(idDossier)/TOUS' \
466
            | sed -rn 's,^.*<td class="denom">(.+)</td>.*$,\1,p' \
467
            | head -1)
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
468

            
fix bug sur premier scrutin
Sébastien Marque authored on 2019-04-27
469
    test -z "$first" && first=1
complète re-écriture
Sébastien Marque authored on 2019-04-27
470
fi
affiche nom du fichier des r...
Sébastien MARQUE authored on 2019-03-30
471

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
472
if test "$liste_dossiers" = $true_flag; then
473
    sqlite3 "$in_ram_database" <<< "select printf('%s - %s', id, url) from url" | sed 's,https*://.*/dossiers/,,; s/_/ /g; s/.asp$//'
474
    exit
475
fi
476

            
477
if test "$db_update_only" = $true_flag; then
478
    unset first last
479
    update_database
480
    exit
481
fi
482

            
483
if test "$liste_deputes" = $true_flag; then
484
    if test -n "$liste_deputes_value"; then
fix erreur de syntaxe
Sébastien Marque authored on 2019-04-27
485
        sqlite3 "$in_ram_database" <<< "select printf('%s - %s', députés.nom, groupes.nom_court) from députés inner join groupes on groupes.id = députés.groupe where groupes.nom_court is '$liste_deputes_value'"
complète re-écriture
Sébastien Marque authored on 2019-04-27
486
    else
fix erreur de syntaxe
Sébastien Marque authored on 2019-04-27
487
        sqlite3 "$in_ram_database" <<< "select printf('%s - %s', députés.nom, groupes.nom_court) from députés inner join groupes on groupes.id = députés.groupe order by groupes.nom_court asc"
complète re-écriture
Sébastien Marque authored on 2019-04-27
488
    fi
489
    exit
490
fi
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
491

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
492
if test "$depute" = $true_flag; then
493
    if test -n "$nom"; then
494
        match=$(sqlite3 "$in_ram_database" <<< "select count(députés.id) from députés inner join groupes on groupes.id = députés.groupe where députés.nom like '%$nom%' and groupes.nom_court is '$groupe' collate nocase")
495
        if test $match -ne 1; then
496
            if test $match -eq 0; then
497
                echo "pas de député correspondant dans le groupe $groupe"
498
            else 
499
                echo "plusieurs députés correspondent:"
500
                sqlite3 "$in_ram_database" <<< "select députés.nom from députés inner join groupes on groupes.id = députés.groupe where députés.nom like '%$nom%' and groupes.nom_court is '$groupe' collate nocase"
501
            fi
502
            exit 1
503
        else
504
            nom=$(sqlite3 "$in_ram_database" <<< "select députés.id,députés.nom from députés inner join groupes on groupes.id = députés.groupe where députés.nom like '%$nom%' and groupes.nom_court is '$groupe' collate nocase")
505
            cible="${nom#*|} ($groupe)"                        
506
        fi
507
    fi
508
fi
509

            
510
if test "$dossier" = $true_flag; then
511
    if test -z "$dossier_value"; then
512
        IFS_=$IFS
513
        IFS=$'\n'
514
        select dossier in $(sqlite3 "$in_ram_database" <<< "select url from url" | sed 's,^.*/dossiers/,,; s/_/ /g; s/.asp$//'); do
515
            if test -n "$dossier"; then
516
                seq="sqlite3 \"$in_ram_database\" <<< \"select num from scrutins inner join url on url.id = scrutins.url where url.url like '%/dossiers/${dossier// /_}%' order by num asc\""
meilleur calcul progression
Sébastien Marque authored on 2019-04-27
517
                qty=$(sqlite3 "$in_ram_database" <<< "select count(num) from scrutins inner join url on url.id = scrutins.url where url.url like '%/dossiers/${dossier// /_}%' order by num asc")
complète re-écriture
Sébastien Marque authored on 2019-04-27
518
                break
519
            fi
520
        done
521
        IFS=$IFS_
522
    else
523
        seq="sqlite3 \"$in_ram_database\" <<< \"select num from scrutins inner join url on url.id = scrutins.url where url.id is $dossier_value order by num asc\""
meilleur calcul progression
Sébastien Marque authored on 2019-04-27
524
        qty=$(sqlite3 "$in_ram_database" <<< "select count(num) from scrutins inner join url on url.id = scrutins.url where url.id is $dossier_value order by num asc")
complète re-écriture
Sébastien Marque authored on 2019-04-27
525
        dossier=$(sqlite3 "$in_ram_database" <<< "select url from url where id is $dossier_value" | sed 's,^.*/dossiers/,,; s/_/ /g; s/.asp$//')
526
    fi
527
fi
écriture directe en feuille ...
Sébastien MARQUE authored on 2019-03-31
528

            
complète re-écriture
Sébastien Marque authored on 2019-04-27
529
update_database
530
write_comparaison