WipNav-WipCom: ricerca formato autovelox

[paolol61]

Ciao ,
ho fatto alcune prove con i vari file e ho notato che alcuni autovelox spariscono se ci sono fotored o altri autovelox vicini, magari nella strada a fianco, sui i file non ufficiali.
Quindi penso che siano versioni di test, penso quindi di ritornare al file ufficiale di Maggio che anche se come data è vecchio almeno è il più completo, nei limiti di quello che ho potuto verificare io girando fra lucca e firenze.
Qualcun altro ha notato queste discrepanze ?

PS
Dimenticavo un Grazie a sssurfer per il post.
per Foxsel --> in settimana nuova provo a vedere se ho un po di tempo, grazie dei link

[pcantiello]

Ho appena ricevuto una mail da WipInfoRadars.
Dal momento che ero stato uno dei primi clienti a comprare il file, mi mandano un codice per effettuare uno scaricamento gratuito dell'aggiornamento.

L'ho appena effettuato ed il file risulta aggiornato adesso al 21 ottobre.
Credo che anche gli altri che hanno comprato dovrebbero averlo ricevuto.

[sssurfer]

@Foxsel: grazie per l'eccellente 010 Editor! Per ora non mi ha aiutato a capire di più il formato del file, ma è certo utile. Hai detto che alcuni dati li hai capiti. Quali?

@pcantiello: ho potuto scaricare anch'io l'aggiornamento gratis. Sospetto che l'abbiano fatto per rimediare a una ca**ata e cioè che il file di maggio sia stato fornito per errore nei primi giorni di funzionamento del sito. Ma cmq meglio così che se l'avessero fatto in malafede come avevo sospettato.

@paolo61: grazie per la segnalazione.

Ho controllato la larghezza delle aree piene (tolti gli header e le aree vuote) nei vari file ora a nostra disposizione, e risultano occupare dal 71% all'84% del file. Nell'ultimo file, quello del 21 ottobre, le aree piene occupano 119544 bytes. Per i 18218 autovelox dichiarati questo corrisponde a 6.56 bytes ad autovelox. Quindi se i dati non sono compressi dovremmo aspettarci 6 o 7 bytes come lunghezza di record.
Inoltre questo file contiene 17 "blocchi", come quello di maggio e diversamente dagli altri. E di tutti i file è quello dove l'informazione è più densa: 84.6% di aree piene.

Infine ho notato che ogni blocco appare avere la seguente struttura:
- 32 bytes iniziali "XYDataContainer... SpeedLimit";
- un'area di lunghezza variabile (ma sempre multipla di 16, generalmente da 13 a 16 righe di 16 bytes ciascuna) abbastanza ricca di bytes zero;
- l'area successiva, fino ai fatidici 8192 bytes dall'inizio del blocco, in cui i bytes zero sono invece rarissimi.

Sarebbe interessante misurare la ridondanza interna di tale ultima area: se fosse molto bassa sarebbe un'indizio che i dati all'interno di essa sono compressi con un algoritmo generale di compressione.
In assenza di un misuratore di ridondanza ho provato a zippare una di tali aree, e la compressione che ho ottenuto è appena del 4%: suggestivo di ridondanza assai bassa.
Insomma, sospetto sempre più che, all'interno di ogni "blocco", i dati siano compressi.
Il che spiegherebbe come possano inzeppare latitudine, longitudine e velocità (oltre al tipo di autovelox, semaforo o no) in appena 6-7 bytes per ogni autovelox.

[sssurfer]

Titolo del thread lievemente modificato per includere gli amici con WipCom. I files hazardareas.lwd e versionhazard.txt sono gli stessi.

[Foxsel]

Allora questo è quello che ho capito mettendo in piedi questo template da dare in pasto a 010Editor per parsare i file lwd.

//--------------------------------------
//--- 010 Editor v3.0.5 Binary Template
//
// File:
// Author:
// Revision:
// Purpose:
//--------------------------------------
struct DBF {
struct HEADER {
char version[36];
int numberOfRecords;
int lengthOfHeaderStructure;
int lengthOfEachRecord;
} header;
struct UNKNOW {
int unk;
int unk1;
int unk2;
int unk3;
} unknow;
struct FIELD {
char tag[4];
int tag1;
int tag2;
int tag3;
int offsetField;
int sizeField;
} field[(82)];
struct ENDFIELDS{
int unkn;
int unkn1;
int unkn2;
int unkn3;
} endfields;
struct RECORD {
char head_record[16];
int recordInformationLength;
char head1_record[12];
int recordLength;
struct CHAIN{
char tag[4];
char tag1[4];
char tag2[4];
char tag3[4];
} chain;
int repetitiveData;
int nationCode;
int nationCode1;
int nationCode2;
int nationCode3;
int blob[8120/4];
} record [ header.numberOfRecords ] <optimize=false>;
}

dbf <optimize=false>;


Da questo template si evince una cosa importante o sia che c'è un codice nazione io ne ho contati 14 che dovrebbero essere le nazioni che aggiorna il file e sono
1> 352
2> 304
3> 328
4> 296
5> 448
6> 472
7> 408
8> 336
9> 232
10> 344
11> 368
12> 376
13> 416
14> 72
il 14 mi sa tanto che potrebbe essere la svizzera o un paese comunque piccolo è l'ultimo record quello con pochissimi dati e secondo me si potrebbe lavorare con quello per tirare fuori altre informazioni dal campo che ho chiamato blob.

Cerco di allegare delle immagini per farvi vedere come il template interpreta quello che ho riportato sopra.

LWD_parser_inprogress_20091030.rar

[sssurfer]

Contributo eccezionale, Foxsel!

Appena posso cerco di prendere confidenza con ciò che hai scoperto. Per l'intanto posso confermarti che, come avevo accennato in un precedente post, da quanto si legge nel sito di scaricamento le nazioni sono in effetti 14 e l'ultima dovrebbe essere Andorra (quindi molto piccola come hai previsto):
Francia, UK, Italia, Spagna, Belgio, Paesi Bassi, Austria, Polonia, Svezia, Norvegia, Finlandia, Repubblica Ceca, Slovenia, Andorra

Per quanto riguarda il "blob": non sembra anche a te che potrebbe essere compresso, almeno nella parte (che poi è quasi tutto) che contiene pochissimi valori zero e bassissima ridondanza?
Nei files per RT4 la Peugeot (o Harman-Becker o chi per loro) usa già da tempo la compressione LZW, quindi questa potrebbe essere una pista da indagare...

[Foxsel]

Qualche novità? qualcuno è riuscito a tirare fuori qualcosa? Io purtroppo ultimamento non ho molto tempo da dedicarci spero che qualcuno del gruppo sia più libero e riesca a dare significato al campo "blob" del parser che ho postato... ciao!

[sssurfer]

Purtroppo anch'io ho pochissimo tempo libero in questo periodo e sarà ancora così per tutta questa settimana. Non vedo l'ora di poter giocare un po' con 010 Editor.

Purtroppo però temo sempre più che il "blob" sia compresso e che quindi dovremmo scoprire come decomprimerlo prima di sperare di capire come vi sono archiviati i dati.

[melo]

Amici, mi unisco a voi per le ricerche dato che ho anch'io un WIP NAV ed essendo un perito informatico non dovrei avere problemi. Lavoro con MacOSX. Se vi posso essere di aiuto chiedete pure. Intanto acquisto anch'io i file dal sito https://www.wipinforadars.fr/" onclick="window.open(this.href);return false; e li studio.

[melo]

Ho appena acquistato i RADARS e sono aggiornati al 2 Novembre 2009. Chiedete (informazioni) e vi sarà dato...
Saluti.

[luchinofi]

Ho appena acquistato i RADARS e sono aggiornati al 2 Novembre 2009. Chiedete (informazioni) e vi sarà dato...
Saluti.

e come e' secondo te il file?
voglio dire se contiene tutti gli autovelox...insomma lo trovi attendibile e preciso?
o manca di molti atx come tutti i precedenti?

Ciao e grazie a tutti per il lavoro che state facendo

[melo]

Beh, attualmente non posso verificare perchè l'auto non ce l'ho con me, ma il file versionhazard.txt contiene tale voce: "name=EU RADARS 2009-11-02"

[cioni.valerio]

SONO STATO UN PO' ASSENTE DAL FORUM...
HO LETTO TUTTO IL POST... DA DOMANI MI ATTIVO ANCH'IO, SCARICANDO I FILE...

COMPLIMENTI A TUTTI !!!!

[Foxsel]

Beh, attualmente non posso verificare perchè l'auto non ce l'ho con me, ma il file versionhazard.txt contiene tale voce: "name=EU RADARS 2009-11-02"

Ciao Melo.. ho letto che possiedi l'ultimo file che aggiorna le hazardareas, se riesci ad inviarmelo vorrei verificare con la struttura che ho postato precedentemente per capire se anche con il file nuovo funziona e se non è cosi cercare di modificare ulteriormente la struttura dati che ho creato.. ciao e grazie!

[zio_tibia]

Sono stato assente pure io, ma era tale e tanta la voglia di risolvere il problema del formato che a questo scopo ho acquistato una 308 con WIP NAV
Da lunedi comincio a studiarci su.