]> git.mxchange.org Git - flightgear.git/blob - src/Navaids/NavDataCache.cxx
5d228c4bcf7dd4d21447884e4b9ab6969ee19bef
[flightgear.git] / src / Navaids / NavDataCache.cxx
1 // NavDataCache.cxx - defines a unified binary cache for navigation
2 // data, parsed from various text / XML sources.
3
4 // Written by James Turner, started 2012.
5 //
6 // Copyright (C) 2012  James Turner
7 //
8 // This program is free software; you can redistribute it and/or
9 // modify it under the terms of the GNU General Public License as
10 // published by the Free Software Foundation; either version 2 of the
11 // License, or (at your option) any later version.
12 //
13 // This program is distributed in the hope that it will be useful, but
14 // WITHOUT ANY WARRANTY; without even the implied warranty of
15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16 // General Public License for more details.
17 //
18 // You should have received a copy of the GNU General Public License
19 // along with this program; if not, write to the Free Software
20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
21
22 #ifdef HAVE_CONFIG_H
23 # include "config.h"
24 #endif
25
26 // to ensure compatability between sqlite3_int64 and PositionedID,
27 // force the type used by sqlite to match PositionedID explicitly
28 #define SQLITE_INT64_TYPE int64_t
29 #define SQLITE_UINT64_TYPE uint64_t
30
31 #include "NavDataCache.hxx"
32
33 // std
34 #include <map>
35 #include <cassert>
36 #include <stdint.h> // for int64_t
37 // boost
38 #include <boost/foreach.hpp>
39
40 #include "sqlite3.h"
41
42 // SimGear
43 #include <simgear/structure/exception.hxx>
44 #include <simgear/debug/logstream.hxx>
45 #include <simgear/bucket/newbucket.hxx>
46 #include <simgear/misc/sg_path.hxx>
47 #include <simgear/misc/strutils.hxx>
48 #include <simgear/threads/SGThread.hxx>
49 #include <simgear/threads/SGGuard.hxx>
50
51 #include <Main/globals.hxx>
52 #include "markerbeacon.hxx"
53 #include "navrecord.hxx"
54 #include <Airports/simple.hxx>
55 #include <Airports/runways.hxx>
56 #include <ATC/CommStation.hxx>
57 #include "fix.hxx"
58 #include <Navaids/fixlist.hxx>
59 #include <Navaids/navdb.hxx>
60 #include "PositionedOctree.hxx"
61 #include <Airports/apt_loader.hxx>
62 #include <Navaids/airways.hxx>
63
64 using std::string;
65
66 #define SG_NAVCACHE SG_GENERAL
67 //#define LAZY_OCTREE_UPDATES 1
68
69 namespace {
70
71 const int SCHEMA_VERSION = 4;
72
73 // bind a std::string to a sqlite statement. The std::string must live the
74 // entire duration of the statement execution - do not pass a temporary
75 // std::string, or the compiler may delete it, freeing the C-string storage,
76 // and causing subtle memory corruption bugs!
77 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
78 {
79   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
80 }
81
82 // variant of the above, which does not care about the lifetime of the
83 // passed std::string
84 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
85 {
86   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
87 }
88   
89 typedef sqlite3_stmt* sqlite3_stmt_ptr;
90
91 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
92 {
93   if (argc != 6) {
94     return;
95   }
96   
97   SGVec3d posA(sqlite3_value_double(argv[0]),
98                sqlite3_value_double(argv[1]),
99                sqlite3_value_double(argv[2]));
100   
101   SGVec3d posB(sqlite3_value_double(argv[3]),
102                sqlite3_value_double(argv[4]),
103                sqlite3_value_double(argv[5]));
104   sqlite3_result_double(ctx, distSqr(posA, posB));
105 }
106   
107   
108 static string cleanRunwayNo(const string& aRwyNo)
109 {
110   if (aRwyNo[0] == 'x') {
111     return string(); // no ident for taxiways
112   }
113   
114   string result(aRwyNo);
115   // canonicalise runway ident
116   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
117     result = "0" + aRwyNo;
118   }
119   
120   // trim off trailing garbage
121   if (result.size() > 2) {
122     char suffix = toupper(result[2]);
123     if (suffix == 'X') {
124       result = result.substr(0, 2);
125     }
126   }
127   
128   return result;
129 }
130   
131 } // anonymous namespace
132
133 namespace flightgear
134 {
135
136 /**
137  * Thread encapsulating a cache rebuild. This is not used to parallelise
138  * the rebuild - we must still wait until completion before doing other
139  * startup, since many things rely on a complete cache. The thread is used
140  * so we don't block the main event loop for an unacceptable duration,
141  * which causes 'not responding' / spinning beachballs on Windows & Mac
142  */
143 class RebuildThread : public SGThread
144 {
145 public:
146   RebuildThread(NavDataCache* cache) :
147   _cache(cache),
148   _isFinished(false)
149   {
150     
151   }
152   
153   bool isFinished() const
154   {
155     SGGuard<SGMutex> g(_lock);
156     return _isFinished;
157   }
158   
159   virtual void run()
160   {
161     SGTimeStamp st;
162     st.stamp();
163     _cache->doRebuild();
164     SG_LOG(SG_GENERAL, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
165     
166     SGGuard<SGMutex> g(_lock);
167     _isFinished = true;
168   }
169 private:
170   NavDataCache* _cache;
171   mutable SGMutex _lock;
172   bool _isFinished;
173 };
174
175 ////////////////////////////////////////////////////////////////////////////
176   
177 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
178   
179 class AirportTower : public FGPositioned
180 {
181 public:
182   AirportTower(PositionedID& guid, PositionedID airport,
183                const string& ident, const SGGeod& pos) :
184     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
185   {
186   }
187 };
188
189 class NavDataCache::NavDataCachePrivate
190 {
191 public:
192   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
193     outer(o),
194     db(NULL),
195     path(p),
196     cacheHits(0),
197     cacheMisses(0)
198   {
199   }
200   
201   ~NavDataCachePrivate()
202   {
203     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
204       sqlite3_finalize(stmt);
205     }
206     prepared.clear();
207     
208     sqlite3_close(db);
209   }
210   
211   void init()
212   {
213     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
214     sqlite3_open_v2(path.c_str(), &db,
215                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
216     
217     
218     sqlite3_stmt_ptr checkTables =
219       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
220     
221     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
222                             f_distanceCartSqrFunction, NULL, NULL);
223     
224     execSelect(checkTables);
225     bool didCreate = false;
226     if (sqlite3_column_int(checkTables, 0) == 0) {
227       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
228       initTables();
229       didCreate = true;
230     }
231     
232     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
233     writePropertyQuery = prepare("INSERT OR REPLACE INTO properties "
234                                  "(key, value) VALUES (?,?)");
235     
236     if (didCreate) {
237       writeIntProperty("schema-version", SCHEMA_VERSION);
238     } else {
239       int schemaVersion = outer->readIntProperty("schema-version");
240       if (schemaVersion != SCHEMA_VERSION) {
241         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
242         throw sg_exception("Navcache schema has changed");
243       }
244     }
245     
246     prepareQueries();
247   }
248   
249   void checkCacheFile()
250   {
251     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
252     SGTimeStamp st;
253     st.stamp();
254     
255     sqlite3_stmt_ptr stmt = prepare("PRAGMA integrity_check(1)");
256     if (!execSelect(stmt)) {
257       throw sg_exception("DB integrity check failed to run");
258     }
259     
260     string v = (char*) sqlite3_column_text(stmt, 0);
261     if (v != "ok") {
262       throw sg_exception("DB integrity check returned:" + v);
263     }
264     
265     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
266     finalize(stmt);
267   }
268   
269   void callSqlite(int result, const string& sql)
270   {
271     if (result == SQLITE_OK)
272       return; // all good
273     
274     string errMsg;
275     if (result == SQLITE_MISUSE) {
276       errMsg = "Sqlite API abuse";
277       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
278     } else {
279       errMsg = sqlite3_errmsg(db);
280       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
281     }
282     
283     throw sg_exception("Sqlite error:" + errMsg, sql);
284   }
285   
286   void runSQL(const string& sql)
287   {
288     sqlite3_stmt_ptr stmt;
289     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
290     
291     try {
292       execSelect(stmt);
293     } catch (sg_exception&) {
294       sqlite3_finalize(stmt);
295       throw; // re-throw
296     }
297     
298     sqlite3_finalize(stmt);
299   }
300   
301   sqlite3_stmt_ptr prepare(const string& sql)
302   {
303     sqlite3_stmt_ptr stmt;
304     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
305     prepared.push_back(stmt);
306     return stmt;
307   }
308   
309   void finalize(sqlite3_stmt_ptr s)
310   {
311     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
312     if (it == prepared.end()) {
313       throw sg_exception("Finalising statement that was not prepared");
314     }
315     
316     prepared.erase(it);
317     sqlite3_finalize(s);
318   }
319   
320   void reset(sqlite3_stmt_ptr stmt)
321   {
322     assert(stmt);
323     if (sqlite3_reset(stmt) != SQLITE_OK) {
324       string errMsg = sqlite3_errmsg(db);
325       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
326       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
327     }
328   }
329   
330   bool execSelect(sqlite3_stmt_ptr stmt)
331   {
332     return stepSelect(stmt);
333   }
334   
335   bool stepSelect(sqlite3_stmt_ptr stmt)
336   {
337     int result = sqlite3_step(stmt);
338     if (result == SQLITE_ROW) {
339       return true; // at least one result row
340     }
341     
342     if (result == SQLITE_DONE) {
343       return false; // no result rows
344     }
345     
346     string errMsg;
347     if (result == SQLITE_MISUSE) {
348       errMsg = "Sqlite API abuse";
349       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
350     } else {
351       errMsg = sqlite3_errmsg(db);
352       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg
353              << " while running:\n\t" << sqlite3_sql(stmt));
354     }
355     
356     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
357   }
358   
359   void execSelect1(sqlite3_stmt_ptr stmt)
360   {
361     if (!execSelect(stmt)) {
362       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
363       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
364     }
365   }
366   
367   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
368   {
369     execSelect(stmt);
370     return sqlite3_last_insert_rowid(db);
371   }
372   
373   void execUpdate(sqlite3_stmt_ptr stmt)
374   {
375     execSelect(stmt);
376   }
377   
378   void initTables()
379   {
380     runSQL("CREATE TABLE properties ("
381            "key VARCHAR,"
382            "value VARCHAR"
383            ")");
384     
385     runSQL("CREATE TABLE stat_cache ("
386            "path VARCHAR unique,"
387            "stamp INT"
388            ")");
389     
390     runSQL("CREATE TABLE positioned ("
391            "type INT,"
392            "ident VARCHAR collate nocase,"
393            "name VARCHAR collate nocase,"
394            "airport INT64,"
395            "lon FLOAT,"
396            "lat FLOAT,"
397            "elev_m FLOAT,"
398            "octree_node INT,"
399            "cart_x FLOAT,"
400            "cart_y FLOAT,"
401            "cart_z FLOAT"
402            ")");
403     
404     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
405     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
406     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
407     // allow efficient querying of 'all ATIS at this airport' or
408     // 'all towers at this airport'
409     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
410     
411     runSQL("CREATE TABLE airport ("
412            "has_metar BOOL"
413            ")"
414            );
415     
416     runSQL("CREATE TABLE comm ("
417            "freq_khz INT,"
418            "range_nm INT"
419            ")"
420            );
421     
422     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
423     
424     runSQL("CREATE TABLE runway ("
425            "heading FLOAT,"
426            "length_ft FLOAT,"
427            "width_m FLOAT,"
428            "surface INT,"
429            "displaced_threshold FLOAT,"
430            "stopway FLOAT,"
431            "reciprocal INT64,"
432            "ils INT64"
433            ")"
434            );
435     
436     runSQL("CREATE TABLE navaid ("
437            "freq INT,"
438            "range_nm INT,"
439            "multiuse FLOAT,"
440            "runway INT64,"
441            "colocated INT64"
442            ")"
443            );
444     
445     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
446     
447     runSQL("CREATE TABLE octree (children INT)");
448     
449     runSQL("CREATE TABLE airway ("
450            "ident VARCHAR collate nocase,"
451            "network INT" // high-level or low-level
452            ")");
453     
454     runSQL("CREATE INDEX airway_ident ON airway(ident)");
455     
456     runSQL("CREATE TABLE airway_edge ("
457            "network INT,"
458            "airway INT64,"
459            "a INT64,"
460            "b INT64"
461            ")");
462     
463     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
464   }
465   
466   void prepareQueries()
467   {
468     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
469     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
470     
471 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
472 #define AND_TYPED "AND type>=?2 AND type <=?3"
473     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
474     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
475                              "(path, stamp) VALUES (?,?)");
476     
477     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
478     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
479     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
480     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
481     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
482                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
483     
484     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
485
486     
487     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
488                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
489     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
490     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
491     
492     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
493     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
494     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
495     
496     insertPositionedQuery = prepare("INSERT INTO positioned "
497                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
498                                     "cart_x, cart_y, cart_z)"
499                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
500     
501     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
502                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
503     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
504     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
505                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
506     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
507     
508     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
509                                 " VALUES (?, ?, ?)");
510     insertRunway = prepare("INSERT INTO runway "
511                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
512                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
513     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
514     
515   // query statement    
516     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
517                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
518     
519     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
520                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
521                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
522     
523     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
524                              "positioned.rowid=navaid.rowid "
525                              "AND navaid.freq=?1 " AND_TYPED
526                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
527     
528     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
529                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
530     
531     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
532                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
533     
534   // for an octree branch, return the child octree nodes which exist,
535   // described as a bit-mask
536     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
537     
538 #ifdef LAZY_OCTREE_UPDATES
539     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
540 #else
541   // mask the new child value into the existing one
542     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
543 #endif
544     
545   // define a new octree node (with no children)
546     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
547     
548     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
549     
550     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
551     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
552     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
553     
554     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
555     
556     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
557                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
558     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
559     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
560     
561     // three-way join to get the navaid ident and runway ident in a single select.
562     // we're joining positioned to itself by the navaid runway, with the complication
563     // that we need to join the navaids table to get the runway ID.
564     // we also need to filter by type to excluse glideslope (GS) matches
565     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
566                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
567                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
568                       "AND (nav.type=?4 OR nav.type=?5)");
569
570     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
571     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
572     
573     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
574     insertAirway = prepare("INSERT INTO airway (ident, network) "
575                            "VALUES (?1, ?2)");
576     
577     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
578                                "VALUES (?1, ?2, ?3, ?4)");
579     
580     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
581     
582     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
583   }
584   
585   void writeIntProperty(const string& key, int value)
586   {
587     sqlite_bind_stdstring(writePropertyQuery, 1, key);
588     sqlite3_bind_int(writePropertyQuery, 2, value);
589     execSelect(writePropertyQuery);
590   }
591
592   
593   FGPositioned* loadFromStmt(sqlite3_stmt_ptr query);
594   
595   FGAirport* loadAirport(sqlite_int64 rowId,
596                          FGPositioned::Type ty,
597                          const string& id, const string& name, const SGGeod& pos)
598   {
599     reset(loadAirportStmt);
600     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
601     execSelect1(loadAirportStmt);
602     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
603     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
604   }
605   
606   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
607                            const string& id, const SGGeod& pos, PositionedID apt)
608   {
609     reset(loadRunwayStmt);
610     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
611     execSelect1(loadRunwayStmt);
612     
613     double heading = sqlite3_column_double(loadRunwayStmt, 0);
614     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
615     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
616     int surface = sqlite3_column_int(loadRunwayStmt, 3);
617   
618     if (ty == FGPositioned::TAXIWAY) {
619       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
620     } else {
621       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
622       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
623       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
624       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
625       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
626                           displacedThreshold, stopway, surface, false);
627       
628       if (reciprocal > 0) {
629         r->setReciprocalRunway(reciprocal);
630       }
631       
632       if (ils > 0) {
633         r->setILS(ils);
634       }
635       
636       return r;
637     }
638   }
639   
640   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
641                         const string& id, const string& name,
642                         const SGGeod& pos,
643                         PositionedID airport)
644   {
645     reset(loadCommStation);
646     sqlite3_bind_int64(loadCommStation, 1, rowId);
647     execSelect1(loadCommStation);
648     
649     int range = sqlite3_column_int(loadCommStation, 0);
650     int freqKhz = sqlite3_column_int(loadCommStation, 1);
651     
652     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
653     c->setAirport(airport);
654     return c;
655   }
656   
657   FGPositioned* loadNav(sqlite3_int64 rowId,
658                        FGPositioned::Type ty, const string& id,
659                        const string& name, const SGGeod& pos)
660   {
661     reset(loadNavaid);
662     sqlite3_bind_int64(loadNavaid, 1, rowId);
663     execSelect1(loadNavaid);
664     
665     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
666     // marker beacons are light-weight
667     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
668         (ty == FGPositioned::MM))
669     {
670       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
671     }
672     
673     int rangeNm = sqlite3_column_int(loadNavaid, 0),
674       freq = sqlite3_column_int(loadNavaid, 1);
675     double mulituse = sqlite3_column_double(loadNavaid, 2);
676     //sqlite3_int64 colocated = sqlite3_column_int64(loadNavaid, 4);
677     
678     return new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
679   }
680   
681   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
682                                 const string& name, const SGGeod& pos, PositionedID apt,
683                                 bool spatialIndex)
684   {
685     SGVec3d cartPos(SGVec3d::fromGeod(pos));
686     
687     reset(insertPositionedQuery);
688     sqlite3_bind_int(insertPositionedQuery, 1, ty);
689     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
690     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
691     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
692     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
693     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
694     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
695     
696     if (spatialIndex) {
697       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
698       assert(intersects(octreeLeaf->bbox(), cartPos));
699       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
700     } else {
701       sqlite3_bind_null(insertPositionedQuery, 8);
702     }
703     
704     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
705     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
706     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
707     
708     PositionedID r = execInsert(insertPositionedQuery);
709     return r;
710   }
711   
712   FGPositioned::List findAllByString(const string& s, const string& column,
713                                      FGPositioned::Filter* filter, bool exact)
714   {
715     string query = s;
716     if (!exact) query += "*";
717     
718   // build up SQL query text
719     string matchTerm = exact ? "=?1" : " LIKE ?1";
720     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
721     if (filter) {
722       sql += AND_TYPED;
723     }
724
725   // find or prepare a suitable statement frrm the SQL
726     sqlite3_stmt_ptr stmt = findByStringDict[sql];
727     if (!stmt) {
728       stmt = prepare(sql);
729       findByStringDict[sql] = stmt;
730     }
731
732     reset(stmt);
733     sqlite_bind_stdstring(stmt, 1, query);
734     if (filter) {
735       sqlite3_bind_int(stmt, 2, filter->minType());
736       sqlite3_bind_int(stmt, 3, filter->maxType());
737     }
738     
739     FGPositioned::List result;
740   // run the prepared SQL
741     while (stepSelect(stmt))
742     {
743       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
744       if (filter && !filter->pass(pos)) {
745         continue;
746       }
747       
748       result.push_back(pos);
749     }
750     
751     return result;
752   }
753   
754   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
755   {
756     PositionedIDVec result;
757     while (stepSelect(query)) {
758       result.push_back(sqlite3_column_int64(query, 0));
759     }
760     return result;
761   }
762   
763   double runwayLengthFt(PositionedID rwy)
764   {
765     reset(runwayLengthFtQuery);
766     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
767     execSelect1(runwayLengthFtQuery);
768     return sqlite3_column_double(runwayLengthFtQuery, 0);
769   }
770   
771   void flushDeferredOctreeUpdates()
772   {
773     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
774       reset(updateOctreeChildren);
775       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
776       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
777       execUpdate(updateOctreeChildren);
778     }
779     
780     deferredOctreeUpdates.clear();
781   }
782   
783   NavDataCache* outer;
784   sqlite3* db;
785   SGPath path;
786   
787   /// the actual cache of ID -> instances. This holds an owning reference,
788   /// so once items are in the cache they will never be deleted until
789   /// the cache drops its reference
790   PositionedCache cache;
791   unsigned int cacheHits, cacheMisses;
792   
793   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath,
794   carrierDatPath, airwayDatPath;
795   
796   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
797     stampFileCache, statCacheCheck,
798     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
799     loadRunwayStmt;
800   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
801   
802   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
803   insertCommStation, insertNavaid;
804   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS,
805     setAirportPos, updateRunwayThreshold, updateILS;
806   
807   sqlite3_stmt_ptr findClosestWithIdent;
808 // octree (spatial index) related queries
809   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
810     getOctreeLeafChildren;
811
812   sqlite3_stmt_ptr searchAirports;
813   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
814   findNavsByFreqNoPos, findNavaidForRunway;
815   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
816   sqlite3_stmt_ptr findAirportRunway,
817     findILS;
818   
819   sqlite3_stmt_ptr runwayLengthFtQuery;
820   
821 // airways
822   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
823   insertAirway;
824   
825 // since there's many permutations of ident/name queries, we create
826 // them programtically, but cache the exact query by its raw SQL once
827 // used.
828   std::map<string, sqlite3_stmt_ptr> findByStringDict;
829   
830   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
831   StmtVec prepared;
832   
833   std::set<Octree::Branch*> deferredOctreeUpdates;
834   
835   // if we're performing a rebuild, the thread that is doing the work.
836   // otherwise, NULL
837   std::auto_ptr<RebuildThread> rebuilder;
838 };
839
840   //////////////////////////////////////////////////////////////////////
841   
842 FGPositioned* NavDataCache::NavDataCachePrivate::loadFromStmt(sqlite3_stmt_ptr query)
843 {
844   execSelect1(query);
845   sqlite3_int64 rowid = sqlite3_column_int64(query, 0);
846   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(query, 1);
847   
848   string ident = (char*) sqlite3_column_text(query, 2);
849   string name = (char*) sqlite3_column_text(query, 3);
850   sqlite3_int64 aptId = sqlite3_column_int64(query, 4);
851   double lon = sqlite3_column_double(query, 5);
852   double lat = sqlite3_column_double(query, 6);
853   double elev = sqlite3_column_double(query, 7);
854   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
855   
856   switch (ty) {
857     case FGPositioned::AIRPORT:
858     case FGPositioned::SEAPORT:
859     case FGPositioned::HELIPORT:
860       return loadAirport(rowid, ty, ident, name, pos);
861       
862     case FGPositioned::TOWER:
863       return new AirportTower(rowid, aptId, ident, pos);
864       
865     case FGPositioned::RUNWAY:
866     case FGPositioned::TAXIWAY:
867       return loadRunway(rowid, ty, ident, pos, aptId);
868       
869     case FGPositioned::LOC:
870     case FGPositioned::VOR:
871     case FGPositioned::GS:
872     case FGPositioned::ILS:
873     case FGPositioned::NDB:
874     case FGPositioned::OM:
875     case FGPositioned::MM:
876     case FGPositioned::IM:
877     case FGPositioned::DME:
878     case FGPositioned::TACAN:
879     case FGPositioned::MOBILE_TACAN:
880     {
881       if (aptId > 0) {
882         FGAirport* apt = (FGAirport*) outer->loadById(aptId);
883         if (apt->validateILSData()) {
884           SG_LOG(SG_NAVCACHE, SG_INFO, "re-loaded ILS data for " << apt->ident());
885           // queried data above is probably invalid, force us to go around again
886           // (the next time through, validateILSData will return false)
887           return outer->loadById(rowid);
888         }
889       }
890       
891       return loadNav(rowid, ty, ident, name, pos);
892     }
893       
894     case FGPositioned::FIX:
895       return new FGFix(rowid, ident, pos);
896       
897     case FGPositioned::WAYPOINT:
898     {
899       FGPositioned* wpt = new FGPositioned(rowid, FGPositioned::WAYPOINT, ident, pos);
900       return wpt;
901     }
902       
903     case FGPositioned::FREQ_GROUND:
904     case FGPositioned::FREQ_TOWER:
905     case FGPositioned::FREQ_ATIS:
906     case FGPositioned::FREQ_AWOS:
907     case FGPositioned::FREQ_APP_DEP:
908     case FGPositioned::FREQ_ENROUTE:
909     case FGPositioned::FREQ_CLEARANCE:
910     case FGPositioned::FREQ_UNICOM:
911       return loadComm(rowid, ty, ident, name, pos, aptId);
912       
913     default:
914       return NULL;
915   }
916 }
917
918   
919 static NavDataCache* static_instance = NULL;
920         
921 NavDataCache::NavDataCache()
922 {
923   const int MAX_TRIES = 3;
924   SGPath homePath(globals->get_fg_home());
925   homePath.append("navdata.cache");
926   
927   for (int t=0; t < MAX_TRIES; ++t) {
928     try {
929       d.reset(new NavDataCachePrivate(homePath, this));
930       d->init();
931       //d->checkCacheFile();
932     // reached this point with no exception, success
933       break;
934     } catch (sg_exception& e) {
935       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
936              << " (attempt " << t << ")");
937       d.reset();
938       homePath.remove();
939     }
940   } // of retry loop
941     
942   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
943   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
944   Octree::global_spatialOctree =
945     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
946   
947   d->aptDatPath = SGPath(globals->get_fg_root());
948   d->aptDatPath.append("Airports/apt.dat.gz");
949   
950   d->metarDatPath = SGPath(globals->get_fg_root());
951   d->metarDatPath.append("Airports/metar.dat.gz");
952
953   d->navDatPath = SGPath(globals->get_fg_root());  
954   d->navDatPath.append("Navaids/nav.dat.gz");
955
956   d->fixDatPath = SGPath(globals->get_fg_root());
957   d->fixDatPath.append("Navaids/fix.dat.gz");
958   
959   d->carrierDatPath = SGPath(globals->get_fg_root());
960   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
961   
962   d->airwayDatPath = SGPath(globals->get_fg_root());
963   d->airwayDatPath.append("Navaids/awy.dat.gz");
964 }
965     
966 NavDataCache::~NavDataCache()
967 {
968   assert(static_instance == this);
969   static_instance = NULL;
970   SG_LOG(SG_NAVCACHE, SG_INFO, "closing the navcache");
971   d.reset();
972 }
973     
974 NavDataCache* NavDataCache::instance()
975 {
976   if (!static_instance) {
977     static_instance = new NavDataCache;
978   }
979   
980   return static_instance;
981 }
982   
983 bool NavDataCache::isRebuildRequired()
984 {
985   if (isCachedFileModified(d->aptDatPath) ||
986       isCachedFileModified(d->metarDatPath) ||
987       isCachedFileModified(d->navDatPath) ||
988       isCachedFileModified(d->fixDatPath) ||
989       isCachedFileModified(d->airwayDatPath))
990   {
991     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: rebuild required");
992     return true;
993   }
994
995   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no rebuild required");
996   return false;
997 }
998   
999 bool NavDataCache::rebuild()
1000 {
1001   if (!d->rebuilder.get()) {
1002     d->rebuilder.reset(new RebuildThread(this));
1003     d->rebuilder->start();
1004   }
1005   
1006 // poll the rebuild thread
1007   bool fin = d->rebuilder->isFinished();
1008   if (fin) {
1009     d->rebuilder.reset(); // all done!
1010   }
1011   return fin;
1012 }
1013   
1014 void NavDataCache::doRebuild()
1015 {
1016   try {
1017     d->runSQL("BEGIN");
1018     d->runSQL("DELETE FROM positioned");
1019     d->runSQL("DELETE FROM airport");
1020     d->runSQL("DELETE FROM runway");
1021     d->runSQL("DELETE FROM navaid");
1022     d->runSQL("DELETE FROM comm");
1023     d->runSQL("DELETE FROM octree");
1024     d->runSQL("DELETE FROM airway");
1025     d->runSQL("DELETE FROM airway_edge");
1026     
1027   // initialise the root octree node
1028     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1029     
1030     SGTimeStamp st;
1031     st.stamp();
1032     
1033     airportDBLoad(d->aptDatPath);
1034     SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1035     
1036     metarDataLoad(d->metarDatPath);
1037     stampCacheFile(d->aptDatPath);
1038     stampCacheFile(d->metarDatPath);
1039     
1040     st.stamp();
1041     loadFixes(d->fixDatPath);
1042     stampCacheFile(d->fixDatPath);
1043     SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1044     
1045     st.stamp();
1046     navDBInit(d->navDatPath);
1047     stampCacheFile(d->navDatPath);
1048     SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1049     
1050     loadCarrierNav(d->carrierDatPath);
1051     stampCacheFile(d->carrierDatPath);
1052     
1053     st.stamp();
1054     Airway::load(d->airwayDatPath);
1055     stampCacheFile(d->airwayDatPath);
1056     SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1057     
1058     d->flushDeferredOctreeUpdates();
1059     
1060     d->runSQL("COMMIT");
1061   } catch (sg_exception& e) {
1062     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1063   // abandon the DB transation completely
1064     d->runSQL("ROLLBACK");
1065   }
1066 }
1067   
1068 int NavDataCache::readIntProperty(const string& key)
1069 {
1070   d->reset(d->readPropertyQuery);
1071   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1072   
1073   if (d->execSelect(d->readPropertyQuery)) {
1074     return sqlite3_column_int(d->readPropertyQuery, 0);
1075   } else {
1076     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1077     return 0; // no such property
1078   }
1079 }
1080
1081 double NavDataCache::readDoubleProperty(const string& key)
1082 {
1083   d->reset(d->readPropertyQuery);
1084   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1085   if (d->execSelect(d->readPropertyQuery)) {
1086     return sqlite3_column_double(d->readPropertyQuery, 0);
1087   } else {
1088     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1089     return 0.0; // no such property
1090   }
1091 }
1092   
1093 string NavDataCache::readStringProperty(const string& key)
1094 {
1095   d->reset(d->readPropertyQuery);
1096   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1097   if (d->execSelect(d->readPropertyQuery)) {
1098     return (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1099   } else {
1100     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1101     return string(); // no such property
1102   }
1103 }
1104
1105 void NavDataCache::writeIntProperty(const string& key, int value)
1106 {
1107   d->writeIntProperty(key, value);
1108 }
1109
1110 void NavDataCache::writeStringProperty(const string& key, const string& value)
1111 {
1112   d->reset(d->writePropertyQuery);
1113   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1114   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1115   d->execSelect(d->writePropertyQuery);
1116 }
1117
1118 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1119 {
1120   d->reset(d->writePropertyQuery);
1121   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1122   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1123   d->execSelect(d->writePropertyQuery);
1124 }
1125
1126 string_list NavDataCache::readStringListProperty(const string& key)
1127 {
1128   d->reset(d->readPropertyQuery);
1129   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1130   string_list result;
1131   while (d->stepSelect(d->readPropertyQuery)) {
1132     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1133   }
1134   
1135   return result;
1136 }
1137   
1138 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1139 {
1140   d->reset(d->clearProperty);
1141   sqlite_bind_stdstring(d->clearProperty, 1, key);
1142   d->execUpdate(d->clearProperty);
1143   
1144   BOOST_FOREACH(string value, values) {
1145     d->reset(d->writePropertyMulti);
1146     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1147     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1148     d->execInsert(d->writePropertyMulti);
1149   }
1150 }
1151   
1152 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1153 {
1154   if (!path.exists()) {
1155     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1156   }
1157   
1158   d->reset(d->statCacheCheck);
1159   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1160   if (d->execSelect(d->statCacheCheck)) {
1161     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1162     return (modtime != path.modTime());
1163   } else {
1164     return true;
1165   }
1166 }
1167
1168 void NavDataCache::stampCacheFile(const SGPath& path)
1169 {
1170   d->reset(d->stampFileCache);
1171   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1172   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1173   d->execInsert(d->stampFileCache);
1174 }
1175
1176
1177 FGPositioned* NavDataCache::loadById(PositionedID rowid)
1178 {
1179   if (rowid == 0) {
1180     return NULL;
1181   }
1182  
1183   PositionedCache::iterator it = d->cache.find(rowid);
1184   if (it != d->cache.end()) {
1185     d->cacheHits++;
1186     return it->second; // cache it
1187   }
1188   
1189   d->reset(d->loadPositioned);
1190   sqlite3_bind_int64(d->loadPositioned, 1, rowid);
1191   FGPositioned* pos = d->loadFromStmt(d->loadPositioned);
1192   
1193   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1194   d->cacheMisses++;
1195   
1196   return pos;
1197 }
1198
1199 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1200                                          const string& name)
1201 {
1202   // airports have their pos computed based on the avergae runway centres
1203   // so the pos isn't available immediately. Pass a dummy pos and avoid
1204   // doing spatial indexing until later
1205   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1206                                             0 /* airport */,
1207                                             false /* spatial index */);
1208   
1209   d->reset(d->insertAirport);
1210   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1211   d->execInsert(d->insertAirport);
1212   
1213   return rowId;
1214 }
1215   
1216 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1217 {
1218   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1219   
1220   d->reset(d->setAirportPos);
1221   sqlite3_bind_int(d->setAirportPos, 1, item);
1222   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1223   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1224   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1225   
1226   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1227   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1228   
1229   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1230   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1231   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1232
1233   
1234   d->execUpdate(d->setAirportPos);
1235 }
1236
1237 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1238 {
1239   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1240                       pos, airportId, true /* spatial index */);
1241 }
1242
1243 PositionedID
1244 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1245                            const SGGeod& pos, PositionedID apt,
1246                            double heading, double length, double width, double displacedThreshold,
1247                            double stopway, int surfaceCode)
1248 {
1249   // only runways are spatially indexed; don't bother indexing taxiways
1250   // or pavements
1251   bool spatialIndex = (ty == FGPositioned::RUNWAY);
1252   
1253   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1254                                             spatialIndex);
1255   d->reset(d->insertRunway);
1256   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1257   sqlite3_bind_double(d->insertRunway, 2, heading);
1258   sqlite3_bind_double(d->insertRunway, 3, length);
1259   sqlite3_bind_double(d->insertRunway, 4, width);
1260   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1261   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1262   sqlite3_bind_double(d->insertRunway, 7, stopway);
1263   
1264   return d->execInsert(d->insertRunway);  
1265 }
1266
1267 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1268 {
1269   d->reset(d->setRunwayReciprocal);
1270   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1271   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1272   d->execUpdate(d->setRunwayReciprocal);
1273   
1274 // and the opposite direction too!
1275   d->reset(d->setRunwayReciprocal);
1276   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1277   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1278   d->execUpdate(d->setRunwayReciprocal);
1279 }
1280
1281 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1282 {
1283   d->reset(d->setRunwayILS);
1284   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1285   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1286   d->execUpdate(d->setRunwayILS);
1287 }
1288   
1289 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1290                                   double aHeading, double aDisplacedThreshold,
1291                                   double aStopway)
1292 {
1293 // update the runway information
1294   d->reset(d->updateRunwayThreshold);
1295   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1296   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1297   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1298   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1299   d->execUpdate(d->updateRunwayThreshold);
1300       
1301 // compute the new runway center, based on the threshold lat/lon and length,
1302   double offsetFt = (0.5 * d->runwayLengthFt(runwayID));
1303   SGGeod newCenter;
1304   double dummy;
1305   SGGeodesy::direct(aThreshold, aHeading, offsetFt * SG_FEET_TO_METER, newCenter, dummy);
1306     
1307 // now update the positional data
1308   updatePosition(runwayID, newCenter);
1309 }
1310   
1311 PositionedID
1312 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1313                           const string& name, const SGGeod& pos,
1314                            int freq, int range, double multiuse,
1315                            PositionedID apt, PositionedID runway)
1316 {
1317   bool spatialIndex = true;
1318   if (ty == FGPositioned::MOBILE_TACAN) {
1319     spatialIndex = false;
1320   }
1321   
1322   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1323                                             spatialIndex);
1324   d->reset(d->insertNavaid);
1325   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1326   sqlite3_bind_int(d->insertNavaid, 2, freq);
1327   sqlite3_bind_int(d->insertNavaid, 3, range);
1328   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1329   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1330   return d->execInsert(d->insertNavaid);
1331 }
1332
1333 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1334 {
1335   d->reset(d->updateILS);
1336   sqlite3_bind_int64(d->updateILS, 1, ils);
1337   sqlite3_bind_double(d->updateILS, 2, aHdg);
1338   d->execUpdate(d->updateILS);
1339   updatePosition(ils, newPos);
1340 }
1341   
1342 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1343                                              const string& name, const SGGeod& pos, int freq, int range,
1344                                              PositionedID apt)
1345 {
1346   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1347   d->reset(d->insertCommStation);
1348   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1349   sqlite3_bind_int(d->insertCommStation, 2, freq);
1350   sqlite3_bind_int(d->insertCommStation, 3, range);
1351   return d->execInsert(d->insertCommStation);
1352 }
1353   
1354 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1355 {
1356   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1357 }
1358
1359 PositionedID NavDataCache::createUserWaypoint(const std::string& ident, const SGGeod& aPos)
1360 {
1361   return d->insertPositioned(FGPositioned::WAYPOINT, ident, string(), aPos, 0,
1362                              true /* spatial index */);
1363 }
1364   
1365 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1366 {
1367   d->reset(d->setAirportMetar);
1368   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1369   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1370   d->execUpdate(d->setAirportMetar);
1371 }
1372
1373 FGPositioned::List NavDataCache::findAllWithIdent(const string& s,
1374                                                   FGPositioned::Filter* filter, bool exact)
1375 {
1376   return d->findAllByString(s, "ident", filter, exact);
1377 }
1378
1379 FGPositioned::List NavDataCache::findAllWithName(const string& s,
1380                                                   FGPositioned::Filter* filter, bool exact)
1381 {
1382   return d->findAllByString(s, "name", filter, exact);
1383 }
1384   
1385 FGPositionedRef NavDataCache::findClosestWithIdent(const string& aIdent,
1386                                                    const SGGeod& aPos, FGPositioned::Filter* aFilter)
1387 {
1388   d->reset(d->findClosestWithIdent);
1389   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1390   if (aFilter) {
1391     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1392     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1393   } else { // full type range
1394     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1395     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1396   }
1397   
1398   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1399   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1400   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1401   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1402   
1403   while (d->stepSelect(d->findClosestWithIdent)) {
1404     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1405     if (aFilter && !aFilter->pass(pos)) {
1406       continue;
1407     }
1408     
1409     return pos;
1410   }
1411   
1412   return NULL; // no matches at all
1413 }
1414
1415   
1416 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1417 {
1418   d->reset(d->getOctreeChildren);
1419   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1420   d->execSelect1(d->getOctreeChildren);
1421   return sqlite3_column_int(d->getOctreeChildren, 0);
1422 }
1423
1424 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1425 {
1426   d->reset(d->insertOctree);
1427   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1428   d->execInsert(d->insertOctree);
1429   
1430 #ifdef LAZY_OCTREE_UPDATES
1431   d->deferredOctreeUpdates.insert(pr);
1432 #else
1433   // lowest three bits of node ID are 0..7 index of the child in the parent
1434   int childIndex = nd->guid() & 0x07;
1435   
1436   d->reset(d->updateOctreeChildren);
1437   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1438 // mask has bit N set where child N exists
1439   int childMask = 1 << childIndex;
1440   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1441   d->execUpdate(d->updateOctreeChildren);
1442 #endif
1443 }
1444   
1445 TypedPositionedVec
1446 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1447 {
1448   d->reset(d->getOctreeLeafChildren);
1449   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1450   
1451   TypedPositionedVec r;
1452   while (d->stepSelect(d->getOctreeLeafChildren)) {
1453     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1454       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1455     r.push_back(std::make_pair(ty,
1456                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1457   }
1458
1459   return r;
1460 }
1461
1462   
1463 /**
1464  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1465  * implement the AirportList dialog. It's unfortunate that it needs to reside
1466  * here, but for now it's least ugly solution.
1467  */
1468 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1469 {
1470   d->reset(d->searchAirports);
1471   string s = "%" + aFilter + "%";
1472   sqlite_bind_stdstring(d->searchAirports, 1, s);
1473   
1474   unsigned int numMatches = 0, numAllocated = 16;
1475   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1476   
1477   while (d->stepSelect(d->searchAirports)) {
1478     if ((numMatches + 1) >= numAllocated) {
1479       numAllocated <<= 1; // double in size!
1480     // reallocate results array
1481       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1482       memcpy(nresult, result, sizeof(char*) * numMatches);
1483       free(result);
1484       result = nresult;
1485     }
1486     
1487     // nasty code to avoid excessive string copying and allocations.
1488     // We format results as follows (note whitespace!):
1489     //   ' name-of-airport-chars   (ident)'
1490     // so the total length is:
1491     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1492     // which gives a grand total of 7 + name-length + icao-length.
1493     // note the ident can be three letters (non-ICAO local strip), four
1494     // (default ICAO) or more (extended format ICAO)
1495     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1496     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1497     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1498     char* dst = entry;
1499     *dst++ = ' ';
1500     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1501     dst += nameLength;
1502     *dst++ = ' ';
1503     *dst++ = ' ';
1504     *dst++ = ' ';
1505     *dst++ = '(';
1506     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1507     dst += icaoLength;
1508     *dst++ = ')';
1509     *dst++ = 0;
1510
1511     result[numMatches++] = entry;
1512   }
1513   
1514   result[numMatches] = NULL; // end of list marker
1515   return result;
1516 }
1517   
1518 FGPositionedRef
1519 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1520 {
1521   d->reset(d->findCommByFreq);
1522   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1523   if (aFilter) {
1524     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1525     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1526   } else { // full type range
1527     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1528     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1529   }
1530   
1531   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1532   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1533   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1534   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1535   
1536   while (d->execSelect(d->findCommByFreq)) {
1537     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1538     if (aFilter && !aFilter->pass(p)) {
1539       continue;
1540     }
1541     
1542     return p;
1543   }
1544   
1545   return NULL;
1546 }
1547   
1548 PositionedIDVec
1549 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1550 {
1551   d->reset(d->findNavsByFreq);
1552   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1553   if (aFilter) {
1554     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1555     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1556   } else { // full type range
1557     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1558     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1559   }
1560   
1561   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1562   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1563   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1564   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1565   
1566   return d->selectIds(d->findNavsByFreq);
1567 }
1568
1569 PositionedIDVec
1570 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1571 {
1572   d->reset(d->findNavsByFreqNoPos);
1573   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1574   if (aFilter) {
1575     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1576     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1577   } else { // full type range
1578     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1579     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1580   }
1581   
1582   return d->selectIds(d->findNavsByFreqNoPos);
1583 }
1584   
1585 PositionedIDVec
1586 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1587                                  FGPositioned::Type maxTy)
1588 {
1589   if (maxTy == FGPositioned::INVALID) {
1590     maxTy = ty; // single-type range
1591   }
1592   
1593   d->reset(d->getAirportItems);
1594   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1595   sqlite3_bind_int(d->getAirportItems, 2, ty);
1596   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1597   
1598   return d->selectIds(d->getAirportItems);
1599 }
1600
1601 PositionedID
1602 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1603                                    const std::string& ident)
1604 {
1605   d->reset(d->getAirportItemByIdent);
1606   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1607   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1608   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1609   
1610   if (!d->execSelect(d->getAirportItemByIdent)) {
1611     return 0;
1612   }
1613   
1614   return sqlite3_column_int64(d->getAirportItemByIdent, 0);
1615 }
1616   
1617 AirportRunwayPair
1618 NavDataCache::findAirportRunway(const std::string& aName)
1619 {
1620   if (aName.empty()) {
1621     return AirportRunwayPair();
1622   }
1623   
1624   string_list parts = simgear::strutils::split(aName);
1625   if (parts.size() < 2) {
1626     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1627     return AirportRunwayPair();
1628   }
1629
1630   d->reset(d->findAirportRunway);
1631   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1632   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1633   if (!d->execSelect(d->findAirportRunway)) {
1634     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1635     return AirportRunwayPair();
1636   }
1637
1638   // success, extract the IDs and continue
1639   return AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1640                            sqlite3_column_int64(d->findAirportRunway, 1));
1641 }
1642   
1643 PositionedID
1644 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1645 {
1646   d->reset(d->findILS);
1647   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1648   sqlite3_bind_int64(d->findILS, 2, airport);
1649   sqlite_bind_stdstring(d->findILS, 3, runway);
1650   
1651   if (!d->execSelect(d->findILS)) {
1652     return 0;
1653   }
1654   
1655   return sqlite3_column_int64(d->findILS, 0);
1656 }
1657   
1658 int NavDataCache::findAirway(int network, const string& aName)
1659 {
1660   d->reset(d->findAirway);
1661   sqlite3_bind_int(d->findAirway, 1, network);
1662   sqlite_bind_stdstring(d->findAirway, 2, aName);
1663   if (d->execSelect(d->findAirway)) {
1664     // already exists
1665     return sqlite3_column_int(d->findAirway, 0);
1666   }
1667   
1668   d->reset(d->insertAirway);
1669   sqlite_bind_stdstring(d->insertAirway, 1, aName);
1670   sqlite3_bind_int(d->insertAirway, 2, network);
1671   return d->execInsert(d->insertAirway);
1672 }
1673
1674 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1675 {
1676   // assume all edges are bidirectional for the moment
1677   for (int i=0; i<2; ++i) {
1678     d->reset(d->insertAirwayEdge);
1679     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1680     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1681     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1682     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1683     d->execInsert(d->insertAirwayEdge);
1684     
1685     std::swap(from, to);
1686   }
1687 }
1688   
1689 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
1690 {
1691   d->reset(d->isPosInAirway);
1692   sqlite3_bind_int(d->isPosInAirway, 1, network);
1693   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
1694   bool ok = d->execSelect(d->isPosInAirway);
1695   return ok;
1696 }
1697
1698 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
1699 {
1700   d->reset(d->airwayEdgesFrom);
1701   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
1702   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
1703   
1704   AirwayEdgeVec result;
1705   while (d->stepSelect(d->airwayEdgesFrom)) {
1706     result.push_back(AirwayEdge(
1707                      sqlite3_column_int(d->airwayEdgesFrom, 0),
1708                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
1709                      ));
1710   }
1711   return result;
1712 }
1713
1714 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
1715 {
1716   d->reset(d->findNavaidForRunway);
1717   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
1718   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
1719   if (!d->execSelect(d->findNavaidForRunway)) {
1720     return 0;
1721   }
1722   
1723   return sqlite3_column_int64(d->findNavaidForRunway, 0);
1724 }
1725   
1726 } // of namespace flightgear
1727