Virtuoso bulk loader

Deze procedure ontving ik (--Mackm02 (overleg) 25 feb 2014 17:48 (CET)) van Patrick van Kleef:

Ik stel voor dat je nog een test doet met de bulkloader feature. 

Deze zit in zowel versie 6 als 7 en is gemakkelijker dan via het web interface of via ttlp_mt.

Korte instructie:

1. compress alle bestanden in de delen directory. Dit is niet echt nodig, maar maakt het lezen nog iets sneller.

2. maak connectie met isql-vt tool naar database 
Edit [Gebruiker:Rvtveer]: 
Deze tool is op het Pilod-platform te vinden onder /opt/stores/virtuoso/bin/isql

en voer volgende commando uit:

ld_dir_all ('/pad/naar/delen', '*.gz', 'http://www.marcelvanmackelenbergh.nl/doorvoor');

   Indien data in verschillende graph namen ingelezen moeten worden, is het handig om files te splitsen in diverse subdirs en in iedere
   directory een bestand global.graph te leggen met de graph naam die voor al die bestanden gebruikt moet worden. Indien global.graph in
   subdir bestaat, overruled deze de graph naam die je hierboven hebt opgegeven.

3. controleer welke bestanden zullen worden ingelezen:

   select * from load_list;

   De kolom ll_state geeft aan of het bestand nog verwerkt moet worden (0), op dit moment wordt ingelezen (1) of klaar is (2).

4. run de bulk loader:

    rdf_loader_run();

    Aangezien de i7 processor meerdere threads tegelijk kan uitvoeren, kun je dit laatste commando nogmaals via een andere isql sessie opstarten,
    waardoor het lezen nog sneller gaat.

5. Als alle bestanden verwerkt zijn, kun je met het volgende commando kijken of er fouten tijdens het lezen zijn gevonden:

    select ll_file, ll_error from load_list where ll_error is not null;

Virtuoso (Universal server)