Re-indexing (herindexering)
Re-indexing (herindexering): Een Onderzoek naar de Effecten op de Zoekindex
In de afgelopen maanden heeft @robvandijk een groot aantal bugs gefixt, wat resulteert in meer gegevens die worden geïmporteerd. Dit heeft echter niet direct invloed op items uit het verleden, aangezien alleen recente items elke nacht worden geïmporteerd. Hierom is het soms nodig om alles opnieuw te indexeren: de grote importen uit alle bronnen opnieuw uitvoeren en de zoekindex bijwerken.
De Oorsprong van het Probleem
Rob heeft een uitleg gegeven over de oorsprong van het probleem:
De eerste kolom achter de naam is de grootte van de index na herindexering (in MB), de tweede kolom is de grootte van de index in de huidige ORI. Omdat we tijdens de herindexering ook markdown opslaan verwacht je dat alle indexes ongeveer 1/3 groter worden. Laatste kolom is de grootte van de nieuwe index gedeeld door de grootte van de oude index. Als daar een sterretje achter staat is de nieuwe index kleiner dan de oude, die moeten tzt nog een keer uitgezocht worden, net als degenen met 0 documenten. Heiloo wordt op dit moment verwerkt en nieuwe index zal dus nog groeien.
De Gegevens
Hieronder volgen de gegevens die Rob heeft verstrekt:
| Index | Nieuwe Grootte | Oude Grootte | Verhouding |
|---|---|---|---|
| ori_amsterdam | 46512 | 16700 | 2,79 |
| ori_haarlem | 14425 | 7923 | 1,82 |
| ori_den_haag | 11942 | 186 | 64,20 |
| ori_den_bosch | 9305 | 4867 | 1,91 |
| ori_katwijk | 9137 | 3359 | 2,72 |
| ori_groningen | 8754 | 4619 | 1,90 |
| ori_arnhem | 8292 | 3623 | 2,29 |
| ori_haarlemmermeer | 7912 | 2599 | 3,04 |
| ori_nissewaard | 7889 | 2769 | 2,85 |
| osi_provincie-utrecht | 6912 | 4356 | 1,59 |
| ori_almelo | 6786 | 2395 | 2,83 |
| ori_maastricht | 6731 | 875 | 7,69 |
| ori_apeldoorn | 6644 | 1953 | 3,40 |
| ori_amstelveen | 6288 | 2934 | 2,14 |
| ori_enschede | 6212 | 2201 | 2,82 |
| ori_aalsmeer | 5519 | 1081 | 5,11 |
| ori_barneveld | 5453 | 2905 | 1,88 |
| ori_schiedam | 5278 | 1722 | 3,07 |
| ori_middelburg | 5200 | 3388 | 1,53 |
| osi_groningen | 4766 | 2825 | 1,69 |
| ori_leiden | 4534 | 2144 | 2,11 |
| ori_dordrecht | 4507 | 223 | 20,21 |
| ori_duiven | 4489 | 2033 | 2,21 |
| ori_haaksbergen | 4412 | 2423 | 1,82 |
| ori_goirle | 4251 | 2680 | 1,59 |
| ori_eindhoven | 4078 | 1627 | 2,51 |
| ori_bernheze | 4055 | 2136 | 1,90 |
| ori_baarn | 3910 | 1685 | 2,32 |
| ori_maassluis | 3823 | 1842 | 2,08 |
| ori_ridderkerk | 3679 | 2302 | 1,60 |
| ori_almere | 3651 | 2008 | 1,82 |
| ori_emmen | 3623 | 1371 | 2,64 |
| ori_albrandswaard | 3614 | 2119 | 1,71 |
| ori_brunssum | 3573 | 1438 | 2,48 |
| ori_purmerend | 3569 | 1533 | 2,33 |
| ori_delft | 3560 | 1128 | 3,16 |
| ori_bergen_nh | 3550 | 1929 | 1,84 |
| ori_ede | 3503 | 499 | 7,02 |
| ori_venlo | 3472 | 3161 | 1,10 |
| ori_amsterdam_zuid | 3449 | 2137 | 1,61 |
| ori_rhenen | 3444 | 714 | 4,82 |
| ori_boxtel | 3421 | 946 | 3,62 |
| ori_barendrecht | 3375 | 1731 | 1,95 |
| ori_capelle_ad_ijssel | 3371 | 1669 | 2,02 |
| ori_gilze_en_rijen | 3371 | 1593 | 2,12 |
| ori_hendrik-ido-ambacht | 3370 | 919 | 3,67 |
| ori_beuningen | 3329 | 47 | 70,83 |
| ori_oost_gelre | 3262 | 1623 | 2,01 |
| ori_rucphen | 3260 | 1502 | 2,17 |
| ori_eemnes | 3195 | 55 | 58,09 |
| ori_bodegravenreeuwijk | 3181 | 909 | 3,50 |
| ori_stichtse_vecht | 3106 | 2819 | 1,10 |
| ori_doetinchem | 3088 | 1752 | 1,76 |
| ori_ijsselstein | 3070 | 1411 | 2,18 |
| ori_etten-leur | 3046 | 1413 | 2,16 |
| ori_heerlen | 2917 | 1120 | 2,60 |
| ori_dinkelland | 2889 | 1825 | 1,58 |
| ori_roosendaal | 2865 | 1578 | 1,82 |
| ori_noordoostpolder | 2858 | 1713 | 1,67 |
| ori_cuijk | 2857 | 573 | 4,99 |
| ori_steenbergen | 2851 | 2270 | 1,26 |
| ori_oisterwijk | 2817 | 1424 | 1,98 |
| ori_halderberge | 2805 | 1060 | 2,65 |
| ori_neder-betuwe | 2744 | 912 | 3,01 |
| ori_elburg | 2716 | 1012 | 2,68 |
| ori_amsterdam_centrum | 2692 | 1178 | 2,29 |
| ori_horst_aan_de_maas | 2651 | 971 | 2,73 |
| ori_amsterdam_noord | 2634 | 1036 | 2,54 |
| ori_altena | 2623 | 1105 | 2,37 |
| ori_geertruidenberg | 2611 | 2114 | 1,24 |
| ori_aalten | 2600 | 1245 | 2,09 |
| ori_harderwijk | 2588 | 902 | 2,87 |
| ori_baarle_nassau | 2582 | 1043 | 2,48 |
| ori_putten | 2549 | 1548 | 1,65 |
| ori_den_helder | 2529 | 1733 | 1,46 |
| ori_hillegom | 2506 | 1291 | 1,94 |
| ori_goes | 2490 | 1046 | 2,38 |
| ori_tubbergen | 2469 | 1838 | 1,34 |
| ori_de_ronde_venen | 2428 | 496 | 4,90 |
| ori_krimpen_ad_ijssel | 2420 | 1073 | 2,26 |
| ori_pijnacker_nootdorp | 2381 | 1065 | 2,24 |
| ori_hulst | 2364 | 752 | 3,14 |
| ori_nunspeet | 2364 | 826 | 2,86 |
| ori_schagen | 2359 | 1027 | 2,30 |
| ori_edam-volendam | 2341 | 836 | 2, |
Re-indexing (herindexering): Een Q&A Artikel
In dit artikel zullen we antwoorden geven op veelgestelde vragen over re-indexing (herindexering) en de effecten ervan op de zoekindex.
Q: Wat is re-indexing (herindexering)?
A: Re-indexing (herindexering) is het proces waarbij de zoekindex wordt bijgewerkt en opnieuw geïndexeerd wordt. Dit wordt nodig als er nieuwe gegevens zijn toegevoegd of als de zoekindex niet meer up-to-date is.
Q: Waarom is re-indexing (herindexering) nodig?
A: Re-indexing (herindexering) is nodig om ervoor te zorgen dat de zoekindex up-to-date is en dat gebruikers de juiste informatie kunnen vinden. Als de zoekindex niet meer up-to-date is, kan het zoeken naar informatie moeilijk of onmogelijk worden.
Q: Hoe werkt re-indexing (herindexering)?
A: Re-indexing (herindexering) werkt als volgt:
- De zoekindex wordt geleegd en opnieuw geïndexeerd.
- Alle nieuwe gegevens worden toegevoegd aan de zoekindex.
- De zoekindex wordt bijgewerkt en opnieuw geïndexeerd.
Q: Wat zijn de voordelen van re-indexing (herindexering)?
A: De voordelen van re-indexing (herindexering) zijn:
- De zoekindex is up-to-date en werkt correct.
- Gebruikers kunnen de juiste informatie vinden.
- De zoekindex is sneller en efficiënter.
Q: Wat zijn de nadelen van re-indexing (herindexering)?
A: De nadelen van re-indexing (herindexering) zijn:
- De zoekindex wordt geleegd en opnieuw geïndexeerd, wat tijd en resources kan kosten.
- Gebruikers kunnen tijdelijk geen toegang hebben tot de zoekindex.
Q: Hoe vaak moet re-indexing (herindexering) worden uitgevoerd?
A: De frequentie van re-indexing (herindexering) hangt af van de hoeveelheid nieuwe gegevens en de complexiteit van de zoekindex. In het algemeen wordt re-indexing (herindexering) uitgevoerd wanneer:
- Er nieuwe gegevens zijn toegevoegd.
- De zoekindex niet meer up-to-date is.
- De zoekindex wordt bijgewerkt en opnieuw geïndexeerd.
Q: Kan re-indexing (herindexering) worden uitgevoerd door een mens?
A: Nee, re-indexing (herindexering) kan niet worden uitgevoerd door een mens. Het is een automatisch proces dat door software wordt uitgevoerd.
Q: Kan re-indexing (herindexering) worden uitgevoerd door een robot?
A: Ja, re-indexing (herindexering) kan worden uitgevoerd door een robot. Robots kunnen automatisch de zoekindex bijwerken en opnieuw indexeren.
Q: Wat zijn de risico's van re-indexing (herindexering)?
A: De risico's van re-indexing (herindex) zijn:
- De zoekindex wordt geleegd en opnieuw geïndexeerd, wat tijd en resources kan kosten.
- Gebruikers kunnen tijdelijk geen toegang hebben tot de zoekindex.
- Er kan fouten optreden tijdens het proces van re-indexing (herindexering).
Q: Hoe kan ik re-indexing (herindexering) optimaliseren?
A: Re-indexing (herindexering) kan worden geoptimaliseerd door:
- De zoekindex regelmatig te bijwerken en opnieuw te indexeren.
- De hoeveelheid nieuwe gegevens te beperken.
- De complexiteit van de zoekindex te verminderen.
Q: Kan ik re-indexing (herindexering) uitstellen?
A: Ja, re-indexing (herindexering) kan worden uitgesteld als:
- Er geen nieuwe gegevens zijn toegevoegd.
- De zoekindex nog up-to-date is.
- Er geen urgentie is om de zoekindex bij te werken en opnieuw te indexeren.