Hartman Gids

http://lucene.apache.org/solr

• JTeam
  www.jteam.nl
  info@jteam.nl
  Contactpersoon: Bram Smeets (CTO)

• Lucid Imagination
  www.lucidimagination.com
  info@lucidimagination.com

Verenigde Staten

10+ committers

• JTeam
  www.jteam.nl
  info@jteam.nl
  Contactpersoon: Bram Smeets (CTO)

• Lucid Imagination
  www.lucidimagination.com
  info@lucidimagination.com

Defacto standaard Open Source Enterprise Search oplossing

Apache Solr

Meer dan 50.000 wereldwijd

Meer dan 2.000 in de Benelux.

• Zoeken, indexeren en tekstanalyse

• Gedistribueerd zoeken – sharding en replicatie

• Markering van zoekwoorden

• Spellingscontrole

• “More like this…”

iLocal (2008), www.ilocal.nl

Online op geo-lokatie gebaseerde bedrijvengids

Europeana (2009), www.europeana.eu

Europese online zoekmachine voor cultureel erfgoed informatie.

CNet (2005), www.cnet.com

Gebruikt Solr voor het zoeken van producten en facet-gebaseerd browsen (Solr is origineel ontwikkeld door CNet).

Netflix, www.netflix.com

Gebruikt Solr voor het doorzoeken van hun website

NASA, http://nebula.nasa.gov/services/

Gebruikt Solr als de enterprise zoekcomponent in hun NEBULA cloud computing platform.

Solr’s belangrijkste zoekinterface is een webservice API. Zoekresultaten (en samenvattingen) worden geretourneerd in de vorm van XML. Solr biedt daarnaast ook een aanpasbare zoekinterface. Er bestaan ook andere tools die een rijkere interface bieden bovenop Solr (zie: http://www.jteam.nl/news/solrexplorer.html)

Solr retourneert het totaal aantal gevonden resultaten (gepagineerd). Voor elk gevonden resultaat wordt ook de relevantie aangegeven.

Solr biedt standaard vele tekstanalyse-componenten voor stemming (de meeste talen worden ondersteund). De meestgebruikte methode is gebaseerd op het Porter-algoritme.

Solr retourneert de zoekresultaten samen met de uitgevoerde zoekopdracht. Typisch wordt dit geretourneerd in een machine-begrijpbaar formaat (bijvoorbeeld XML, JSON, etc). Het is eenvoudig om te bepalen wat er per zoekopdracht aan informatie wordt teruggegeven.

Solr biedt verschillende mechanismen voor het verfijnen van zoekresultaten:

– Uitgebreide ondersteuning voor verschillende en complexe zoekopdrachten (uitgebreider dan wat Apache Lucene biedt.

– Relevantiebepaling op basis van functies op basis van documentattributen

– Aanpasbaar en uitbreidbaar scoring-algoritme

– Ondersteuning voor ‘boosts’ van velden en termen (zowel tijdens het indexeren als tijdens het zoeken)

– Relevantiebepaling op basis van relevante termen en de onderlinge afstand daarvan

Het is mogelijk om te sorteren op relevantie en elk ander veld binnen de geïndexeerde documenten. Daarnaast is het ook mogelijk om te sorteren op meerdere velden (‘nested sorting’). Er wordt gewerkt aan de mogelijkheid om te sorteren op basis van functies over documentattributen.

Solr biedt ondersteuning voor verschillende zoekoperatoren:

• Terms (specifieke waarde per attribuut)

• Boolean (AND, OR, NOT)

• Wildcards

• Range

• Fuzzy

• Proximity

• Functions (gebruikt om functies toe te passen op attribuutwaarden en gebruikt om de scoring te beïnvloeden)

Solr biedt standaardintegratie met Apache Tika, wat het mogelijk maakt om metadata te extraheren uit verschillende documentformaten.

Alle bestandsformaten die worden ondersteund door Apache Tika (zie: http://lucene.apache.org/tika/0.6/formats.html)

Solr ondersteunt markering (highlighting).

Solr biedt standaard een Data Import Handler module (DIH) die kan worden gebruikt voor het vergaren van content uit een RDBMS en uit XML-gebaseerde feeds van het web. Om websites of intranets te crawlen en het vergaren van content uit andere systemen zie: Apache Nutch and Lucene Connectors Framework (LCF). Het is ook mogelijk om content van buitenaf naar Solr te sturen (push mechanisme).

Alle documentatie en gebruikersinterfaces zijn in het Engels.

Solr’s Data Import Handler (DIH)-module ondersteunt zowel incrementeel als volledig indexeren.

Documenten uit verschillende subsystemen kunnen worden opgeslagen in dezelfde index. Er kan dan vervolgens worden gefilterd op basis van vooraf gedefinieerde attributen tijdens het uitvoeren van een zoekopdracht. Solr ondersteunt ook het gebruik van verschillende indexen per subsysteem en het apart doorzoeken van elke index.

Solr biedt standaard een Data Import Handler module (DIH) die gebruikt kan worden voor het vergaren van content uit een RDBMS en uit XML-gebaseerde feeds van het web. Om websites of intranets te crawlen en het vergaren van content uit andere systemen zie: Apache Nutch and Lucene Connectors Framework (LCF).

Solr kan worden geïnstalleerd als een stand-alone server. Dit kan zowel als een enkele instantie, alsmede ook als onderdeel van een geclusterde omgeving. In dit laatste geval kunnen sommige instanties dienen als replica’s (voor load-balancing en failover).

Configuratie van Solr gebeurt met een verzameling XML-bestanden.

Het is mogelijk om Solr’s index en zoekproces te configureren en verfijnen op verschillende niveaus:

• Low level via Apache Lucene

• Configuratie van verschillende componenten die de zoekopdrachten afhandelen, die elk hun eigen configuratie hebben

Solr biedt standaard ondersteuning voor synoniemen. Verder biedt Solr ook ondersteuning voor spellingscontrole gebaseerd op dictionaries. WordNet is een online dictionary die standaard wordt ondersteund, maak het is ook mogelijk een dictionary te gebruiken die is gebaseerd op de geïndexeerde termen zelf.

Solr ondersteunt het verfijnen van de recall / precision door het gebruik van verschillende query types.

Solr’s web interface voor administratie biedt hulpmiddelen voor het geven van inzicht in de index en het inzichtelijk maken van het tekst analyse proces (zowel tijdens het indexeren als tijdens het zoeken).

Solr biedt standaard ondersteuning voor faceted search.

Solr ondersteunt de analyse van het zoekproces door inzichtelijk te maken hoe en waarom documenten worden gevonden voor een gegeven zoekopdracht. Solr biedt ook extra informatie en statistieken over de structuur van de index (zowel via de administratie interface als direct via de webservice).

Lucene is beschikbaar op elk platform, aangezien het is ontwikkeld in Java.

Solr wordt voornamelijk gebruikt als webservice, die data teruggeeft in de vorm van bijvoorbeeld XML en JSON, die elke browser aankan. De administratie web interface van Solr wordt ook ondersteund door alle belangrijkste browsers (IE, Safari, Firefox en Chrome).

Solr is voornamelijk ontwikkeld om te gebruiken als een search service. Het biedt alle functionaliteit aan als een REST-achtige webservice. Dit zorgt ervoor dat Solr platform- en taalonafhankelijk is. Het is ook mogelijk om Solr direct binnen een Java-applicatie te gebruiken, maar dit wordt zelden gedaan.

Solr is niet afhankelijk van een database of enige andere externe service.

Aangezien de functionaliteit die Solr biedt beschikbaar is via het HTTP protocol, kan vanuit elke taal en omgeving waar het HTTP protocol beschikbaar is, worden gecommuniceerd met Solr.

Er bestaan vele client libraries om specifiek met Solr te communiceren, geschreven in verschillende talen (zoals Java, PHP, Ruby, Python, .NET, C#, Perl, Javascript, etc).

De webservice die Solr aanbiedt ondersteunt een aantal formaten voor het uitwisselen van data, zoals: XML, JSON, Ruby en Python.

Open source (Apache 2)

Niet mogelijk