오픈소스검색엔진 - 루씬

오픈소스검색엔진 - 루씬

분류없음 2007/12/26 14:21

왜 루씬인가? SQL로 검색기능을 구현하면 안되나?

like '%검색어%'

이런 SQL은 성능저하의 주범이다. DB 인덱스를 무용지물로 만들기 때문이다.
like문을 쓰는 대신 DBMS전문검색(fulltext search)을 사용할 수 있다.
예를 들어 sqlserver는 이렇게 한다.
sqlserver에서 fulltext검색
하지만 이 방법도 order by등을 사용하면 성능이 급격히 나빠진다.
mysql에서 풀텍스트 검색
또 대소문자를 구분하는등의 약점이 있다.
세번째 방법은 검색엔진의 색인구조를 DBMS로 구현하는 것이다. 테그시스템이 제일 많이 알려진 사례이다.

만약 네이버의 검색결과처럼 여러 데이타소스에서 검색해야 한다면? 이 방법로도 해결이 않된다

루씬에 크롤러는 없다. 길잃지 마시길.

루씬은 완성품이 아니다. 레고블록처럼 조립해야 쓸수 있다
즉 루씬은 라이브러리일뿐이다.
소스예제

public void simpleLucene()

{

    Analyzer analyzer = new StandardAnalyzer();



    // Store the index in memory:

    Directory directory = new RAMDirectory();



    // To store an index on disk, use this instead (note that the

    // parameter true will overwrite the index in that directory

    // if one exists):

    // Directory directory = FSDirectory.getDirectory("/tmp/testindex", true);



    IndexWriter iwriter = new IndexWriter(directory, analyzer, true);

    iwriter.setMaxFieldLength(25000);



    Document doc = new Document();

    String text = "This is the text to be indexed.";

    doc.add(new Field("fieldname", text, Field.Store.YES,

        Field.Index.TOKENIZED));

    iwriter.addDocument(doc);

    iwriter.close();



    // Now search the index:

    IndexSearcher isearcher = new IndexSearcher(directory);



    // Parse a simple query that searches for "text":

    QueryParser parser = new QueryParser("fieldname", analyzer);

    Query query = parser.parse("text");

    Hits hits = isearcher.search(query);

    assertEquals(1, hits.length());



    // Iterate through the results:

    for (int i = 0; i < hits.length(); i++)

    {

      Document hitDoc = hits.doc(i);

      assertEquals("This is the text to be indexed.", hitDoc.get("fieldname"));

    }



    isearcher.close();

    directory.close();

}

루씬을 써야 하는 이유
(1)라이브러리모음이기 때문에 유연성 100%다. 예를들어 형태소분석을 쓸건지 아니면 N-Gram방식을 쓸건지등에 대한 판단을 한다음에 Analyzer를 구현하면 된다.
(2)검색결과 하이라이트 제공한다.
(3)복잡한 검색표현식 제공        

    ex)철인 AND 스포츠
         철인*
         title:철인 -subject:스포츠
         title:"철인 스포츠"~5
         edate:[2007/10/10 TO 2007/12/30]

(4)속도향상을 위해 메모리에 색인데이타를 올려놓고 쓸수 있다
(5)네이버처럼 여러 데이타소스에서 통합검색할수 있다.

MultiSearcher searcher = new MultiSearcher (new Searchable[] { searchX, searchY });

Searcher searcher = new ParallelMultiSearcher (new Searchable[] { searchX, searchY });