🙇세상의 중심🌐

오픈소스검색엔진 - 루씬

왜 루씬인가? SQL로 검색기능을 구현하면 안되나?

like '%검색어%'

이런 SQL은 성능저하의 주범이다. DB 인덱스를 무용지물로 만들기 때문이다.
like문을 쓰는 대신 DBMS전문검색(fulltext search)을 사용할 수 있다.
예를 들어 sqlserver는 이렇게 한다.
sqlserver에서 fulltext검색
하지만 이 방법도 order by등을 사용하면 성능이 급격히 나빠진다.
mysql에서 풀텍스트 검색
또 대소문자를 구분하는등의 약점이 있다.
세번째 방법은 검색엔진의 색인구조를 DBMS로 구현하는 것이다. 테그시스템이 제일 많이 알려진 사례이다.

만약 네이버의 검색결과처럼 여러 데이타소스에서 검색해야 한다면? 이 방법로도 해결이 않된다

루씬에 크롤러는 없다. 길잃지 마시길.

루씬은 완성품이 아니다. 레고블록처럼 조립해야 쓸수 있다
즉 루씬은 라이브러리일뿐이다.
소스예제

public void simpleLucene()

{

    Analyzer analyzer = new StandardAnalyzer();



    // Store the index in memory:

    Directory directory = new RAMDirectory();



    // To store an index on disk, use this instead (note that the

    // parameter true will overwrite the index in that directory

    // if one exists):

    // Directory directory = FSDirectory.getDirectory("/tmp/testindex", true);



    IndexWriter iwriter = new IndexWriter(directory, analyzer, true);

    iwriter.setMaxFieldLength(25000);



    Document doc = new Document();

    String text = "This is the text to be indexed.";

    doc.add(new Field("fieldname", text, Field.Store.YES,

        Field.Index.TOKENIZED));

    iwriter.addDocument(doc);

    iwriter.close();



    // Now search the index:

    IndexSearcher isearcher = new IndexSearcher(directory);



    // Parse a simple query that searches for "text":

    QueryParser parser = new QueryParser("fieldname", analyzer);

    Query query = parser.parse("text");

    Hits hits = isearcher.search(query);

    assertEquals(1, hits.length());



    // Iterate through the results:

    for (int i = 0; i < hits.length(); i++)

    {

      Document hitDoc = hits.doc(i);

      assertEquals("This is the text to be indexed.", hitDoc.get("fieldname"));

    }



    isearcher.close();

    directory.close();

}

루씬을 써야 하는 이유
(1)라이브러리모음이기 때문에 유연성 100%다. 예를들어 형태소분석을 쓸건지 아니면 N-Gram방식을 쓸건지등에 대한 판단을 한다음에 Analyzer를 구현하면 된다.
(2)검색결과 하이라이트 제공한다.
(3)복잡한 검색표현식 제공        

    ex)철인 AND 스포츠
         철인*
         title:철인 -subject:스포츠
         title:"철인 스포츠"~5
         edate:[2007/10/10 TO 2007/12/30]

(4)속도향상을 위해 메모리에 색인데이타를 올려놓고 쓸수 있다
(5)네이버처럼 여러 데이타소스에서 통합검색할수 있다.

MultiSearcher searcher = new MultiSearcher (new Searchable[] { searchX, searchY });

Searcher searcher = new ParallelMultiSearcher (new Searchable[] { searchX, searchY });

본 메일은 2009년 02월 16일 기준으로 당사의 메일을 수신 동의하신 고객 분들에게만 발송되는 메일입니다.
메일 수신을 원치 않으시면 제목란에 "UNSUBSCRIBE"라고 적으신 후 회신하여 주십시오.
또한 프로필 센터를 통하여 뉴스레터에 대한 모든 구독 관리를 하실 수 있습니다.
주소: 서울특별시 강남구 대치동 892번지 포스코센터 서관 5층 (우편번호 135-777)
고객지원센터: 국내 1577-9700 / 해외 82-2-567-7881
ⓒ 2009 Microsoft Corporation. All rights reserved. 사용권에 대한 고지 사항 | 개인정보보호정책 | 문의처

Problem 17
17 May 2002

If the numbers 1 to 5 are written out in words: one, two, three, four, five, then there are 3 + 3 + 5 + 4 + 4 = 19 letters used in total.

If all the numbers from 1 to 1000 (one thousand) inclusive were written out in words, how many letters would be used?

NOTE: Do not count spaces or hyphens. For example, 342 (three hundred and forty-two) contains 23 letters and 115 (one hundred and fifteen) contains 20 letters. The use of "and" when writing out numbers is in compliance with British usage.

package com.tistory.honeybox.Euler;

import java.io.File;
import java.io.FileNotFoundException;
import java.io.PrintWriter;
public class Euler17 
{
	static String getTenUnit(int num)
	{
		switch(num)
		{
		case 0:
			return "ten";
		case 1:
			return "eleven";
		case 2:
			return "twelve";
		case 3:
			return "thirteen";
		case 4:
			return "fourteen";
		case 5:
			return "fifteen";
		case 6:
			return "sixteen";
		case 7:
			return "seventeen";
		case 8:
			return "eighteen";
		case 9:
			return "nineteen";
		}
		return null;
	}
	static String getNum(int num)
	{
		switch(num)
		{
		case 0:
			return "";
		case 1:
			return "one";
		case 2:
			return "two";
		case 3:
			return "three";
		case 4:
			return "four";
		case 5:
			return "five";
		case 6:
			return "six";
		case 7:
			return "seven";
		case 8:
			return "eight";
		case 9:
			return "nine";
		}
		return null;
	}
	static String getJarisu(int size,int num)
	{
		switch(size)
		{
		case 4: //천자리
			return getNum(num)+"thousand";
		case 3: //백자리
		case 0:
			switch(num)
			{
			case 0:return "";
			default:return getNum(num)+"hundred";
			}
		case 2: //십자리
			switch(num)
			{
			case 0:
				return "";
			case 1:
				return "";
			case 2:
				return "twenty";
			case 3:
				return "thirty";
			case 4:
				return "forty";
			case 5:
				return "fifty";
			case 6:
				return "sixty";
			case 7:
				return "seventy";
			case 8:
				return "eighty";
			case 9:
				return "ninety";
			}
		case 1:
			return getNum(num);
		default:
			return null;
		}


	}

	static String readInEnglish(String strNum)
	{
		String ret="";

		for(int i = 0 ; i < strNum.length() ; i++)
		{
			if(strNum.length()-i==2 
					&& (Integer.parseInt(strNum.charAt(i)+"")==1))
			{
				ret+=getTenUnit(Integer.parseInt(strNum.charAt(i+1)+""));
				return ret;
			}


			ret +=getJarisu(strNum.length()-i
					,Integer.parseInt(strNum.charAt(i)+""));
			if(strNum.length()-i==3)
			{
				if(strNum.charAt(strNum.length()-(i+1))!= '0'
					|| strNum.charAt(strNum.length()-(i+2))!= '0')
				{
					ret+="and";
				}
			}
		}

		return ret;
	}
	public static void main(String [] args) throws FileNotFoundException
	{


		
		PrintWriter out = new PrintWriter(new File("out"));
		int total=0;
		StringBuffer strBuffer = new StringBuffer();
		for(int i = 1 ; i <= 1000 ;i++)
		{
			String temp = readInEnglish(i+"");
			strBuffer.append(temp);
			total += temp.trim().length();
			System.out.print(temp);
			out.println(temp);
		}
		System.out.println(strBuffer);
		System.out.print("정답: " +total);
	}



}

package com.tistory.honeybox.Euler;
import java.util.Calendar;

public class Euler5 
{

	public static void main(String [] args)
	{
		Calendar cal = Calendar.getInstance();
	
		int i,j;
		int nCount = 0;
		for(i = 1901 ; i <= 2000; i++)
		{
			for(j = 1 ;j <= 12; j++)
			{
				cal.clear();
				cal.set(i,j,1);
				if(cal.get(Calendar.DAY_OF_WEEK) == Calendar.SUNDAY)
				{
					nCount++;
				}
			}
		}
		System.out.println(nCount);
		
	}
}

1. Eclipse : 내가 사용한 버젼은 3.1.2인데, 최신버젼은 아닐거다.. 설치한지 1년은 넘은 것 같으니.. 3.x 버젼만 사용하면 문제없이 빌드가 가능한 것 같다..


2. JDK : 가장 최신 버젼인 1.5를 설치하라고 한다.. 하지만, 1.4 버젼에서도 실행되는데 문제는 없는 것 같아서 (Jake 2 Play Now로 실행되는 모습을 구경했는데 JDK 최신버젼을 설치하라는 메시지는 나오지 않았었다.. 내 노트북에 JDK 1.4가 설치되어 있었는데..) 소스코드 빌드도 1.5 설치없이 해봤다..
   지금 참여중인 프로젝트 환경이 JDK 1.4로 세팅이 되어 있는데, 괜히 JDK 1.5를 설치했다가 안되면 골치 아플 것 같아서리.. 물론 JDK를 1.4와 1.5를 모두 설치하고 사용하도록 세팅하는 방법이 있을 것 같지만, 확실하지 않아서 모험을 해보긴 싫었다.. 요즘엔 이런 저런 실험해볼 시간이 넉넉치 못하거덩..


3. Quake 2 : 게임이 실행되는데 필요한 데이터 파일들 때문에 필요하다.. 정품이 있으면 좋겠지만, 그냥 돌려보는 정도라면 데모버젼을 다운로드 받아 설치해도 된다.. 데모버젼의 경우 제일 처음 시작 부분의 맵 몇개만 즐길 수 있다..

1. 이클립스를 실행시킨 후 CVS 퍼스펙티브로 전환해서 CVS 접속을 한다..
   (새 CVS repository를 아래의 내용을 입력해 만든다.)
   host : jake2.cvs.sourceforge.net
   repository path : /cvsroot/jake2
   user : anonymous
   password : 없음
   connection type : pserver


2. 접 속이 되면 트리에 HEAD 라고 보일 것이고 그 밑에 jake2라고 있다.. 마우스 우측 클릭을 해서 Checkout As.. 를 선택하고 원하는 웍스페이스 명, 파일 경로 등을 입력하면 이클립스용 웍스페이스를 만들고 선택한 경로에 소스파일들을 다운로드 받아준다


3. Java 퍼스펙티브에서 src/jake2/Jake2.java 를 마우스 우측 버튼 클릭하여 Run As -> Run을 선택하면 다이얼로그 창이 하나 뜬다.. Java Application을 선택하고 "New" 버튼을 클릭하면 옵션들을 지정할 수 있는 화면이 나타나는데 Arguments 탭을 선택한 후에 VM arguments 부분에
   -Xmx80M -Dsun.java2d.noddraw=true
   -Djava.library.path=lib/jogl/windows;lib/joal/windows;lib/lwjgl/windows
   라고 입력을 한다..


4. 빌 드를 해보면 에러가 우수수 떨어질 것인데 assert (f >= 0) : "negative time and cursor bug"; 이런 구문 때문이다.. Java 5 부터 새로 추가된 문법인가본데, 잘 모르겠고.. 이런 점검문은 없어도 실행되는데 문제가 없으니 모두 주석처리.. 그외에 많은 경고들이 떨어지는데 건 JDK 1.5를 사용한다고 해도 날만한 것들이니 무시..


5. 또 하나의 에러는 JDK 1.4에는 없는 System.nanoTime() 을 사용한다는 것인데..
   base = (long)(System.currentTimeMillis() * 1000000); 이런 식으로 nanoTime을 사용하는 곳에서는 밀리타임을 나노타임처럼 만들어주는 코드로 바꿔줬다.. 2군데만 주석처리해주고 수정하면 된다..


6. Q2DataDialog.java 파일의 컨스트럭터 부분을 보면 Quake 2 데이터 파일들이 있는 경로의 초기값을 설정하는 부분이 있는데, 매번 지정해주기 귀찮으므로 내 하드디스크의 경로를 이곳에 하드코딩 해버렸다..
   // dir = home + sep + "Jake2" + sep + "baseq2";
   dir = "C:\\Project\\madchick\\Game\\Quake II\\baseq2";