고요한 하늘

네이버 시멘틱 영화 검색

2009-09-30T00:48:53Z

시멘틱이 대세인가 보다

네이트도 그렇고 네이버도 그렇고

시멘틱이라는 타이틀로 하나씩 서비스를 오픈했다.

네이버 시멘틱 영화 검색 <- 자동으로 링크 색좀 바꿔달라고 그렇게 이야기 했는데 아직도 적용이 안됐네 ..

네이트 시멘틱 검색 : http://itviewpoint.com/140824 참고

marginal probability distribution(주변확률분포)

2009-09-22T10:42:54Z

일반적으로 확률(probability)이라 함은 나타날수 있는 가능성을 의미한다.

쉬운 예로 주사위를 던졌을때 각 눈이 나올 확률은 1/6이다.

그러면 확률 변수는 무엇인가

임의의 실험에 의해 값이 결정되는 변수를 말한다.

이때 나온 값을 셀수 있으면 이산 확률 변수라고 하고

셀수 없으면 연속 확률 변수라고 한다.

위에서 설명한 이산확률변수와, 연속확률변수를 하나의 함수로 표현할수 있는데

이 함수를 확률질량(mass)함수와, 확률밀도(density)함수로 부른다.

확률질량함수는 이산확률변수를 표현할때 사용하고

확률밀도함수는 연속확률변수를 표현할때 사용한다.

그러면 이산확률변수(discrite probability variable)가 두개일때

이를 표현하는 방법은 두개의 이산확률변수(continuous probability variable) X,Y가 있을때

이 둘의 결합확률 함수는 다음과 같다.

첫번째 변수 X에서 임의의 값x와 두번째 변수 Y에서 임의의값 y가 동시에 나타날 확률을 나타내는 함수를 결합확률함수라 한다.

두 이산확률변수의 결합확룰분포(joint probability distribution)로부터 각각의 이산확률변수에 대한 분포를 구할 수 있다.

이를 주변확률분포라고 하고 의미는

Y가 가질수 있는 모든 값들의 결합함수의 합은 확률 변수 X의 주변확률이라고 하고,

그 확률을 나타내는 함수를 주변확률 함수라고 한다.

간다히 예를 보면

	x= 1	x= 2	x= 3	x= 4
y= 1	1/8	1/16	1/32	1/32
y= 2	1/16	1/8	1/32	1/32
y= 3	1/16	1/16	1/16	1/16
y= 4	1/4	0	0	0

X의 주변확률분포 P(X) = 1/2, 1/4, 1/8, 1/8이다.

첫번째값 1/2은 x=1로 고정된 상태에서 y가 1,2,3,4일때 각 값을 모두 더한값이다

수식으로 표현하면

와 같다.( 이산확률분포일때 )

예)

X : 앞면의 수

Y : 첫번째 동전이 앞면이면 1, 뒷면이면 0 < 표1>

실험	HH	HT	TH	TT
X	2	1	1	0
Y	1	1	0	0
확률	1/4	1/4	1/4	1/4

X의 확률 분포를 보면 < 표2>

X	0	1	2
확률	1/4	2/4	1/4

Y의 확률 분포를 보면 < 표3>

Y	0	1	합
확률	1/2	1/2	1

(X,Y)의 확률 분포

	X = 0	X = 1	X = 2	합
Y= 0	1/4	1/4	0/4	1/2
Y= 1	0/4	1/4	1/4	1/2
합	1/4	2/4	1/4	1

X = 0, Y = 0 의 경우

< 표1>을 확인해보면 X = 0일때 즉 <표1>에서는 TT가 0일때 Y가 0인 경우가 0이기 때문에 X = 0, Y = 0 의 확률은 0이다.

다른 예를 보면

X = 1, Y = 1 의 경우

<표1>을 확인해보면 X가 1인 경우는 각각 1번씩 나타났으면 이중 Y가 1인 경우는 1회이다.

이때의 확률은 1/4이 된다.

다음 vs 네이버 ( 쿼리 : 티아라 )

2009-09-15T20:07:36Z

다음 실시간 검색에 "티아라"가 있길래 검색한 결과이다.

다음에서는 스폰서링크,프리미엄링크,스페셜링크까지 총 3개의 광고와 쇼핑하우와 관련검색어까지해서 총 5개의 컨텐츠가 노출된후에

그룹 티아라에 대한 프로필 정보가 노출되었다.

네이버는 "티아라" 그룹 프로필이 바로 나온다.

굳이 글로 쓰지 않아도 무엇을 이야기하는지는 알수 있을듯....

이 쿼리에 대해 이런저런 설명이 필요없이 유저가 원하는 것은 자명하다.

라그랑제 승수 ( Lagrange multipliers )

2009-09-11T14:36:15Z

초간단 예제

F(x,y) = x + y이고

이것의 제한 조건이 x^2 + y^2 = 1일때

이 두개를 만족하는 해 중에 최대값은 이고, 최소값은 이다.

g(x,y) - c = x^2 + y^2 - 1

$Λ(x, y,λ) = f (x, y) + λ(g (x, y) - c) = x + y + λ(x 2 + y 2 - 1)$

$을 편미분 한다.$

$첫번째로 x로 편미분 하면$

$두번째는 y로 편미분 하고$

$세번재는 lambda로 편미분하면( lambda = )$

$아래와 같이 3개의 다항식을 얻을수 있다.$

보통 (iii) lamba로 편미분한 다항식은 처음 조건으로 제시된 제한 조건과 일치한다.

처음 두개의 다항식{ (i),(ii) }를 결합하면

1 + 2Lx = 1 + 2Ly (L : lambda )

2Lx = 2Ly

x = y가 된다.

따라서 세번째식 x^2 + y^2 = 1을

x^2 + x^2 = 1 => 2x^2 = 1로 변환할수 있고

x^2 = 1/2 가 되고 결국 x = 또는 라는 해를 얻을수 있다.

이 해를 함수에 적용해보면

가 되고

결국 제한조건을 만족하는 함수 f의 최대값은 가 되고 최소값은 가 된다.

간단 예제

f(x,y) = x^2y이고

제한조건이 x^2 + y^2 = 3일때

g(x,y) - c = x^2 + y^2 - 3이다.

에서

$첫번째로 x로 편미분 하면$

$두번째는 y로 편미분 하고$

$세번재는 lambda로 편미분하면$

$아래와 같이 3개의 다항식을 얻을수 있다.$

$첫번째 다항식에서 x = 0이거나 lambda가 -y이면 첫번째 다항식을 만족한다.$

$만약 x = 0일 경우를 보면 가 되고 lambda = 0이된다.$

$lambda = -y라면$

$두번째 다항식에 적용하면 다음과 같이 된다.$

$x^2 - 2y^2 = 0 => x^2 = 2y^2$

$다시 세번째 다항식에 적용하면$

$2y^2 + y^2 -3 = 0 =>$ $3y^2 = 3 =>$ $y^2 = 1$

$이 된다.$

$따라서 해는$

$가 되고$

$우리가 찾고자 하는 값은$

$global maximum :$

$local maximum :$

$local minimum : 을 얻을수 있다.$

$comment : 함수가 주어지고 이 함수에 대한 특정 제한 조건이 존재할때, 이 제한 조건을 만족하는 최대값과 최소값을 라그랑제 승수로 구할수 있다.$

최대 엔트로피 모델( Maximum Entropy Model )

2009-09-04T19:49:25Z

ME(Maximum Entropy, 이하 ME)는 이종의 정보를 분류하기 위한 일종의 프레임웍이다.

일반적으로 미리 정의된 제한조건(constraint)를 만족하고 그 이외의 값은 동일하게 하는 확률 모델이다.

ME를 하기 위해서 우선 자질을 선택해야 하고, 다음으로 가중치 변수의 값을 추정해야 한다.

자질선택을 보면 문서분류의 경우는 일반적으로 0,1값을 출력하는 이진 함수로 표현할 수 있다.

어떤 문서가 어떤 클래스에 속하는지 또는 속하지 않는지를 0,1값으로 표현하면 이것이 자질 함수가 되겠다.

보통 기대값은 다음과 같이 계산한다.

주사위가 있고 주사위 각 면이 나올 확률은 모두 1/6이라고 할때

주사위의 기대값은

E(Y) = 1/6 ∑Y

가된다.

Y값은 1 ~ 6이 되고

결과적으로 E(Y) = 1/6 ( 1 + 2 + 3 + 4 + 5 + 6 ) = 21/6 이 된다.

따라서 주사위 Y의 기대값 E(Y) = 21/6이다.

문서D에 대해 자질f의 경험적 확률 분포P(d,c)의 기대값을 정의하면

Ep~(f) = ∑ P~(d,c)* f(d,c)

f(d,c) 는

d가 c이면 1

아니면 0을 리턴하는 함수이다.

P(d,c) = Count(d,c)/Count(d)

Count(d,c)는 문서 d가 c일 확률이고

Count(d)는 전체 문서수이다.

확률 분포 P(d,c)에 대한 f의 기대값은

Ep(f) = ∑ P(d,c)* f(d,c) 가 된다.

그리고 Ep(F) = Ep~(F)

하지만 Ep(f) = ∑ P(d,c)* f(d,c)에서 P(d,c)는 구할수 없기 때문에 근사적 기대값으로

Ep(f) = ∑ P(d,c)* f(d,c) == ∑ P~(d)P(c|d) f(d,c) 가 된다.( 문서도 무한하고 클래스 역시 무한하다 )

최대 엔트로피 원리에 의해 확률분포 중 최선의 확률 분포는

P* = argmax H(p)

주어진 제약조건을 만족하는 제한적 최적화문제인데 이를 라그랑제 승수를 적용하여

비제한적 최적화 문제로 변형하여 풀수 있다.

다시 말하면 조건부 확률 분포를 지수 또는 로그 선형 확률 분포로 변형하여 풀수 있다.

----------------------------------------------------------------------------------------------

Foundations of Statistical Natural Language Processing

----------------------------------------------------------------------------------------------

원본 문서

BASE DATA

-----------------------------------------------------------------------------------------------------------------------------

Word wj Term weight Sij Classification

-----------------------------------------------------------------------------------------------------------------------------

vs	5	1
mln	5	1
cts	3	1
;	3	1
&	3	1
000	4	1
loss	0	1
,	0	1
"	0	1
3	4	1
profit	0	1
dlrs	3	1
1	2	1
pct	0	1
is	0	1
s	0	1
that	0	1
net	3	1
lt	2	1
at	0	1

위 테이블을 보면

워드가 총 20개이다. 따라서 문서 x는 기본적으로 feature가 20차원인 벡터로 생각할수 있다. X = { vs, mln, .... }

features fi는 (x,c)의 속성을 특징지을때 사용하는 이진 함수고 F(xj,c) 는 다음과 같다

1. 만약 Sij가 0이상이고 클래스가 1이면 return 1

2. 아니면 return 0

K : feature의 수, α : feature Fi의 가중치 Z : 정규화 상수

위 수식 양변에 LOG를 취하면

과 같다.

Generalized iterative scaling은 아래의 제한된 상황에서 최대 엔트로피 분포 를 찾기 위한 절차이다.

다른말로 하면, 의 Fi 기대값과 경험적 분포의 기대값은 같다.

알고리즘은 상수 C와 동일한 각각의 가능한 (X,C)의 feature의 합이 필요하다. 이 요구조건을 만족하기 위해서 feature의 sum의 최대값을 C로 정의한다.

이책에서는 feature함수를 1개만 쓰고 있기 때문에 F1(X,C) = 1이 된다.

따라서 Fk+1은 다음과 같이 구할수 있다.

K2(X,C) = 1 - F1(X,C)

이 함수는 바이너리 함수는 아니다.( 이책의 예제에서는 바이너리로 동작하겠네 )

여기서 합계는 모든 이벤트 공간을 의미한다. 즉, 가능한 벡터 X와 클래스 레이블 C를 의미한다. 경험적 기대값은 아래의 식으로 쉽게 계산이 가능하다.

N은 학습데이터의 전체 원소 수이고, 학습데이터에서 나타나지 않는 쌍에 대한 경험적 확률은 0으로 설정하여 사용한다.

일반적으로 최대 엔트로피 분포 EpFi는 효과적으로 계산이 어려운데, X와 C에 대한 모든 가능한 조합을 계산하기가 불가능하기 때문이다.

대신 근사값으로 이를 해결할수 있다.

여기서 c가 가질수 있는 값은 0,1과 이다.

GIS를 설명하면

1. 우선 알파값을 모두 1로 설정하고 EpFi를 계산한다.

2. 학습문서에서 각각의 요소 (X,C)에 대한 알파값으로 주어진 분포 Pn으로 P(n) P(n)(X,C)를 계산한다.

3. Ep(n)fi를 16.10식으로 계산한다( i는 1부터 k+1까지 )

4. 알파값을 없데이트한다.

5. 파라미터가 수렴하면 멈추고, 그렇지 않으면 다시 2단계로 넘어간ㄷ

참고 : http://www.ai.mit.edu/courses/6.891-nlp/l6.pdf

참고 : http://register.itfind.or.kr/Report01/200302/IITA/IITA-2380-230/IITA-2380-230.pdf

참고 : http://books.google.com/books?id=YiFDxbEX3SUC&printsec=frontcover&dq=Foundations+Of+Statistical+Natural+Language+Processing&hl=ko#v=onepage&q=&f=false

LOG LINEAR MODEL : http://www.cs.cmu.edu/~nasmith/papers/smith.tut04.pdf

GIS : 일반적으로 Maximum Entropy Approach는 바이너리 데이터에 국한되어 사용하지는 않지만 여기서 소개하는 GIS는 오직 바이너리 데이터에 대해서만 동작한다.

LINGO Algorithm

2009-08-25T15:32:16Z

SVD나 NMF같은 Dimension reduction skill은 어디에 쓰나 했더니 이런곳에 사용을 하는군요

-------------------------------------------------------------------------------------------------

일반적으로 OPEN 클러스터링 알고리즘은 컨텐츠를 그룹핑 한후에 이를 기반으로 Label을 추출한다. 경우에 따러서 읽기 어려운 Label이 추출되기도 하는데 LINGO는 이런문제를 해결하기 위해 사람이 이해할수 있는 Label을 먼저 추출하고 이를 기반으로 클러스터링을 수행한다.

입력문서에서 고빈도 구를 추출하고, SVD를 사용해서 Term-Document matrix의 차원을 축소한 후에, 검색결과에서 숨겨진 토픽을 추출한다. 마지막으로 추출된 토픽으로 그룹을 매치하고 각 문서를 그룹에 할당한다.

t = 5 Term이고                     d = 7 documents

T1 = Information D1 = Large Scale Singular Value Computations

T2 = Singular                      D2 = Software for the Sparse Singular Value Decomposition

T3 = Value D3 = Introduction to Modern Information Retrieval

T4 = Computations D4 = Linear Algebra for Intelligent Information Retrieval

T5 = Retrieval                     D5 = Matrix Computations

   D6 = Singular Value Analysis of Cryptograms

   D7 = Automatic Information Organization

이것을 TF/IDF를 사용해서 Matrix를 만들면

A =

d1 d2 d3 d4 d5 d6 d7 DF(document frequency) IDF

information 0 0 1 1 0 0 1 3 0.37

singular 1 1 0 0 0 1 0 3 0.37

value 1 1 0 0 0 1 0 3 0.37

computations 1 0 0 0 1 0 0 2 0.54

retrieval 0 0 1 1 0 0 0 2 0.54

여기에 Column length normalization을 실행하면 아래와 같은 결과를 얻을수 있다.( column length normalization은 아마도 Input document에서 stop word를 제거한 후의 term의 개수를 곱한것을 의미하는 것 같다 )

A =

information	0.00	0.00	0.56	0.56	0.00	0.00	1.00
singular	0.49	0.71	0.00	0.00	0.00	0.71	0.00
value	0.49	0.71	0.00	0.00	0.00	0.71	0.00
computations	0.72	0.00	0.00	0.00	1.00	0.00	0.00
retrieval	0.00	0.00	0.83	0.83	0.00	0.00	0.00

Matrix A를 SVD를 사용해서분해하면

A = USV(^t)

U =

0.00	0.75	0.00	-0.66	0.00
0.65	0.00	-0.28	0.00	-0.71
0.65	0.00	-0.28	0.00	0.71
0.39	0.00	0.92	0.00	0.00
0.00	0.66	0.00	0.75	0.00

P =

	singular Value	Information Retrieval	information	singular	value	computations	retrieval
information	0.00	1.00	1.00	0.00	0.00	0.00	0.00
singular	1.00	0.00	0.00	1.00	0.00	0.00	0.00
value	1.00	0.00	0.00	0.00	1.00	0.00	0.00
computations	0.00	0.00	0.00	0.00	0.00	1.00	0.00
retrieval	0.00	1.00	0.00	0.00	0.00	0.00	1.00

P =

0.00	0.56	1.00	0.00	0.00	0.00	0.00
0.71	0.00	0.00	1.00	0.00	0.00	0.00
0.71	0.00	0.00	0.00	1.00	0.00	0.00
0.00	0.00	0.00	0.00	0.00	1.00	0.00
0.00	0.83	0.00	0.00	0.00	0.00	1.00

M = U^t * P ( Matrix U에서 유의미한 차원까지만 선택한다 )

0.82	0.00	0.00	0.65	0.65	0.39	0.00
0.00	0.97	0.75	0.00	0.00	0.00	0.66

C = Q^t * A =

0.69	1.00	0.00	0.00	0.00	1.00	0.00
0.00	0.00	1.00	1.00	0.00	0.00	0.56

----------------------------------------------------------------------------------------------

Information Retrieval[ 1.0 ]

[1.00] Introduction to Modern Information Retrieval

[1.00] Linear Algebra for Intelligent Information Retrieval
[0.56] Automatic Information Organization

----------------------------------------------------------------------------------------------

Singular Value[0.95]

[1.00] Software for the Sparse Singular Value Decomposition

[1.00] Singular Value Analysis of Cryptograms

[0.69] Large Scale Singular Value Computations

----------------------------------------------------------------------------------------------

구글 토픽(TOPICSEARCH)

2009-08-18T23:24:30Z

구글 코리아에서 새로운 서비스를 선보였다. TOPICSEARCH

첫화면에 보이는 것을 봐서는 클러스터링을 한것 같고 클러스터에서 TOPIC을 추출하는 방식을 취한 것 같다.

토픽 서치 메인 화면은 마치 다음이나 네이버의 뉴스 홈을 보는 것과 같이 주요 이슈를 자동으로 추출하여 보여주고 있어서

구글이 가진 장점과 국내 포털의 장점이 잘 섞여 있다는 느낌이 든다.

검색했을때 보이는 화면은 네이버의 뉴스 클러스터의 검색결과와 상당히 유사한것 같다.

네이버는 형태소 분석을 사용하는것으로 봐서 실시간분석은 아니고 일정 주기(약 10분)로 빌드되는것 같은데, 구글이 하는 분석이 형태소 분석인지는 확언할수 없다. 따라서 서비스가 실시간인지 아닌지도 판단이 어렵다.

암튼 구글에서 이번에도 재미있는 서비스를 만들어 놓은것 같아 개발자 입장에서 고무적이다.

구글 답지 않게 상당히 화려한 UI가 인상적이다.

아래쪽의 관련 검색어를 보면 대략 어떤 방식을 취했는지 추출해볼수 있을것 같다.

메세지 크래커

2009-08-10T17:05:40Z

윈도우즈 코드를 보다보니 평상시에 보기 힘든 코드가 있어서 간단히 소개를한다.

검색엔진에서 찾아보니 '메세지 크래커'라는 이름으로 사용을 하고 있습니다.

비주얼 스튜디오를 설치하면 windowsx.h라는 파일을 찾아볼수가 있는데 이 파일을 열어보면

/****** Message crackers ****************************************************/
#define HANDLE_MSG(hwnd, message, fn) \
case (message): return HANDLE_##message((hwnd), (wParam), (lParam), (fn))

이런 코드를 볼수 있다, HANDLE_MSG라는 define함수는 아래에 있는 HANDLE_WM_*으로 시작하는 다른 define함수를 호출한다.

/* void Cls_OnTimer(HWND hwnd, UINT id) */
#define HANDLE_WM_TIMER(hwnd, wParam, lParam, fn) \
((fn)((hwnd), (UINT)(wParam)), 0L)

코드설명을 간단히 하면

프로그래머는 HANDLE_MSG()라는 매크로로 정의된 함수를 사용하면 된다.

이 함수를 호출하면

HANDLE_MSG()의 두번째 인자 message에 따러서 그에 맞는 함수(fn)을 호출하는 방식이다.

이런식의 메세지 크랙커를 쓰는 이유는 간단하다.

함수 사용을 간단히 하기 위함이다. 서로 다른 파라미터를 갖는 여러 종류의 함수에 대해서 미리 define해놓고 이후에는 간단히 언제 호출하고(message) 그때 어떤 함수(fn)를 호출하는지를 설정만 하도록 한다.

간단히 예를 들면

#include

void called_a( char *b );

void called_b( int c, char *d );

void calling( int a, char *b, int c, char *d )

{

switch( a )

{

case WM_A : called_a( b ); break;

case WM_B : called_b( c, d ); break;

}

만약에 calling()함수가 이렇게 되어 있다고 할때

switch문안에서 호출하는 called_a()와 called_b() 이 두 함수의 파라미터를 각각 알고 있어야 한다.

물론 다른 곳에서 이 함수를 호출할때에도 이 함수에서 필요로 하는 함수 파라미터의 개수와 종류를 알고 있어야 한다.

이를 간단히 메세지 크래커로 변경하면

#include

void called_a( char *b );

void called_b( int c, char *d );

void calling( int a, char *b, int c, char *d )

{

switch( int a )

{

HANDLE_MSG( a, called_a ) ;

HANDLE_MSG( a, called_b ) ;

}

처럼 변경이 가능하다. HANDLE_MSG가 함수 이름이라고 생각하면

함수의 파라미터 개수는 항상 2이고 첫번째는 함수를 언제 호출할지 알리기 위함이고 두번째는 호출되는 함수명을 넣으면 된다.

한번만 메세지 크래커로 작업을 해 놓으면 이후에 함수를 호출하는 노력이 훨씬 줄어든다.

위 예에서 필요한 함수를 정의하면 다음과 같다.

#define HANDLE_MSG( message, fu ) \

case (message) : return HANDLE_##message( (b), (c), (d), (fn) )

#define HANDLE_WM_A( b, c, d, fn )\

((fn)((b))

#define HANDLE_WM_B( b, c, d, fn )\

((fn)((c),(d)))

네이버 형태소 분석 결과

2009-08-06T15:32:44Z

네이버랩에 가끔 들려 새롭게 업데이트 되는 서비스가 없는지 확인하곤 하는데

우연한 기회에 네이버에서 사용하는 형태소 분석 결과를 추축할수 있는 페이지를 발견하게 되었다.

랩매뉴중 하나인 뉴스클러스러링 페이지를 보면 우측에 이슈 키워드라고 보여주는 메뉴가 있다. 플러스 표시를 클릭하게 되면 아래쪽에 서브 키워드를 보여주는데 이 서브 키워드를 보고 네이버 형태소 분석 결과를 일부지만 분석 로직을 추축해 볼수 있었다.

첫번째 키워드 "김보연"을 선택해서 보면

첫번째 서브 키워드가 "9 9살 연하 남편 전노민"이다.

"9 9"가 이상하게 보이는데 이렇게 보이는 이유는 다음과 같다.

형태소 분석기가 숫자+단위명사의 경우

색인을 할때 두개의 색인텀을 추출한다.

하나는 숫사만 색인을 하고

다른 하나는 숫자+단위명사를 색인하는 방식을 사용했기 때문에

9, 9살 처럼 키워드가 보이는 것이다.

이런 흔적은 "대한민국"이라는 키워드에 가면 더욱 자세히 알수 있다.

"제1회"의 경우는 더욱 많은 색인텀을 추출해 주는데

1. 제1

2. 제1회

3. 1

4. 1회

총 4개의 색인텀을 추출하는것 같다.

아래의 예는 조금 이상하게 색인텀이 추출된것 같긴한데

"뮤직뱅크" 키워드에 보면 "두번째 싱글"에서 두번째는 "두"와 "두번째"가 추출되었다.

그리고 문서에서는 "첫 키스"와 "첫키스"가 혼재되어 있는데 키워드로노출될때는 "첫 키스"로 첫과 키스를 띄어줌으로써 형태소 분석을 한 흔적이 엿보인다.

나도 가끔하는 착각

2009-08-05T10:31:38Z

http://www.globalstandard.or.kr/bbs/board.php?bo_table=article06&wr_id=24

인재고용을 사외에서만 하는 것이 아니고 사내에서도 가능하다는 발상에서 출발한다.

회사에서는 유능한 인재를 여러곳에서 활용하고, 개인은 하고 싶은 일을 할수 있는 기회를 보다 많이 얻을 수 있다.

쉽게 이야기하면 시장원리를 도입한다고 생각하면 되고, 요즘 트랜드로 이야기하면 사내에서도 지금보다 경쟁이 치열해 진다고 보면 된다.

이런 기사를 보면 나도 가끔하는 착각이 있다.

"이 제도가 우리회사에도 도입되었으면 좋겠다" 이렇게 생각하는 기저에는 나는 유능한 인재이고 내가 하고 싶은 일을 할수 있는 기회가 많아질거라고 생각을 하고 있기 때문이다.

이런 제도가 도입되면 내가 잘팔리는 직원인지 잘 팔리지 않는 직원인지 단번에 알수가 있을 이고, 일부 직원에게는 지금보다 큰 성취감을 일부 직원에게는 지금 느끼는 성취감이나 안정감이 패배감과 열등의식으로 바뀔것이다.

대게는 자신은 전자에 속할것이라 착각하지만 전자에 속할 확률을 우리가 생각하는 것보다 그리 높지 않다.

지도자는 철학이 있어야 한다

2009-07-16T10:39:41Z

올블로그에 갔다가 '화성침공'이라는 분 포스트를 봤다.

최근 수해가 발생한 지역에 간 이명박 대통령의 대처 방식과

태안 기름 유출 당시 노무현 대통령의 대처 방식을 비교해 놓았다.

대처 방식을 보면 두 대통령이 사안을 바라보는 시각차를 엿볼수 있다.

노대통령이 그리운건 나뿐일까~~~~

돌발영상[원대한구상]

돌발영상[정답맞추기]

여보 나좀 도와줘( 정치인 노무현 )

2009-07-16T10:09:12Z

여보 나좀 도와줘

저자 노무현

출판사 새터 발간일 2002.04.17

책소개 노무현의 고백 에세이집. 고졸 출신의 인권 변호사, 우리 나라 최대 재벌의 회장을 혼쭐나게 한 청문...

대통령이 되기 8년전에 쓰여진 책으로, 40대 후반 노무현의 삶을 기록한 책이다.

그 시대 사람 대부분이 그러했듯 가난했고, 치열했던 삶의 경험들을 평상시 자신의 스타일대로 나열해놓았다.

사람이다 보니 살다 크고 작은 실수를 한 이야기로부터 전직 두대통령과의 인연과 그들에 대한 평가까지

시골의 가난한집 막내아들에서 판사, 변호사, 인권 변호사를 거쳐 국회의원이 되기까지 그가 추구했던 삶의 목적과 지향했던 가치를 여러가지 에피소드와 시간이 흐른뒤 성찰의 자세로 뒤돌아보며 써내려간 글귀 너머에 그의 모습이 아른 거린다.

미실( 근친상간의 중심 )

2009-07-15T10:51:32Z

미실(제1회 세계문학상 당선작)

저자 김별아

출판사 문이당 발간일 2005.03.05

책소개 MBC-TV「선덕여왕」의 주인공 미실 사랑으로 천하를 얻은 신라 여인 미실의 이야기! 1억 원 고...

사회 통념상 거북한 이야기중 하나인 근친 상간이 이야기의 주된 소재이다.

할아버지 아버지 아들에게까지 색공이라는 이름으로 정을 통하는 주인공 미실을 통해 신라시대 지배계급의 단면을 엿볼수 있다. 다만 이 책의 기본이 되는 화랑세기는 신라시대 '김대문'이라는 화랑이 작성했다고 하는데

1930년대 '박창화'라는 사람이 그 필사본을 발견해 세상에 소개되었다. 그런데 학계에는 이 필사본 화랑세기가

진품인지 아니면 박창화라는 사람이 쓴 가품인지에 대한 의견이 분분하다.

지은이 '김별아'의 문체가 수려하고 세련되어 읽기가 수월하고 옛고어도 섞여 있어 책에 대한 몰입도는 상당히 높았다.

다만 내용의 주를 이루는 '근친상간'이 거북하여 책을 읽는 중간중간 스스로 책의 이야기를 소설로 치부하도록 강제하는 느낌이 들어 몰입에 방해가 되기도 했다.( 경주 김씨인 관계로 내용이 더욱 불편했던것 같다. )

대한민국 개조론(정치인 유시민의 생각)

2009-07-15T10:26:43Z

대한민국 개조론

저자 유시민

출판사 돌베개 발간일 2007.07.13

책소개 '대한민국의 실질적 개조'를 위해 유시민 현 열린우리당 국회의원이 국민들에게 올리는 상소문! 20...

정치는 아직도 내 삶과 밀접하지 않은 것 같다. 정확히 이야기하면 아직 나는 정치를 피부로 체감하지 못하는것 같다.

왜냐하면 유시민의 다른 저서 '경제학 카페'의 경우는 책을 읽는 동안 지적 포만감이 내내 지속되었지만

대한민국 개조론을 읽는 동안에는 책과 내가 분리되기도 하고 책속에 있기도 하는 과정의 연속이었다.

저자가 책속에서 지속적으로 이야기한 "사회투자국가"란 국가 발전전략의 실행 전제조건이 내 생각에는 근시일내에 이뤄지기 어렵다고 생각했기 때문이다.

진보는 낡은 복지정책을 주장만 하지 말고 복지정책을 실행할수 있는 재원 마련을 위한 방법으로 보수가 주장하는 성장발전 전략의 일부를 채용하고, 보수는 성장을 위해 필요한 인적 자원의 확충을 위해 진보가 주장하는 사회투자를 받아들여 서로 윈윈하는 정책으로 '사회투자국가'로 나아갸야 한다고 주장하고 있다. 한발씩 양보하면 모두 좋은 방향으로 발전할수 있다고 이야기하겠지만 실현가능성은 그리 높아보이지 않는다.

책 전부에서 그런건 아니지만 국회의원 유시민이 아닌 보건복지부 장관 유시민으로써 진행했던 여러 정책과 생각들을 들어볼수 있는 좋은 기회였다.

suffix tree clustering ( STC )

2009-07-14T17:06:34Z

일반적으로 문서 클러스터링이라 함은 유사한 문서들은 그룹핑하는 것을 의미한다.

top-down 이나 bottom-up이니 하는 것은 교과서에 나오는 이야기이니 생략하고 바로 본론으로 들어가면

클러스터링 방법중에 STC라는 방법이 있다. 다른 알고리즘과 다른 점은 실시간으로 서비스가 가능하다는 것이다. 클러스터링 뎁스가 깊지 않더라도 실시간으로 클러스터를 구축하는 것은 기존의 방법론으로는 여간 어려운 일이 아니었다.

클러스터링 검색으로 유명한 clusty.com이 아마도 이 방법을 이용한 클러스터링을 하는 것으로 보인다.

STC(suffix tree clustering)의 장점은 클러스터를 대표할수 있는 label을 비교적 잘 추출할 수 있는데 있다.

'다음커뮤니케이션'의 검색결과로 만들어낸 클러스터들의 label이다.

고전전 방법의 클러스터링에 비해서 클러스터링의 깊이가 깊지는 않을수 있지만 추출된 label로 인해 클러스터의 identity를 부여할수 있는 장점이 있다.

속도를 위해 최소한의 언어처리 즉 조사 제거 정도만으로 label에 대한 정제를 한다면 그런데로 사용자에게 정보를 요약해 제공하는데 의미가 있을것 같다.

clusty.com의 클러스터 label

참고 :http://clusteringalgorithms.blogspot.com/2007/07/improving-quality-of-search-results.html

-------------------------------------추가----------------------------------------

	d1	d2	d3	d4	d5	d6	d7	DF(document frequency)	IDF
information	0	0	1	1	0	0	1	3	0.37
singular	1	1	0	0	0	1	0	3	0.37
value	1	1	0	0	0	1	0	3	0.37
computations	1	0	0	0	1	0	0	2	0.54
retrieval	0	0	1	1	0	0	0	2	0.54