elk

웹툰 커뮤니티 플랫폼에서 elastic search를 우대한다고 한다

Beats

: data collection

Filebeat

보안장치, cloud, 컨테이너, 호스트, OT에서 수집하는 log, file을 경량화로 전달

Metricbeat

system, service에서 metic을 수집한다

cpu, memory, redis, 시스템 통계를 가볍게 전달함

Packbeat

host, container data를 엘라스틱 서치, 로그 스태시로 전달하는 경량 네트워크 패킷 분석기

Winlogbeat

windows event log를 엘라스틱 서치, 로그 스태시로 스트리밍 함

Autditbeat

linux 감사 프레임워크 데이터를 수집, 파일 무결성 모니터링 이벤트를 실시간으로 전송

Heartbeat

활성상태 감지, 서비스가 가능한지 모니터링

Functionbeat

클라우드 서비스에서 데이터를 수집, 전송, 모니터링

데이터 처리 파이프라인

데이터를 변환하여 stash 보관소로 보낸다

Logstash가 보낸 받은 데이터를 저장

json 기반의 분산현 restful

	cluster 각 cluster는 공유되지 않는다 cluster 내부에서는 tcp
	node 인스턴스로 생각해라
	index == table이라고 생각하면 쉬움 document의 논리적 집합
	shard 검색의 작업단위 검색엔진
	segment 실제 물리 파일 쓰기보다는 읽기 성능이 좋다 데이터는 수정되지않는다 lock을 쓰지 않도록 함 빠르게 조회하기 위해서