[인프라보안 프로젝트6]SIEM 기반 보안 로그 수집·이벤트 분석 및 AI 연동 실시간 보안 알림 자동화 시스템 구축

1. 개요 및 기획 의도

Splunk(SIEM)를 중심으로 네트워크 및 서버의 보안 로그를 통합하고,
AI와 Discord Bot을 연동하여 보안 위협 탐지부터 분석, 대응 가이드 제공까지의 전 과정을 자동화한
'지능형 보안 관제 시스템' 구축을 목표로 구성하였습니다.

• 관제 효율성 극대화 : 수많은 보안 장비에서 발생하는 방대한 로그를 인력이 실시간으로 분석하는 데 한계가 있음을 인지하고,
  이를 자동화하여 분석 시간을 단축하고자 AI와 접목해 보았습니다.
• 지능형 의사결정 지원 : 단순 탐지 알람을 넘어, AI를 연동하여 공격의 원인 분석, 오탐(FP) 가능성 점검, 대응 우선순위 제안까지 포함하는 '지능형 보안 관제' 모델을 구현하였습니다.
• 접근성 및 편의성 강화 : 전용 대시보드뿐만 아니라 협업 툴과의 연동을 통해 모바일 및 외부 환경에서도 즉각적인 대응 체계를 마련하였습니다.

 

2. 시스템 메커니즘

본 시스템은 데이터 수집 - 탐지 및 시각화 - 실시간 전송 - AI 분석의 4단계 프로세스로 작동합니다.

1. 로그 수집 : 서버 및 네트워크 장비(Auth.log, Snort, pfSense 등)의 시스템 로그와 이벤트를 Syslog 방식으로 수집했습니다.
2. 데이터 통합(SIEM) : Splunk를 통해 수집된 로그를 통합 관리 합니다.
3. AI 분석 연동 : Splunk에 축적된 로그 데이터를 AI와 연동하여 분석 수행합니다.
   분석 결과(공격 여부, 원인, 심각도 등)는 별도의 인덱스(index="ai_results")로 다시 저장합니다.

AI가 분석 수행한 인덱스

   4. 자동화 알림 : 분석된 정보를 Discord Bot을 통해 관제 요원에게 실시간 전송 및 오탐 가능성, 분석 및 대응방법에 대해 안내해 줍니다.

Discord Bot을 통해 관제 요원에게 전달/ 관제 요원은 해당 로그로 AI를 통해 오탐 가능성, 분석 및 대응방법에 대해 안내 받을 수 있다.

 

3. AI Bridge 서버 구현 (FastAPI Backend)

해당 파트의 핵심인 연동 서버는 FastAPI를 사용하였습니다.

 

• FastAPI 기반 Webhook 엔드포인트
  • Splunk의 Alert 기능을 수신하는 API 엔드포인트를 구축하여, 위협 발생 시 실시간으로 JSON 형태의 로그 데이터를 수신합니다.
• AI 연동(OpenAI API)
  • 자체 개발한 로컬 AI를 넣어 학습을 충분히 시킨 뒤 진행을 해야 했지만, 기술력과 시간 부족으로 인해 OpenAI를 연동했습니다.
  • 수신된 원본 로그에서 핵심 컨텍스트(Src IP, Dest IP, Payload 등)를 추출하여 AI에게 전달합니다.
  • 프롬프트 엔지니어링 : AI가 단순히 상황을 설명하는 것이 아니라 원인 가설, 오탐 가능성, 대응 우선순위를 정해진 규격에 맞춰 답변하도록 설계했습니다.
  • 해당 AI의 한계점은 OpenAI의 API를 가져오면, 해당 API를 가져왔을 땐, 학습을 하지 않기 때문에 데이터를 쌓고 그것에 대한 분석을 충분히 얻어내지 못했습니다. 따라서, 충분한 기술력과 시간을 갖춘다면 로컬 AI로 연동시키는 것이 옳다고 판단하였습니다.
• Discord Bot 인터페이스
  • Webhook SDK를 활용하여 AI의 분석 결과를 Discord 채널에 최적화된 포맷으로 전송합니다.
  • 분석가가 Discord 상에서 간단한 질문을 통해 AI에게 추가 분석을 요청할 수 있는 대화형 인터페이스를 지원하게 만들었습니다.

4. 공격 시뮬레이션 및 AI 분석

실제 공격 시나리오를 통해 시스템의 실효성을 검증하였습니다.

 

• 탐지 상황 : SYN Flooding 공격 유입 시 Snort에서 INLINE_FLOOD_TEST 이벤트가 발생하고 Splunk로 전달됩니다.
• AI 분석 결과 (Discord 알림)
  • 앞서 보여드렸다시피 원인 가설, 오탐 가능성, 대응 우선순위에 대하여 안내해 줍니다.
• 실무 지원 : AI가 즉시 실행 가능한 추가 SPL 쿼리를 제공하여 분석가가 쿼리를 직접 작성하는 시간을 단축시킵니다.

5. 성과 및 배운 점

• 성과 
  • 첫 번째 성과는 보안관제 자동화 파이프라인 완성이라고 생각합니다. 단순 알림을 넘어 AI 분석과 대응 가이드까지 연결되는 시스템을 구축하였습니다.
  • 두 번째 성과는 대응 시간을 획기적으로 단축시킨 것입니다. AI가 분석 우선순위와 쿼리를 미리 제공함으로써 초동 조치 속도 향상이 되었습니다.
• 배운 점
  • OpenAI를 이용하면, API로 호출했을 때, 해당 내용에 대해서 학습하지 않는다는 것을 알게 되었습니다.
    따라서 로컬 AI로 진행을 해야하지만, 보안 문제상 시중에 널려있는 로컬 AI는 사용할 수 없었습니다. 따라서 이번 프로젝트에서는 OpenAI를 이용했지만, 다음번에는 자체 구축한 로컬AI로 해당 프로젝트 섹션을 다시 한번 진행해 보고,
    AI가 학습을 일정량 이상 반영이 되면 어떻게 판단하고 안내해 줄 것인가? 에 대해 확인해 보고 싶네요.
    
    

git : https://github.com/tjdgudtlr1-byte/soc-ai-automation-pipeline