CSV Search Engine

며칠 전부터 큰 CSV 파일을 조금 더 편하게 볼 방법을 찾고 있었습니다.

 

디지털포렌식 일을 하다 보면 생각보다 CSV 파일을 자주 만납니다. 파일 시스템을 분석한 결과일 수도 있고, 로그를 변환한 결과일 수도 있습니다. 도구마다 조금씩 다르지만 결국 분석 결과를 CSV로 내보내는 경우가 꽤 많습니다.

 

문제는 파일이 커졌을 때였습니다.

 

몇십 MB 정도라면 Excel로 열어도 크게 불편하지 않습니다. 그런데 수백 MB, 1GB쯤 되기 시작하면 이야기가 달라집니다. 파일 하나 열기 위해 한참 기다려야 하고, 검색 한 번 하려고 해도 마음의 준비가 필요합니다.

 

Timeline Explorer 같은 좋은 도구도 있지만, 어느 순간 이런 생각이 들었습니다.

 

그냥 CSV를 아주 빠르게 검색하는 프로그램 하나 있으면 안 될까?

 

복잡한 분석 기능까지는 필요 없었습니다. CSV 파일을 열고, 검색어를 입력하면 해당 문자열이 들어 있는 행을 빠르게 찾아주는 정도면 충분했습니다.

 

그래서 하나 만들었습니다.

 

이름은 별 고민 없이 CSV Search Engine이라고 붙였습니다.

 

처음 목적은 명확했습니다. 디지털포렌식 분석 중 만들어진 대용량 CSV에서 원하는 흔적을 빠르게 찾는 것.

 

예를 들어 MFT를 분석해서 만든 CSV에 수백만 개의 행이 있다고 해봅시다. 그 안에서 특정 파일명이나 확장자, 사용자 이름, 경로를 찾아야 할 때가 있습니다.

 

그럴 때 굳이 거대한 CSV 전체를 스프레드시트에 올려놓고 찾을 필요가 있을까?

 

CSV Search Engine은 이 질문에서 시작했습니다.

 

아직은 제가 분석하면서 필요한 기능을 하나씩 추가해 보는 단계입니다. 정렬도 필요할 것 같고, 컬럼별 검색이나 정규표현식 검색도 있으면 꽤 편할 것 같습니다.

 

막상 만들고 나니 CSV는 디지털포렌식뿐 아니라 서버 로그나 각종 데이터 분석에도 많이 사용되니 다른 곳에서도 쓸 수 있을 것 같습니다.

 

그래도 당분간은 한 가지 기준으로 기능을 추가해 보려고 합니다.

 

“포렌식 분석하다가 내가 실제로 이 기능을 사용할까?”

 

필요하면 넣고, 아니면 넣지 않는 식으로 말입니다.

 

작은 프로그램 하나가 또 이렇게 시작됐습니다.