불법적인 크롤링 대응방안

2017.01.19 김경환 변호사

크롤링은 무엇인가

크롤링(crawling, 또는 스크래이핑, scraping)이란 웹페이지의 내용을 그대로 가져와서 필요한 데이터를 추출해 내는 행위를 말하고, 크롤링이 웹페이지에 대하여 이루어지면 웹크롤링이라 부른다. 크롤링하는 소프트웨어 봇을 통상 크롤러라고 부른다. 즉 크롤링은 데이터를 대량 수집하는 기법으로서, 통상 구글 등의 검색엔진이 크롤링을 통하여 모은 다음 이를 색인한 검색결과를 대중에게 보여주곤 한다.

크롤링은 위법한가

모든 크롤링 행위가 위법이라고 단정하기는 곤란하며, 합법적인 크롤링과 불법적인 크롤링으로 구별하는 것이 바람직하다. 합법적인 크롤링은 사이트 운영자의 의사에 반하지 않은 크롤링을 의미하고, 반대로 불법적인 크롤링은 사이트 운영자의 의사에 반하거나 또는 실정법을 어긴 크롤링을 의미한다.

대표적으로 웹사이트 운영자가 웹서버의 홈디렉토리에 위치한 robots.txt 파일에 포괄적인 크롤링 금지 또는 특정 검색엔진의 크롤링 금지, 특정 디렉토리에 대한 크롤링 금지 등을 표시하였음에도 불구하고, 그 표시를 무시하고 크롤링을 하였다면 이는 사이트 운영자의 의사에 반한 크롤링에 해당하는 것이다.

웹사이트 운영자는 robots.txt 외에 메인페이지의 하단, 약관 등에 크롤링 금지를 표시할 수도 있다. 그럼에도 이를 무시하고 크롤링이 이루어졌다면 이 역시 사이트 운영자의 의사에 반한 크롤링에 해당하는 것이다.

불법적인 크롤링에 대한 법적 대응방안은

불법적인 크롤링은 저작권 침해에 해당할 수 있다. 크롤링은 웹페이지 내용을 그대로 긁어가는 것이기에, 그 가운데에 웹페이지 소스도 당연히 포함되어 가는 것이고, 웹페이지 소스 중 웹프로그래밍 요소는 저작물로 인정될 수 있으며 저작물로 인정되는 웹프로그래밍 요소에 대한 불법 복제 행위는 저작권 침해에 해당하기 때문이다. 다만 웹페이지 소스 중 웹프로그래밍 요소가 아닌 단순 태그는 저작물에 해당하지 않을 가능성이 크기 때문에 저작권 침해를 주장하기는 어려워 보인다. 저작권 침해에 해당한다면, 피해를 입은 사이트 운영자는 형사고소, 민사 크롤링 금지청구, 민사 손해배상 청구 등의 조치를 취할 수 있다.

불법적인 크롤링은 데이터베이스(DB)권 침해에도 해당할 수 있다. 데이터베이스권은 저작권법에 명시되어 있지만, 태생적으로 저작권과 약간 다른 위치에 있는 권리이다. 어쨌든 우리 저작권법은 데이터베이스제작자의 권리를 인정하고 있는바, 불법적인 크롤링은 데이터베이스 내용의 무단 복제가 포함되어 있는 경우가 일반적이므로, 피해를 입은 사이트 운영자는 데이터베이스권의 침해를 이유로 형사고소, 민사 크롤링 금지청구, 민사 손해배상 청구 등의 조치를 취할 수 있다.

불법적인 크롤링은 부정경쟁행위에도 해당할 수 있다. 부정경쟁행위는 타인의 상당한 투자나 노력으로 만들어진 성과 등을 공정한 상거래 관행이나 경쟁질서에 반하는 방법으로 자신의 영업을 위하여 무단으로 사용함으로써 타인의 경제적 이익을 침해하는 행위를 말하는데, 쉽게 표현하면 무임승차를 의미한다. 경쟁업체의 성과에 대하여 무임승차하는 것은 위법한데, 크롤링을 통하여 무임승차하는 경우가 빈번하게 발견되곤 한다. 이러한 불법적인 크롤링은 부정경쟁금지법 위반에 해당하여, 피해를 입은 사이트 운영자는 민사 크롤링 금지청구 또는 민사 손해배상청구 등의 조치를 취할 수 있다.

크롤링에 대한 예방방안은

정보가 기업의 핵심가치라는 점을 고려하면 원하지 않은 크롤링에 대하여는 강력하게 대처하는 게 바람직하고 사후적인 대처보다는 사전적인 예방이 더 바람직하다는 것은 두말할 필요가 없다.

기술적으로는 IP 차단, 수동 입력창 설치 등의 안티크롤링 기술을 도입하는 게 필요하다. 하지만 기술적인 조치는 언제든지 회피가능하기에, 창과 방패의 경쟁 구도처럼 진행될 수 있다는 점에 주의하여야 한다.

법적 예방조치로는 우선적으로 robots.txt를 잘 구현하는 방법이 있고, 그 외에 홈페이지 하단 또는 약관 등에 명확하게 크롤링이 금지됨을 밝혀주는 게 바람직하다. 이러한 조치를 하였음에도 불구하고 계속적으로 크롤링을 한다면 가처분 등의 조치를 통하여 신속하게 대처하는 것도 바람직하다.

불법적인 크롤링의 피해자가 적지 않고, 특히 경쟁업체 사이에 크롤링이 많이 발생하곤 한다. 심지어 크롤링을 통한 고객 빼오기 등의 피해사례도 자주 발생하고 있다.

결론적으로, 불법적인 크롤링은 금지되어야 한다. 크롤링에 대하여 불법이 아니라고 생각하는 사람들이 많으나, ‘리그베다위키(구 엔하위키)-엔하위키 미러 판결’ 또는 ‘잡코리아-사람인 판결’에서 우리나라 법원은 엔하위키 미러의 또는 사람인의 무단 크롤링 행위에 대하여 명확하게 불법이라고 판단하였다는 점을 명심하여야 할 것이다.