크롤링(스크래핑)에 관한 법적 쟁점과 크롤링시 고려 사항

크롤링이란, 크롤러라는 자동화된 방법으로 지정된 특정 웹사이트ㆍ앱 또는 불특정 다수의 웹사이트ㆍ앱을 방문하여 각종 정보를 기계적으로 복제한 후 이를 별도의 서버에 저장하는 기술을 의미한다(서울고등법원 2016나2019365 판결 참조).

크롤링이란 공개된 데이터 등을 수집하는데 매우 유용한 방법으로서, IT 업계에서는 데이터 수집 등의 목적으로 많이 활용하고 있다.

그런데 자기의 데이터인 경우 또는 동의를 받고 크롤링을 하는 경우는 법적인 문제는 발생하지 않지만, 타인의 데이터인 경우에 동의를 받지 않고 크롤링을 하는 경우는 허용 여부와 그 허용 범위에 대하여 법적인 문제가 발생한다.

실제 과거 리그베다위키 vs 엔하위키미러, 잡코리아 vs 사람인, 야놀자 vs 여기어때 등의 사건이 소송으로 진행되었던 적이 있다. 이하 이 사건들의 내용을 기초로 해서 타인의 데이터를 크롤링하는 경우 어떤 법적인 문제가 발생하는지와 무엇을 고려해야 하는지를 알아보고자 한다.

첫째, 누구든지 정당한 접근권한 없이 또는 허용된 접근권한을 넘어 정보통신망에 침입해서는 아니되는바, 타인의 웹사이트나 앱에 크롤링 목적으로 접속하거나 접근하는 것이 접근권한 없는 또는 허용된 접근권한을 넘은 정보통신망 침해인지 문제된다.

여기에 대하여 대법원은 접근권을 부여하거나 허용하는 범위를 설정하는 주체는 서비스제공자이고, 정보통신망에 대하여 서비스제공자가 접근권한을 제한하고 있는지 여부는 보호조치나 이용약관 등 객관적으로 드러나 여러 사정을 종합적으로 고려하여 신중하게 판단해야 한다는 입장인바, 서비스제공자가 약관이나 기술적 조치 등의 방법을 사용해서 객관적으로 크롤링 제한을 드러냈는지 여부를 따져서 정보통신망 침입 여부를 사전에 판단해야 한다.

둘째, 반복적이거나 특정한 목적을 위하여 체계적으로 함으로써 해당 데이터베이스의 통상적인 이용과 충돌하거나 데이터베이스제작자의 이익을 부당하게 해치는 경우에는 데이터베이스권 침해가 되는바, 크롤링으로 DB를 끌어오는 게 데이터베이스권 침해인지 문제된다.

여기에 대하여 대법원은 데이터베이스제작자의 권리를 침해하기 위해서는 데이터베이스제작자의 허락 없이 데이터베이스의 전부 또는 상당한 부분의 복제 등이 되어야 하는데, 여기서 상당한 부분의 복제 등에 해당하는지를 판단할 때는 양적인 측면만이 아니라 질적인 측면도 같이 고려해야 하고, 양적인 경우 전체 데이터베이스의 규모와 비교해서 판단해야 하고, 질적인 경우 데이터베이스제작자가 복제 등이 된 부분의 제작 또는 그 소재의 갱신, 검증 또는 보충에 인적 또는 물적으로 상당한 투자를 했는지를 기준으로 제반 사정을 비추어 판단해야 한다는 입장인바, 정리하면 크롤링한 DB의 규모나 데이터베이스제작자가 DB에 들인 투자 등을 고려해서 데이터베이스권 침해 여부를 사전에 판단해야 한다.

셋째, 타인의 상당한 투자나 노력으로 만들어진 성과 등을 공정한 상거래 관행이나 경쟁질서에 반하는 방법으로 자신의 영업을 위하여 무단으로 사용함으로써 타인의 경제적 이익을 침해하는 행위는 부정경쟁행위로 금지되는바, 크롤링을 통해서 부당한 이익을 취하는 게 부정경쟁행위인지가 문제된다.

여기에 대하여 리그베다위키 vs 엔하위키미러, 잡코리아 vs 사람인, 야놀자 vs 여기어때 관련 판결들은 경쟁사 간의 크롤링은 부정경쟁행위에 해당한다는 판시를 한 적이 있다.

데이터의 중요성과 AI 시대로의 전환으로 인해서 크롤링의 의한 데이터 수집은 빈번해지고 있는데 반해 크롤링의 기법은 나날이 발전하고 매우 다양해서 기존 판결들이 그대로 적용되지 않은 경우도 있으므로, 불법적인 데이터 수집이 되지 않도록 크롤링 이전에 반드시 법적인 고려를 해야 할 것이다.

* 법무법인 민후 김경환 변호사 작성, 블로그(2022. 12. 2.) 기고.