2022년 1회 정보처리기사 기출문제 92번

92. Python 기반의 웹 크롤링(Web Crawling) 프레임워크로 옳은 것은?

① Li-fi              ❷ Scrapy

③ CrawlCat     ④ SBAS

정답: ❷ Scrapy

---

📌 해설

Python을 사용한 웹 크롤링(Web Crawling)을 할 때, 가장 널리 사용되는 프레임워크 중 하나는 Scrapy입니다. 웹 크롤링은 웹 페이지에서 데이터를 자동으로 수집하는 작업을 의미하며, Scrapy는 이를 효율적으로 처리할 수 있는 다양한 도구와 기능을 제공합니다.

1. Scrapy:
   • Scrapy는 Python 기반의 웹 크롤러를 작성하기 위한 오픈 소스 프레임워크입니다. 이를 통해 대규모 데이터 수집, 웹 스크래핑, 크롤링 및 데이터 처리 작업을 효율적으로 수행할 수 있습니다.
   • Scrapy는 웹 페이지에서 필요한 데이터를 추출하고, 데이터베이스나 파일 시스템에 저장하는 기능을 제공합니다. 또한, 고속 크롤링을 지원하고, 병렬 처리가 가능하여 대량의 데이터를 빠르게 처리할 수 있습니다.

---

❌ 다른 선택지 해설

• ① Li-fi:
  • Li-fi는 무선 데이터 전송 기술로, Light Fidelity의 약자입니다. 이는 웹 크롤링과 관련된 기술이 아니며, 웹 크롤링 프레임워크와는 전혀 관계가 없습니다.
• ③ CrawlCat:
  • CrawlCat은 잘 알려진 웹 크롤링 프레임워크가 아닙니다. 이 이름의 프레임워크는 일반적으로 사용되지 않으며, Scrapy와 같은 주요 프레임워크와 비교했을 때 유명하지 않습니다.
• ④ SBAS:
  • SBAS는 위치 정보와 관련된 시스템으로, Satellite-Based Augmentation System의 약자입니다. 이는 웹 크롤링과는 전혀 관련이 없는 기술입니다.

---

📌 정리

Scrapy는 웹 크롤링을 위한 매우 인기 있는 Python 프레임워크로, 고속 데이터 수집과 효율적인 크롤링 작업을 위한 도구입니다.
정답: ❷ Scrapy