Web Scraping은 2017년 최고의 기술 동향 및 회사의 미디어 언급을 보여줍니다.

게시 됨: 2017-12-19

목차 쇼

데이터세트

목표

최고의 기업 및 제품

최고의 기술 트렌드

웹 데이터 추출 또는 웹 스크래핑은 미디어 모니터링을 통한 추세 파악을 위한 훌륭한 비즈니스 도구가 될 수 있습니다. 기본적으로 주요 언론 매체를 추적하여 특정 기간 동안 최고의 유행어와 회사(해당 제품 포함)가 얻은 멘션 수를 공개할 수 있습니다. 우리는 이 방법을 적용하여 2017년 기술 환경과 해당 범위를 이해하고 싶었습니다. 따라서 PromptCloud의 사내 웹 크롤러를 배포하여 두 개의 인기 있는 매체(TechCrunch 및 VentureBeat)에서 기사 제목을 추출하고 데이터 세트에서 텍스트 마이닝을 수행하여 최고의 유행어, 회사 및 제품.

데이터세트

데이터세트는 매우 간단하며 다음 세 가지 필드만 포함합니다.

URL
기사 제목
날짜

마지막 기사는 12월 7일에 크롤링되었습니다.

목표

분석의 목표는 두 부분으로 나눌 수 있습니다.

한 해 동안 언론에 보도된 상위 회사/제품
올해 최고의 기술 동향

이제 연구의 흥미로운 부분, 즉 결과 및 결과와 관련된 컨텍스트로 이동해 보겠습니다.

최고의 기업 및 제품

다음은 최대 멘션을 받은 상위 회사 및 제품을 표로 나타낸 것입니다.

회사 이름	코멘트
Google	올해의 초점은 Google 포토, Google 어시스턴트, G Suite 또는 Google Home이던 AI와 머신 러닝이었습니다. 그들은 또한 기계 학습 기술을 사용하여 전 세계의 물체를 식별하는 Google 렌즈를 도입했습니다. 분명히 그들은 "AI 우선" 회사가 되기 위한 길을 가고 있습니다.
사과	Apple은 Amazon Echo 및 Google Home을 대신할 Homepod 스피커를 발표했습니다. 개발자가 iPhone용 증강 현실 앱을 구축할 수 있도록 새로운 ARKit을 출시했습니다. 올해 우리는 또한 다른 Apple 제품과 별도로 iPhone 8과 iPhone X의 출시를 보았습니다. 뉴스는 그들이 기계 학습과 증강 현실을 iOS 11과 통합하고 있다는 것입니다.
페이스북	이 회사는 2017년에 수많은 새로운 프로젝트와 기능을 발표했습니다. Camera의 증강 현실 플랫폼 - 크리에이티브 도구 모음. 또한 Facebook 계정과 Oculus 장비를 연결하는 소셜 가상 현실 플랫폼인 Facebook 공간도 출시했습니다.
아마존	Amazon이 고객을 위한 환경을 조성하기 위해 노력하기 때문에 주요 초점 영역은 보안이었습니다. 그들은 고급 분석, 기계 학습, AI, NLP 등을 중심으로 한 다양한 AWS 서비스와는 별도로 AWS를 위한 다양한 보안 기능을 출시했습니다. Whole Foods 인수가 하이라이트로 소매 사업도 급증했습니다.
우버	올해 Uber는 Alphabet의 Waymo와 법적 문제에 빠진 자율주행 트럭 회사 Otto를 인수했습니다. 그들은 또한 연방거래위원회(FTC)로부터 2천만 달러의 벌금으로 한 해를 시작했습니다. 그 외에도 전 엔지니어인 Susan Fowler가 블로그 게시물에서 회사의 불리한 문화를 강조한 후 직장과 관련된 논란에 휩싸였습니다. 다른 하이라이트로는 중국 라이벌 디디추싱(Didi Chuxing)과의 합병, 2020년까지 두바이와 텍사스를 위한 비행 자동차 계획 발표가 있습니다.
마이크로소프트	Microsoft는 Visual Studio Tools 및 Microsoft Azure를 포함하여 Microsoft 에코시스템 내에서 인공 지능 및 기계 학습(ML) 서비스를 도입하고 있습니다. 이제 Azure IoT Edge 공개 미리 보기를 사용할 수 있으므로 인공 지능(AI) 및 고급 분석을 "Edge"에 구축하고 배포할 수 있습니다. Azure Machine Learning은 "Edge" 장치에 Machine Learning 모델을 배포하기 위해 Azure IoT Edge와의 통합을 제공하도록 업데이트되고 있습니다.
트위터	러시아가 미국 여론을 조작할 수 있다는 놀라운 가능성부터 여성들이 성폭행에 대해 목소리를 높이는 촉매 역할을 한 #MeToo 해시태그에 이르기까지 트위터는 2017년 사회를 충격에 빠뜨린 밈과 운동의 중심에 있었습니다.
테슬라	세계 최초의 양산형 전기 자동차인 Model 3로 설계 및 제작된 이 차량은 지속 가능한 에너지로의 세계 전환을 가속화한다는 사명에서 중요한 단계입니다.
아이폰	신제품 출시와 대대적인 점검으로 10위권 안에 머물렀던 애플의 주력 제품이다.
기계적 인조 인간	Google이 개발한 이 모바일 OS는 주요 기기 제조업체의 대규모 채택으로 10위를 유지하고 있습니다. 상징적인 휴대폰 제조사인 Nokia도 새로운 Android 기기를 내놓았습니다.

10위권 안에 들지 못한 다른 주목할만한 기업과 제품은 삼성, 알렉사, 스냅챗, 유튜브, iOS, 넷플릭스다. 이제 4분기 동안 상위 5개 기업에 대한 언론 언급이 어떻게 바뀌었는지 확인해보자.

2017년 미디어 언급 기업

분명히 Google은 가장 많은 멘션을 기록하며 선두를 달리고 있으며 Apple은 3분기에 Google에 가장 근접했습니다. 이는 9월에 열린 애플 행사에 기인한다고 볼 수 있다. Uber는 뇌물과 소송에서 리더십 변화와 적대적인 직장 문화에 이르기까지 뉴스 가치가 있는 논쟁으로 인해 Microsoft를 제치고 상위 5위 안에 들었습니다.

최고의 기술 트렌드

아래는 2017년 상위 10대 기술 트렌드를 표로 나타낸 것입니다.

기술 동향	코멘트
앱	웹과 모바일에서 시작하여 연결된 제품과 AR/VR 장치에 이르기까지 다양한 유형의 앱 사용이 기하급수적으로 증가하면서 이것이 바로 기술 트렌드임을 확인했습니다.
데이터	데이터는 이미 대부분의 비즈니스에서 주요 성장 동력이 되었습니다. 빅 데이터를 활용하는 스테이트풀(Stateful) 애플리케이션으로의 전환과 새로 도착하는 스트리밍 데이터의 컨텍스트를 더 잘 이해하기 위해 많은 양의 과거 데이터를 사용하는 머신 러닝 접근 방식의 통합이 있었습니다. 통합 사물 인터넷(IoT)과 AI 기술의 폭넓은 채택으로 인해 데이터는 2018년에도 그 위치를 유지할 최고의 트렌드가 되었습니다.
이동하는	위치 기반 서비스는 계속해서 진화하고 사용자에게 실시간 정보를 제공할 것입니다. 더 많은 수의 앱이 AR을 사용하기 시작하여 애플리케이션을 보다 효과적이고 생산적으로 만들 것입니다. Android 인스턴트 앱은 일반적인 트렌드가 될 것입니다. 건강, 교육, 보안, 스마트 홈 회사 등은 모바일 지원 기술과 애플리케이션을 사용하기 시작했습니다.
동영상	2017년에 비디오 트래픽 전용 대역폭은 인터넷 사용의 74%를 차지하는 것으로 추정됩니다. 따라서 라이브 스트리밍은 강력한 성장을 겪을 것입니다. 더 많은 방송사가 Over Top 비디오의 라이브 스트리밍으로 이동하고 있습니다. 가상 현실, 특히 VR 스트리밍이 더욱 널리 보급되고 있습니다. 가상 현실 비디오는 미래의 플랫폼이 될 가능성이 높습니다. 그 사이 360° 비디오는 자체적으로 등장하는 브리지 기술입니다.
자동차/자율주행차	커넥티드카는 이미 도래했고, 자율주행차는 멀지 않았다. 다가오는 무인 자동차는 새로운 교통 관리 전략과 주차 공간 검토를 포함하여 거리 풍경에 대한 급격한 변화가 필요합니다.
구름	2017년에는 클라우드 실행 비즈니스 앱이 증가했으며 현재 엔터프라이즈 시장에서 70%의 점유율을 차지하고 있습니다. 또한 공통 도구 세트를 사용하여 통합 기술을 쉽게 관리할 수 있는 하이퍼 컨버지드 클라우드 인프라(HCI)로의 점진적인 전환이 있습니다. 또 다른 흥미로운 추세는 Google, Facebook, Microsoft와 같은 상위 회사와 소규모 조직에서 Linux와 같은 클라우드 컨테이너의 채택이 증가하고 있다는 것입니다.
스마트(기기/가정)	Amazon Echo 및 Google Home과 같은 스마트 장치는 회사가 이러한 장치를 전 세계적으로 사용할 수 있게 하고 기존 기능을 개선하고 새로운 기능을 추가하면서 2017년에 주류가 되었습니다. Amazon의 클라우드 캠은 올해 출시된 가장 인기 있는 스마트 홈 기기 중 하나였습니다. 무제한 저장이 가능한 가정용 보안 카메라로 작동할 뿐만 아니라 Amazon의 자체 스마트 잠금 장치와 함께 작동하여 Amazon 직원이 집 안에 배송물을 떨어뜨릴 수 있도록 하는 조항도 함께 제공되었습니다.
사회의	증강 현실, 라이브 비디오 및 스토리는 2017년 소셜 미디어 사용자 사이의 주요 트렌드 중 일부였습니다. Facebook Messenger, Whatsapp 등과 같은 메시징 앱에서 브랜드 참여가 증가했습니다. 인플루언서 마케팅은 2017년에 더 많은 관심을 받았으며 마케터들이 가장 많이 이용하는 매체 중 하나입니다. 트위터는 2017년에 큰 성장을 이루지 못한 후 트윗의 글자수 제한을 140자에서 280자로 늘렸습니다.
보안	2017년에는 기업들이 그 어느 때보다 데이터 보안을 심각하게 생각했습니다. WannaCry는 2017년에 목격된 가장 큰 사이버 위협 중 하나였으며, 병원, 정부 기관 및 개인 컴퓨터와 같은 중요 시설을 쓸모 없게 만들고 광범위한 피해를 입혔습니다. 보안은 실제로 엄청난 양의 데이터를 보유하는 기업의 증가하는 관심사가 되었으며 이를 해결하기 위한 노력은 이미 시작되었습니다.
기계 학습	기계 학습 공간은 특히 우주 탐사, 의료, 금융 및 자율 주행과 같은 영역에 초점을 맞춘 획기적인 혁신과 개발을 보았습니다. 자율 주행은 Tesla, Uber 및 Google과 같은 최고의 플레이어가 이 분야에서 완벽을 달성하기 위해 상당한 양의 리소스를 소비하면서 빠르게 추진력을 얻고 있습니다.

아래는 4분기 동안 상위 10개 기술 동향의 움직임을 보여주는 차트입니다.

2017년 기술 트렌드

앱, 데이터 및 모바일의 상위 3가지 트렌드를 살펴보면 1분기에 '앱'과 '모바일'이 최대 스파이크를 보였고 데이터는 일관되게 유지되었습니다(지난 분기에는 12월 7일까지 데이터가 있음).