Web Scraping раскрывает основные технологические тенденции и упоминания компании в СМИ в 2017 году
Опубликовано: 2017-12-19Извлечение веб-данных или веб-скрапинг могут быть отличным бизнес-инструментом для выявления тенденций с помощью мониторинга СМИ. По сути, ведущие средства массовой информации могут отслеживать самые популярные словечки и количество упоминаний компаний (включая их продукты) за определенный период времени. Мы хотели применить этот метод, чтобы понять технический ландшафт и его охват в 2017 году. Поэтому мы развернули собственный веб-краулер PromptCloud для извлечения заголовков статей из двух популярных источников (TechCrunch и VentureBeat) и выполнили анализ текста в наборе данных, чтобы раскрыть самые популярные словечки, компании и продукты.
Набор данных
Набор данных очень прост и содержит только следующие три поля:
- URL-адрес
- Название статьи
- Свидание
Последняя статья была просканирована 7 декабря.
Цели
Цель анализа можно разделить на две части:
- Лучшие компании/продукты, которые освещались в СМИ за год
- Главные технологические тренды года
Давайте теперь перейдем к интересной части исследования, то есть к результату и контексту, связанному с выводами.
Лучшие компании и продукты
Ниже представлено табличное представление лучших компаний и продуктов, получивших максимальное количество упоминаний:
| Название компании | Комментарии |
| В этом году основное внимание было уделено искусственному интеллекту и машинному обучению, будь то Google Фото, Google Assistant, G Suite или Google Home. Они также представили Google Lens, который использует технологию машинного обучения для идентификации объектов по всему миру. Ясно, что они находятся на пути к тому, чтобы стать компанией, ориентированной на искусственный интеллект. | |
| Яблоко | Apple анонсировала динамик Homepod, чтобы конкурировать с Amazon Echo и Google Home. Запущен новый ARKit, позволяющий разработчикам создавать приложения дополненной реальности для iPhone. В этом году мы также увидели запуск iPhone 8 и iPhone X, помимо других продуктов Apple. Новость заключается в том, что они интегрируют машинное обучение и дополненную реальность с iOS 11. |
| Фейсбук | В 2017 году компания объявила о множестве своих новых проектов и функций. Платформа дополненной реальности Camera — набор инструментов для творчества. Также запущены пространства Facebook — социальная платформа виртуальной реальности, которая основана на подключении вашей учетной записи Facebook к оборудованию Oculus. |
| Амазонка | Основным направлением деятельности была безопасность, поскольку Amazon стремится создать среду для своих клиентов. Они выпустили множество функций безопасности для AWS, помимо различных других сервисов AWS, сосредоточенных на расширенной аналитике, машинном обучении, искусственном интеллекте, NLP и многом другом. Их розничный бизнес также резко вырос, главным событием стало приобретение Whole Foods. |
| Убер | В этом году Uber приобрела компанию по производству беспилотных грузовиков Otto, которая столкнулась с юридическими проблемами с Waymo от Alphabet. Они также начали год со штрафа в размере 20 миллионов долларов от Федеральной торговой комиссии (FTC). Кроме того, они попали в полемику, связанную с рабочим местом, после того, как их бывший инженер Сьюзен Фаулер подчеркнула неблагоприятную культуру компании в своем блоге. Другие основные моменты включают их слияние с китайским конкурентом Didi Chuxing и объявление планов создания летающих автомобилей в Дубае и Техасе к 2020 году. |
| Майкрософт | Microsoft представляет службы искусственного интеллекта и машинного обучения (ML) в экосистеме Microsoft, включая инструменты Visual Studio и Microsoft Azure. Теперь доступна общедоступная предварительная версия Azure IoT Edge, позволяющая создавать и развертывать искусственный интеллект (ИИ) и расширенную аналитику на «Edge». Машинное обучение Azure обновляется, чтобы обеспечить интеграцию с Azure IoT Edge для развертывания моделей машинного обучения на «пограничных» устройствах. |
| Твиттер | Начиная с тревожной возможности того, что Россия манипулирует общественным мнением США, и заканчивая хэштегом #MeToo, который побудил женщин говорить о сексуальных домогательствах, Twitter был в центре мемов и движений, которые всколыхнули общество в 2017 году. |
| Тесла | Разработанный и построенный как первый в мире массовый электромобиль Model 3, он является важным шагом в его миссии по ускорению перехода мира к устойчивой энергетике. |
| айфон | Это флагманский продукт Apple, которому удалось остаться в топ-10 благодаря выпуску новых продуктов и капитальному ремонту. |
| Андроид | Эта мобильная ОС, разработанная Google, остается на десятой позиции из-за ее массового принятия основными производителями устройств. Знаменитый производитель телефонов Nokia также выпустил новые устройства Android. |
Другими известными компаниями и продуктами, которые не смогли попасть в топ-10, являются Samsung, Alexa, Snapchat, YouTube, iOS и Netflix. Теперь давайте посмотрим, как за четыре квартала изменилось упоминание в СМИ пятерки ведущих компаний.
Очевидно, что Google лидирует по количеству упоминаний, а Apple в третьем квартале оказалась ближе всего к Google. В основном это можно отнести к мероприятию Apple, которое состоялось в сентябре. Uber попал в пятерку лидеров, обойдя Microsoft, в основном из-за заслуживающих внимания споров — от взяточничества и судебных исков до смены руководства и враждебной культуры на рабочем месте.
Основные технологические тренды
Ниже представлено табличное представление 10 основных технологических трендов 2017 года:
| Технологическая тенденция | Комментарии |
| приложение | Ясно, что экспоненциальный рост использования различных типов приложений, начиная от веб-приложений и мобильных устройств и заканчивая подключенными продуктами и устройствами AR/VR, сделал эту технологическую тенденцию номер один. |
| данные | Данные уже стали основным драйвером роста для большинства предприятий. Произошел сдвиг в сторону приложений с отслеживанием состояния, которые используют большие данные, и внедрения подходов машинного обучения, которые используют большие объемы исторических данных для лучшего понимания контекста вновь поступающих потоковых данных. Внедрение Интернета вещей (IoT) и широкое внедрение методов искусственного интеллекта делают данные главной тенденцией, которая сохранит свои позиции и в 2018 году. |
| мобильный | Услуги на основе определения местоположения будут продолжать развиваться и предоставлять пользователям информацию в режиме реального времени. Все большее количество приложений начнет использовать AR, что сделает приложения более эффективными и продуктивными. Мгновенные приложения для Android станут общей тенденцией. Компании в сфере здравоохранения, образования, безопасности, умного дома и многие другие начали использовать мобильные технологии и приложения. |
| видео | По оценкам, в 2017 году пропускная способность, выделенная для видеотрафика, составляла 74% использования Интернета. Следовательно, прямые трансляции будут сильно расти. Все больше вещательных компаний переходят на прямую трансляцию видео Over The Top. Виртуальная реальность, особенно стриминг VR, становится все более распространенной. Видео виртуальной реальности, вероятно, станет предпочтительной платформой в будущем. Между тем видео 360° — это промежуточная технология, которая вступает в свои права. |
| автомобиль / самоуправляемый автомобиль | Подключенные автомобили уже появились, а самоуправляемые автомобили не за горами. Грядущие беспилотные автомобили потребуют радикальных изменений в нашем городском ландшафте, включая новые стратегии управления дорожным движением и пересмотр парковочных мест. |
| облако | В 2017 году наблюдался рост числа облачных бизнес-приложений, доля которых на корпоративном рынке сейчас составляет 70%. Также происходит постепенный переход к гиперконвергентной облачной инфраструктуре (HCI), которая обеспечивает простоту управления интегрированными технологиями с использованием общего набора инструментов. Еще одной интересной тенденцией является растущее внедрение облачных контейнеров, таких как Linux, среди ведущих компаний, таких как Google, Facebook, Microsoft, а также в небольших организациях. |
| умный (устройства/дом) | Интеллектуальные устройства, такие как Amazon Echo и Google Home, стали популярными в 2017 году, когда компании сделали эти устройства доступными по всему миру, а также улучшили свои существующие функции и добавили новые. Облачная камера Amazon стала одним из самых популярных устройств для умного дома, выпущенных в этом году. Он не только работал как домашняя камера безопасности с неограниченным хранилищем, но также позволял персоналу Amazon сбрасывать ваши грузы в ваш дом, работая вместе с собственным интеллектуальным замком Amazon. |
| Социальное | Дополненная реальность, живые видео и истории были одними из главных тенденций среди пользователей социальных сетей в 2017 году. Растет участие брендов в приложениях для обмена сообщениями, таких как Facebook Messenger, Whatsapp и им подобных. В 2017 году маркетинг влияния набрал большую популярность и стал одним из самых популярных средств маркетологов. Не сумев добиться значительного роста в 2017 году, Twitter увеличил ограничение на количество символов в твитах со 140 до 280. |
| безопасность | В 2017 году компании стали более серьезно относиться к безопасности данных, чем когда-либо прежде. WannaCry была одной из крупнейших киберугроз, с которыми мы столкнулись в 2017 году. Она сделала критически важные объекты, такие как больницы, государственные учреждения и отдельные компьютеры, бесполезными, причинив широкомасштабный ущерб. Безопасность действительно стала серьезной проблемой для предприятий, хранящих огромные объемы данных, и усилия по решению этой проблемы уже начались. |
| машинное обучение | В области машинного обучения были реализованы новаторские инновации и разработки, особенно сосредоточенные на таких областях, как исследование космоса, здравоохранение, финансы и автономное вождение. Автономное вождение быстро набирает обороты, и ведущие игроки, такие как Tesla, Uber и Google, тратят значительные ресурсы на достижение совершенства в этой области. |
Ниже приведена диаграмма, показывающая движение десяти основных технологических трендов за четыре квартала.
Глядя на три основные тенденции, т. е. приложения, данные и мобильные устройства, становится очевидным, что первый квартал дал максимальный всплеск для «приложений» и «мобильных устройств», при этом данные остаются стабильными (поскольку в последнем квартале есть данные до 7 декабря).