Web Scraping revela as principais tendências de tecnologia e menções da empresa na mídia em 2017
Publicados: 2017-12-19A extração de dados da Web ou a raspagem da Web podem ser uma ótima ferramenta de negócios para detectar tendências por meio do monitoramento de mídia. Essencialmente, os principais meios de comunicação podem ser rastreados para revelar as principais palavras-chave e o número de menções que as empresas (incluindo seus produtos) obtêm em um período de tempo específico. Queríamos aplicar esse método para entender o cenário tecnológico e sua cobertura em 2017. Por isso, implantamos o rastreador da Web interno do PromptCloud para extrair os títulos dos artigos de duas lojas populares (TechCrunch e VentureBeat) e realizamos mineração de texto no conjunto de dados para descobrir as principais palavras-chave, empresas e produtos.
Conjunto de dados
O conjunto de dados é muito simples e contém apenas os três campos a seguir:
- URL
- Título do artigo
- Encontro
O último artigo foi rastreado em 7 de dezembro.
Metas
O objetivo das análises pode ser dividido em duas seções:
- Principais empresas/produtos que foram cobertos pela mídia ao longo do ano
- Principais tendências de tecnologia ao longo do ano
Vamos agora à parte interessante do estudo, ou seja, o resultado e o contexto associado aos achados.
Principais empresas e produtos
Abaixo está a representação tabular das principais empresas e produtos que obtiveram o número máximo de menções:
| Nome da empresa | Comentários |
| O foco deste ano foi em IA e Machine Learning, seja Google Fotos, Google Assistant, G Suite ou Google Home. Eles também introduziram o Google Lens, que usa uma tecnologia de aprendizado de máquina para identificar os objetos em todo o mundo. Claramente, eles estão no caminho para se tornar uma empresa “primeira em IA”. | |
| Maçã | A Apple anunciou o alto-falante Homepod para enfrentar o Amazon Echo e o Google Home. Lançou o novo ARKit para permitir que os desenvolvedores criem aplicativos de realidade aumentada para o iPhone. Este ano também vimos o lançamento do iPhone 8 e iPhone X, além de outros produtos da Apple. A novidade é que eles estão integrando machine learning e realidade aumentada com o iOS 11. |
| A empresa anunciou vários de seus novos projetos e recursos em 2017. O conjunto de ferramentas criativas da plataforma de realidade aumentada da Camera. Também lançou os espaços do Facebook - uma plataforma social de realidade virtual que depende da conexão de sua conta do Facebook com o equipamento Oculus. | |
| Amazonas | As principais áreas de foco foram a segurança, pois a Amazon se esforça para criar um ambiente para seus clientes. Eles lançaram uma série de recursos de segurança para a AWS, além de vários outros serviços da AWS centrados em análises avançadas, aprendizado de máquina, IA, NLP e muito mais. Seu negócio de varejo também disparou, com destaque para a aquisição da Whole Foods. |
| Uber | Este ano, a Uber adquiriu a empresa de caminhões autônomos Otto, que teve problemas legais com a Waymo, da Alphabet. Eles também começaram o ano com uma multa de US$ 20 milhões da Federal Trade Commission (FTC). Além disso, eles entraram em controvérsias relacionadas ao local de trabalho depois que sua ex-engenheira Susan Fowler destacou a cultura adversa da empresa em um post no blog. Outros destaques incluem a fusão com a rival chinesa Didi Chuxing e o anúncio de planos de carros voadores para Dubai e Texas até 2020. |
| Microsoft | A Microsoft está introduzindo serviços de inteligência artificial e aprendizado de máquina (ML) no ecossistema da Microsoft, incluindo o Visual Studio Tools e o Microsoft Azure. Agora o Azure IoT Edge Public Preview está disponível, permitindo que Inteligência Artificial (AI) e análises avançadas sejam criadas e implantadas no “Edge”. O Azure Machine Learning está sendo atualizado para fornecer integração com o Azure IoT Edge para implantar modelos de Machine Learning em dispositivos “Edge”. |
| Da alarmante possibilidade de a Rússia manipular a opinião pública dos EUA, à hashtag #MeToo que atuou como um catalisador para as mulheres falarem sobre agressões sexuais, o Twitter esteve no centro de memes e movimentos que deram choques na sociedade em 2017. | |
| Tesla | Projetado e construído como o primeiro veículo elétrico de mercado de massa do mundo -Modelo 3, é um passo crítico em sua missão de acelerar a transição mundial para a energia sustentável. |
| Iphone | Este é o principal produto da Apple que conseguiu permanecer no top 10 em virtude de lançamentos de novos produtos e grandes revisões. |
| Android | Este sistema operacional móvel desenvolvido pelo Google permanece na décima posição devido à sua adoção massiva pelos principais fabricantes de dispositivos. A icônica fabricante de telefones Nokia também apresentou novos dispositivos Android. |
As outras empresas e produtos notáveis que não conseguiram chegar ao top 10 são Samsung, Alexa, Snapchat, YouTube, iOS e Netflix. Vamos agora verificar como as menções da mídia às cinco maiores empresas mudaram ao longo dos quatro trimestres.


Claramente, o Google está liderando o grupo com maior número de menções e a Apple ficou mais próxima do Google no terceiro trimestre. Isso pode ser atribuído principalmente ao evento da Apple que foi realizado em setembro. A Uber ficou entre as cinco principais superando a Microsoft principalmente por causa das controvérsias noticiosas – de suborno e ações judiciais a mudança de liderança e cultura hostil no local de trabalho.
Principais tendências de tecnologia
Abaixo está a representação tabular das 10 principais tendências de tecnologia em 2017:
| Tendência tecnológica | Comentários |
| aplicativo | Claramente, o aumento exponencial no uso de vários tipos de aplicativos, desde a web e dispositivos móveis até produtos conectados e dispositivos AR/VR, garantiu que essa seja a tendência tecnológica número uno. |
| dados | Os dados já se tornaram um importante motor de crescimento para a maioria das empresas. Houve uma mudança para aplicativos com estado que aproveitam o big data e a incorporação de abordagens de aprendizado de máquina que usam grandes quantidades de dados históricos para entender melhor o contexto dos dados de streaming recém-chegados. A incorporação da Internet das Coisas (IoT) e a ampla adoção de técnicas de IA tornam os dados uma das principais tendências, que também continuará sua posição em 2018. |
| Móvel | Os serviços baseados em localização continuarão a evoluir e fornecerão aos usuários informações em tempo real. Um número maior de aplicativos começará a usar AR, tornando os aplicativos mais eficazes e produtivos. Os aplicativos instantâneos para Android se tornarão uma tendência comum. Empresas de saúde, educação, segurança, casas inteligentes e muitas outras começaram a usar tecnologias e aplicativos habilitados para dispositivos móveis. |
| vídeo | Em 2017, a largura de banda dedicada ao tráfego de vídeo foi estimada em 74% do uso da Internet. Assim, a transmissão ao vivo passará por um forte crescimento. Mais emissoras estão migrando para a transmissão ao vivo do vídeo Over The Top. A realidade virtual, especialmente o streaming de VR, está se tornando mais difundida. O vídeo de realidade virtual provavelmente será a futura plataforma de escolha. Enquanto isso, o vídeo 360° é uma tecnologia de ponte que está ganhando força. |
| carro/carro autônomo | Os carros conectados já chegaram e os carros autônomos não estão longe. Os próximos carros autônomos precisarão de mudanças drásticas em nossa paisagem urbana, incluindo novas estratégias de gerenciamento de tráfego e uma revisão das vagas de estacionamento. |
| nuvem | Em 2017, houve um aumento nos aplicativos de negócios executados na nuvem, que agora têm uma participação de 70% no mercado corporativo. Há também uma mudança gradual para a infraestrutura de nuvem hiperconvergente (HCI), que oferece a facilidade de gerenciamento de tecnologias integradas usando um conjunto de ferramentas comum. Outra tendência interessante é a crescente adoção de contêineres de nuvem como o Linux entre as principais empresas como Google, Facebook, Microsoft, bem como organizações menores. |
| inteligente (dispositivos/casa) | Dispositivos inteligentes como Amazon Echo e Google Home se tornaram populares em 2017, com as empresas disponibilizando esses dispositivos globalmente, além de melhorar seus recursos existentes e adicionar novos. A câmera em nuvem da Amazon foi um dos dispositivos domésticos inteligentes mais populares lançados este ano. Ele não apenas funcionou como uma câmera de segurança doméstica com armazenamento ilimitado, mas também veio com a possibilidade de permitir que o pessoal da Amazon deixe suas remessas dentro de sua casa, trabalhando em conjunto com o próprio bloqueio inteligente da Amazon. |
| social | Realidade aumentada, vídeos ao vivo e histórias foram algumas das principais tendências entre os usuários de mídia social em 2017. Houve um aumento na participação da marca em aplicativos de mensagens como Facebook Messenger, Whatsapp e afins. O marketing de influenciadores ganhou mais força em 2017 e é um dos meios de comunicação mais procurados pelos profissionais de marketing. Depois de não conseguir nenhum crescimento significativo em 2017, o Twitter aumentou o limite de caracteres de tweets de 140 para 280. |
| segurança | Em 2017, as empresas levaram a segurança de dados mais a sério do que nunca. O WannaCry foi uma das maiores ameaças cibernéticas que vimos em 2017, que inutilizou instalações críticas como hospitais, agências governamentais e computadores individuais, causando danos generalizados. A segurança tornou-se de fato uma preocupação crescente para as empresas que detêm grandes quantidades de dados e os esforços para lidar com isso já começaram. |
| aprendizado de máquina | O espaço de aprendizado de máquina viu inovações e desenvolvimentos inovadores, especialmente focados em áreas como exploração espacial, saúde, finanças e direção autônoma. A direção autônoma está ganhando força rapidamente com os principais players como Tesla, Uber e Google gastando uma quantidade significativa de recursos para alcançar a perfeição neste campo. |
Abaixo está o gráfico que mostra o movimento das dez principais tendências de tecnologia ao longo dos quatro trimestres.

Olhando para as três principais tendências, ou seja, app, dados e mobile, é evidente que o primeiro trimestre deu pico máximo para 'app' e 'mobile' com os dados permanecendo consistentes (já que o último trimestre tem dados até 7 de dezembro).
