Leçons apprises de 15 ans de grattage Web

Histoire

Lorsque Intercloud a commencé ses opérations en 2009, seules quelques entreprises à la pointe de la technologie savaient ce qu'était le grattage Web. Nous avons dû utiliser une version de 5e niveleuse pour expliquer la solution qui s'est déroulée comme ceci - "Nous sommes comme Google pour quelques sites Web, mais nous fournissons des données dans un format propre comme un CSV ou JSON." Parfois, nous finions également par expliquer ce que CSV, XML et JSON étaient et nous nous sommes retrouvés le plus souvent, en éduquant nos clients pour expliquer pourquoi Excel n'était pas le bon format pour consommer régulièrement de tels volumes de données. C'est à ce moment-là que nous avons fait beaucoup de contenu éducatif autour de ce que DAAS (données en tant que service) était, et la différence entre le grattage Web et le compromis Web. Beaucoup d'autres ont emboîté le pas et le reste appartient à l'histoire. Ce blog particulier sur la différence entre rampage et grattage a fini par devenir la page la plus visitée sur notre site Web, malgré son ton décontracté brut.

Nous n'avions alors que la solution de rampe horizontale, qui était une simple plate-forme DAAS, et même alors, nous avions des clients de toutes les industries - automobile, commerce électronique, voyage, parmi beaucoup d'autres. Nous étions amusés par certains des cas d'utilisation que nous rencontrions, des choses que nous n'avions même pas imaginées pour le grattage Web résoudraient. Ce serait un euphémisme de dire que beaucoup de nos services à valeur ajoutée, y compris le développement de l'API pour livrer les flux de données, ont été une réponse aux besoins des clients, par opposition à ce que nous soyons les visionnaires.

Avance rapide de 15 ans, beaucoup de choses ont changé tandis que certaines des bases demeurent. Il n'y a plus d'éducation nécessaire sur les raisons pour lesquelles une entreprise a besoin de données alternatives, ni sur le grattage Web. Plus tôt, seulement 2% des sites Web sur Internet ne voulaient pas qu'il ait rampé, maintenant ce nombre a clairement augmenté à mesure que de plus en plus de domaines utilisent des technologies anti-bot. Notre meilleure FAQ plus tôt était si le grattage Web était légal, alors que maintenant de plus en plus d'entreprises comprennent comment le faire éthiquement. Les cas d'utilisation ont également évolué rapidement, en suivant le rythme des autres progrès technologiques et de la pénétration d'Internet tels que nous le voyons.

Le présent

Jetons un coup d'œil à l'endroit où nous en sommes actuellement dans le contexte de ce que nous avons vécu dans le passé.

1. Plus d'entreprises reconnaissent la nécessité de données

La demande pour un service de grattage Web solide continue de croître parce que les entreprises ont besoin d'informations en temps réel pour rester en avance. Nous avons été témoins de l'aiguille de déménager de Nice pour avoir à un incontournable. Et à mesure que la concurrence devient plus féroce, les entreprises voient le grattage du Web comme un changement de jeu plutôt que comme un autre outil. Il est intéressant de noter que les besoins ont augmenté principalement dans l'espace de commerce électronique, et pas tant dans les autres industries que nous serviraient plus tôt.

2. L'ampleur des besoins de données a changé

Il ne s'agit pas seulement d'avoir besoin de données - il s'agit d' en avoir besoin. Les entreprises ne veulent pas seulement un instantané; Ils veulent des ensembles de données en temps réel, à la mise à jour qui les aident à rester en avance sur les tendances. Prenez le cas d'utilisation de l'analyse du marché du travail par exemple. Afin de pouvoir dériver des informations significatives sur la façon dont les emplois sont tendances, quelques milliers d'emplois ne fourniraient pas de données statistiquement significatives. Vous avez besoin au moins de quelques centaines de milliers de postes d'emploi d'une catégorie particulière pour tirer un schéma sur lequel les compétences sont tendance, quels sont les emplacements des hotspot pour un titre de poste particulier, etc. Ce changement signifie que les entreprises recherchent des solutions de grattage Web complexes qui peuvent gérer des quantités massives de données efficacement et en temps réel.

3. Les tendances façonnent le type de données que recherchent les entreprises

Ce dont les entreprises ont besoin du grattage Web évolue avec les tendances. Les deux grands qui semblent façonner le paysage de grattage en ce moment sont le commerce rapide et les médias sociaux . Avec la prolifération de marques allant de la beauté et des soins personnels à la FMCG, combinée à la promesse des applications de livraison de 10 minutes, en particulier en Inde, il est devenu impératif de surveiller l'étagère numérique. Il en va de même pour les médias sociaux avec l'avènement d'Instagram et d'autres canaux populaires. De plus en plus de marques s'appuient sur les médias sociaux en tant que canal principal pour suivre le sentiment des consommateurs et les tendances émergentes.

4. Systèmes plus robustes pour l'ingestion de données

À l'époque, si un client proposait une exigence de 200 sites Web ou où des millions de points de données devaient être livrés quotidiennement, notre première question serait - est-ce une exigence de spam? Parce que les systèmes n'étaient pas suffisamment sophistiqués pour gérer de tels volumes de données, et quelque chose ou l'autre se briserait. Maintenant, la plupart des entreprises avec lesquelles nous travaillons ont construit de puissants pipelines de données, des systèmes de traitement en temps réel et des solutions de stockage cloud qui rendent l'ingestion transparente. Cela signifie qu'ils peuvent se concentrer davantage sur les idées que de s'inquiéter de la façon de gérer les données.

5. Les données publiques deviennent moins accessibles

Le grattage Web n'est pas aussi simple qu'avant. De plus en plus de sites Web verrouillent leurs données derrière les murs de paiement, les exigences de connexion et les systèmes de détection de bot. Cela a obligé l'industrie à faire preuve de créativité avec des méthodes de grattage Web complexes qui peuvent légalement et efficacement contourner ces barrières. Les outils axés sur l'IA sont devenus essentiels pour suivre ces restrictions toujours dementions. Nous évaluons généralement nos projets rampants en fonction de la complexité des sources allant de simples, moyennes et complexes, et nous avons vu de plus en plus de sites Web appartenir à la catégorie complexe au cours des deux dernières années.

6. L'expérience compte plus que jamais

Avec la demande de données en plein essor, les nouveaux joueurs apparaissent en affirmant qu'ils peuvent gratter tout et n'importe quoi. Mais voici la chose - l'expérience compte. En tant que corollaire au point ci-dessus, le grattage Web ne consiste pas seulement à tirer des données; Il s'agit de gérer les sites Web dynamiques, de gérer les opérations à grande échelle et d'assurer la précision des données. Un fournisseur de grattage Web expérimenté a passé des années à résoudre les problèmes de dépannage, à régler des processus et à créer des solutions qui fonctionnent réellement à grande échelle.

7. AI révolutionne le grattage Web

Alors qu'une grande partie du pipeline de données était plus tôt automatisée, nous avons eu quelques percées dans les étapes de configuration du pipeline. Les possibilités d'utilisation de l'IA pour différentes phases du pipeline de données sont une extraction infinie, une extraction précise peut devenir plus facile, les robots peuvent être formés pour identifier les changements de site Web et se réparer automatiquement, la structuration des données peut devenir plus simple. L'apprentissage automatique aide également les entreprises à aller au-delà des données brutes - offrir des informations, des classifications et des analyses qui rendent les données grattées encore plus précieuses. Tout cela pour dire que l'IA a révolutionné cette industrie dans le bon sens, améliorant les capacités au-delà de la grattage et de la soulagement des douleurs d'obtenir des informations sur les tas de données recueillies.

Route à venir

Le grattage Web a parcouru un long chemin au cours des 15 dernières années, et cela évolue toujours. Les données devenant plus critiques que jamais, les entreprises ont besoin de partenaires qui l'obtiennent - qui comprennent les subtilités du grattage Web complexe et ont l'expérience de naviguer dans ses défis. Qu'il s'agisse d'assurer la qualité des données de premier ordre, de gérer les restrictions de site Web ou d'utiliser l'IA pour rendre le grattage plus intelligent, la bonne approche fait toute la différence.

Une chose est sûre: la demande de données structurées et exploitables ne ralentit pas de sitôt. La seule question est: êtes-vous prêt pour la prochaine?

FAQ

Sources

Harvard Business Review - L'importance croissante des données