2018 年に公開された PromptCloud のブログからの上位の投稿

今年も暮れを迎え、これまでの歩みを振り返る絶好の機会です。 また、年末年始のベスト オブ リストにより、人々は何も見逃さないようになっていることも注目に値します。

そのため、この編集では、ブログに投稿された Web データに関連する最も人気のある 10 の記事を紹介します。 これは、何かが滑った場合に役立ちます。

時間を無駄にすることなく、飛び込みましょう。

ホテル価格のスクレイピングと最適化戦略

私たちは、競争力のある価格設定を維持し、同時に収益性を維持したいと考えているホテル チェーン向けの興味深いソリューションから 1 年を始めました。 需要予測、市場反応の測定、競合分析の 3 つの主要な要素に基づいて価格戦略を考案することについて説明しました。 これらすべての要因には、さまざまな制約を考慮しながら、価格モデリングのために重み付けされるいくつかのサブ要因があります。

最後に、これらのモデルをホテル ビジネスの独自のセールス ポイントと組み合わせることで、顧客にとって魅力的な価格設定が明らかになります。

オスカーにノミネートされた映画の予告編に対する YouTube のコメントを視覚化する

この投稿では、エンターテインメント分野で興味深い調査を行い、オスカーに焦点を当てました. オスカーにノミネートされた映画の予告編から YouTube のコメントを抽出し、ビジュアライゼーションを作成しました。

分析した内容は次のとおりです。

• コメント数に基づく映画の人気
• 長さの分布を確認する
• レビューでよく使われる用語
• 感情分析
• 単語間の関係 – バイグラムのネットワーク グラフ
• 「シェイプ オブ ウォーター」予告編のコメントで最も一般的に使用される単語を見つけるためのワード クラウド。

これが私たちが発見したものです：

• 映画の人気は受賞やノミネートに直結しない
• シェイプ・オブ・ウォーターは、さまざまな感情のコメントを受け取りました
• オスカーのノミネートは、映画に対する観客の認識を変える可能性があります

上司に Web データを収集するよう説得する方法

次に、会社の生産性と効率を向上させるために Web データを収集するように上司を説得する手助けをすることにしました。 武器庫で使用できるものに焦点を当て、いくつかの確かなポイントを見つけました。 あなたはどのようにできるかを説明できます–

1. データを使用して、顧客をより適切にターゲティングします。
2. 未使用のデータを負債から貴重な資産に変換します。
3. イノベーションを促進します。
4. 意思決定を後押しします。
5. 全体の効率を高めます。

すべてWebスクレイピングのデータを使用！

機械学習と Web スクレイピングの必然的な聖なる結婚

年の半ばまでに、誰もが「機械学習」と書かれたケーキを食べていたとき、私たちはこの作品を作ることにしました。 最初にWebスクレイピングについて議論し、次に機械学習について議論し、実際に、スクレイピングの新しいルールを考え続ける人間の代わりに、機械がスクレイパーを実行し続ける方法を説明しました.

最初は、実際の人間がスクレイパーを動かし続け、学習と再学習をさせるために、そのアクションに応じてスクレイパーに報酬または罰則を与えるためのしばらくの間、トレーニング フェーズが必要になります。

人工知能はファストファッションの成長を助けていますか?

ファストファッションとは、ファッション小売業者が、デザインがキャットウォークから急速に移行して現在のファッショントレンドを捉えることを表現するために使用する現代的な用語です. そして、現在のファッションの世界では、トレンドを示唆する単純なアルゴリズムは時代遅れです。 データ チームとデザイン チームは高度な AI を使用して、色や素材の検索からストライプやアクセサリーに至るまで、製品を微調整しています。 私たちは現在、ファッションに焦点を当てた AI ベンダーの一部を強化するために、毎日何百万ものファッション データを提供しているため、これを知っています。

次のシーズンに向けて顧客が何を求めるかを発見することは、デザイナーの創造性と結びついた数学的解決策のケースであることが判明しました.

テイラー・スウィフトの歌詞のデータ可視化と分析

データ分析は、「音楽」などのクリエイティブ分野に適用して、根底にあるテーマと長年にわたって変化するトレンドを見つけることができます。 そのため、この研究は数々の賞を受賞したテイラー・スウィフトを中心に行われました。

彼女の 94 のトラックに対して分析が行われ、いくつかの魅力的なチャートとグラフが作成されました。

以下に簡単な要約を示します。

1. 探索的分析 - 個々のトラックとアルバムに基づく単語数の分析、単語数の時系列分析、および単語数の分布を行いました。
2. テキスト マイニング – ここでは、調査したすべての曲を使用してワード クラウドを作成しました。 また、バイグラム ネットワークを作成し、さまざまな種類のセンチメント分析を実行しました。

このデータセットは、 Datastockで利用できます。

IoT データのスクレイピングについて知っておくべきこと

今年のバズワードの 1 つは IoT (モノのインターネット) であり、この分野にある機会について説明することにしました。 まだ一般的なデータ スクレイピング環境ではありませんが、Web スクレイピングは、さまざまな IoT デバイスについて多くのことを理解するのに役立ちます。相互作用がどのように行われるか、どのデータがハッキングされやすいかなどです。さまざまなハードウェア デバイスから配信されるデータをクロールする接続ポイントは、IoT エコシステム全体を分析し、新しくより効率的なビジネス プロセスを作成しようとしている人々に大きなチャンスをもたらす可能性があるためです。

GDPR 時代の Web スクレイピング – 影響と機会

Facebook や Google などの巨大な企業がプライバシーとデータ セキュリティの懸念からスキャンダラーになったことで、GDPR、または一般データ保護規則がヨーロッパで発効しました。 これにより、多くの企業が運用手順、データ ストレージ、およびワークフローの処理を変更することを余儀なくされ、場合によってはインフラストラクチャ全体をオーバーホールすることさえありました。

しかし、立法府が大いに話題になったことは、Web スクレイピングの分野で多くの取り締まりと機会をもたらしました。 この記事では、データ スクレイピングを行う企業や個人にどのような変更が適用されるかについて詳しく説明します。

データ分析により、米国で最も不気味な都市が明らかになりました

ハロウィーンの月の間に、私たちは不気味な精霊と一緒に行き、幽霊の出る場所の数に基づいてさまざまな米国の都市を分析した記事を書くことにしました.

州別および都市別の度数チャートと米国のヒートマップを作成して、恐怖に陥る可能性を確実に把握できるようにしました。 単語マップ分析は、人々が不気味な場所をどのように説明するか、またこれらの場所を説明する際にどの単語がより一般的であるかを理解するのにも役立ちました.

Web スクレイピングが API の優れた代替手段である理由

年末に向けて最も議論の的となった記事の 1 つを残しました (休日の精神により、人々がより陽気になることを願っています)。 要するに、データのニーズに合わせて API を使用している場合は、API の使用がいかに簡単かを知っている必要があります。 いくつかのパラメーターを渡すだけで、応答として JSON/XML が返され、それを使用できるようになります。

通常、API の機能は頻繁に変更されることはなく、わずかな変更があったとしても、同じ更新されたドキュメントを受け取ることになります。 では、Web スクレイピングより優れているのでしょうか? 聞いたことがあるかもしれませんが、簡単であることが常に良いとは限りません。 詳細については、この年末の記事をお読みください。

以上で、2018 年の必読記事のまとめを終わります。 このリストのブログの他の記事が必要な場合は、コメントしてください。