Jak zbudować przeszukiwacz obrazów — pełny przewodnik
Opublikowany: 2023-01-10Skrobanie obrazów z sieci jest o wiele trudniejsze niż skrobanie treści tekstowych. Powodem tego jest fakt, że będziesz musiał przesiać zawartość stron internetowych i wyodrębnić tylko obrazy. Poza tym posiadanie obrazów bez kontekstu raczej ci nie pomoże.
Aby upewnić się, że te obrazy są automatycznie oznaczane tagami, może być konieczne wyodrębnienie treści tekstowej powiązanej z obrazem lub znajdującej się nad lub pod obrazem. Inną kwestią jest to, że dane tekstowe mogą być agregowane, przepisywane lub dzielone w celu ponownego wykorzystania. Z drugiej strony obrazy mogą być ponownie wykorzystywane w ograniczonym zakresie ze względu na kwestie związane z prawami autorskimi. To tylko niektóre z wyzwań, które możesz napotkać podczas skrobania obrazów. Ale zanim do tego przejdziemy, przyjrzyjmy się wartości scrapingu obrazów i temu, jak ważne może być w dzisiejszym społeczeństwie opartym na danych, które żyje w sieci.
Ryc.: Portal wyszukiwania wstecznego obrazu Google
Skrobanie lub indeksowanie obrazu rozkwitło w ostatnich latach, a nawet Google oferuje opcję odwrotnego wyszukiwania obrazu, w której pokazuje wyniki na podstawie danych, które zaindeksował. W celu
upewnić się, że obrazy są powiązane z poprawnym tekstem, wydała również pewne wskazówki dla programistów i twórców stron internetowych.
Ryc.: Wyszukiwanie obrazów w portalu wyszukiwania grafiki Google
Wykorzystanie zeskrobanych obrazów
Firmy mogą chcieć przeszukiwać sieć i pobierać obrazy do różnych zastosowań. Można je podzielić głównie na dwa zestawy - Korzystanie z surowego obrazu. Budowanie modeli lub wykresów przy użyciu obrazów w celu stworzenia bardziej dojrzałego produktu. Niektóre z typowych zastosowań obejmują:
Trening modeli ML
Wiele prac badawczych dotyczy rozpoznawania obrazów, które odbywa się poprzez szkolenie modeli na tysiącach obrazów. Najprostszym tego przykładem jest eksperyment, w którym algorytm ML został przeszkolony na tysiącach obrazów kotów i psów, po czym był w stanie z powodzeniem zidentyfikować obrazy psów i kotów z dokładnością 98,7%.
Obrazy e-commerce
Jedną z największych skarbnic obrazów jest eCommerce. Mniejsze witryny mogą często pobierać obrazy z większych, aby określić, jakiego rodzaju produkty są dodawane do katalogu. Obrazy e-commerce mogą być również wykorzystywane do badań rynku, na przykład zeskrobanie zdjęć najlepiej sprzedających się koszulek z Amazon może pokazać, że czarne koszulki są najbardziej poszukiwane.
Tworzenie treści tekstowych/wideo
Podczas gdy wcześniej większość z nas czerpała informacje z danych tekstowych, obecnie dane, które konsumujemy, mają wiele formatów — tekst, audio, wideo i krótkie filmy. Wiele z tych treści zawiera obrazy — niektóre z nich pochodzą ze źródeł zewnętrznych i mają odniesienia do nich. Z drugiej strony, tę zawartość można również zeskrobać w celu uzyskania obrazów do dalszego wykorzystania.
Memy
Memy to obrazki z zabawnymi treściami, które często stają się wirusowe i podbijają Internet. W ostatnich latach widzieliśmy firmy zatrudniające autorów memów lub zespoły marketingowe wykorzystujące memy do łączenia się z odbiorcami w sieci. Skrobanie memów i najnowszych obrazów często pomaga twórcom memów wymyślać nowe pomysły lub wariacje przy użyciu tego samego szablonu.
Wyszukiwanie zdjęć określonych osób, wydarzeń i nie tylko
Nowe lub informacyjne treści często wymagają obrazów. Na przykład, jeśli publikujesz artykuł o niej, prawdopodobnie dodasz zdjęcie Matki Teresy. Taki obraz może być łatwy do znalezienia. Ale jeśli jesteś wydawnictwem, które publikuje tysiące artykułów miesięcznie i wymaga użycia w swoich artykułach obrazów, które nie są objęte prawami autorskimi - będzie to wymagało poważnego skrobania obrazów.
Wyzwania związane ze skrobaniem obrazów z sieci
Ustawianie rzeczy
Jedną z głównych przeszkód w pobieraniu obrazów lub jakichkolwiek danych z sieci jest posiadanie zespołu technicznego, który jest w stanie to zrobić. Na drugim miejscu jest konfiguracja infrastruktury. Biorąc pod uwagę, że większość przedsiębiorstw wymaga danych w czasie rzeczywistym z wielu źródeł, konfiguracje zbierania danych są zwykle wdrażane w chmurze. Oznacza to, że Twój zespół musi mieć wiedzę na temat konfigurowania go w chmurze i utrzymywania go na dłuższą metę. Konserwacja obejmuje naprawianie błędów i awarii oraz kontrolowanie kosztów w miarę zwiększania skali.
Środki zapobiegające skrobaniu i przeszkody prawne
Powinieneś pobierać plik robot.txt dla każdej witryny, z której pobierasz dane. Zapewni to przestrzeganie reguł indeksowania określonych przez tę witrynę. Ponadto będziesz musiał śledzić obrazy, które znajdują się poza stroną logowania lub te, które mają wyraźnie wymienione zasady dotyczące praw autorskich i ponownego wykorzystania. Przepisy dotyczące geografii, takie jak RODO w Europie lub CCPA w Kalifornii, mogą jeszcze bardziej skomplikować sprawę.
Zróżnicowane i ciągle zmieniające się układy stron internetowych
Właściciele witryn szybko aktualizują interfejs użytkownika, aby strony internetowe były bardziej atrakcyjne dla klientów. Oznacza to, że nowsze technologie obsługują strony internetowe i sprawiają, że skrobanie jest bardziej skomplikowane. Regularne aktualizacje oznaczają również, że może być konieczna zmiana kodu za każdym razem, gdy wysyłają aktualizację interfejsu użytkownika - coś, o czym możesz zostać powiadomiony, tylko wtedy, gdy zobaczysz, że do bazy danych nie są dodawane żadne nowe zeskrobane obrazy.
Złe lub bezużyteczne obrazy
Skrobanie obrazów na ślepo może powodować problemy z jakością. Może to dotyczyć rozdzielczości, widoczności i samego dopasowania obrazu. Na przykład wyszukiwanie Batmana może spowodować wyświetlenie wielu zdjęć aktorów, którzy grali tę postać w filmach i serialach mydlanych. Musisz upewnić się, że używasz odpowiednich filtrów, aby uzyskać czysty obraz dla swoich badań lub firmy.
Witryny z obrazami ładują się czasami wolniej
Tekst jest lekki, a obrazy ciężkie. Gdy otworzysz stronę internetową z wieloma obrazami, możesz zauważyć, że ładowanie obrazów zajmuje trochę czasu. Może to okazać się wyzwaniem, jeśli za jednym razem zeskrobujesz zbyt wiele obrazów z tej samej witryny. Pobieranie obrazów bez upewnienia się, że są one w pełni załadowane, może spowodować pobranie obrazów niskiej jakości lub nawet pustych obrazów.
Rozwiązania dla majsterkowiczów
Odrobina badań online może zapewnić całkiem sporo opcji majsterkowania. Niektóre z najbardziej popularnych wśród nich to:
- Pisanie kodu w języku takim jak Python przy użyciu bibliotek takich jak BeautifulSoup. To jednak działałoby tylko w przypadku niewielkich wymagań dotyczących zgarniania.
- Korzystanie z oprogramowania opartego na interfejsie użytkownika, które jest dostępne zarówno w wersji bezpłatnej, jak i płatnej. Zwykle mają one mnóstwo ograniczeń dla darmowej wersji. Istnieje również krzywa uczenia się na wypadek, gdybyś chciał, aby Twój zespół biznesowy lub zespół produktowy używał takiego rozwiązania do zeskrobywania obrazów.
- Istnieją również rozwiązania do przechwytywania obrazu oparte na przechwytywaniu ekranu, w których można użyć myszy do określenia żądanych obrazów ze strony internetowej, a usługa zeskrobuje obrazy z podobnych stron internetowych. Nie zawsze zapewniają one najczystsze dane i będziesz musiał zapłacić, aby zeskrobać więcej niż ograniczoną liczbę obrazów.
Krótko mówiąc, żadne z 3 rozwiązań typu „zrób to sam” nie byłoby w stanie sprostać wszystkim wyzwaniom, o których wspomniano, jeśli chodzi o indeksowanie sieci i pobieranie obrazów dla przedsiębiorstw.
Korzyści z używania rozwiązania DaaS
Wyszukiwanie danych z sieci w celu jednorazowego stwierdzenia problemu lub projektu domowego można wykonać za pomocą kilku wierszy kodu w Pythonie, ale skonfigurowanie rozwiązania klasy korporacyjnej do pobierania danych na żywo nie jest łatwym zadaniem. Byłoby to jeszcze trudniejsze, gdy potrzebujesz tysięcy obrazów z setek stron internetowych. Właśnie dlatego PromptCloud zapewnia niestandardowe rozwiązania do zbierania obrazów, z których mogą korzystać zarówno firmy z listy Fortune 500, jak i startupy, które właśnie założyły sklep.
Ryc.: Kroki związane ze skrobaniem obrazów w usłudze PromptCloud w celu spełnienia wymagań biznesowych
Mamy prosty 3-etapowy proces, w którym możesz poinformować nas o witrynach i stronach internetowych, które należy zeskrobać w celu uzyskania obrazów. Możesz także zeskrobać obrazy związane z niektórymi wyszukiwanymi słowami. Inne informacje, które musisz podać, to częstotliwość indeksowania, jeśli chcesz przechwytywać tekst bezpośrednio nad lub pod obrazem, gdzie należy przechowywać zeskrobane obrazy i jak chcesz uzyskać do nich dostęp. Możemy upuścić obrazy do Twojego S3 lub DropBox lub pozwolić ci wysłać do nich zapytanie za pośrednictwem interfejsów API.
Po ustaleniu wymagań skonfigurujemy robota do zeskrobywania obrazów z wielu stron internetowych. Zajmiemy się konfiguracją chmury, konfiguracją i formalnościami prawnymi. Po skonfigurowaniu i uruchomieniu otrzymamy kilka przykładowych danych do zweryfikowania z Tobą, zanim uruchomiony system przekaże dane do określonej metody dostarczania.
Następnie będziemy monitorować system zgarniania obrazu i naprawiać wszelkie usterki, aktualizując roboty, aby obsługiwały nowe witryny i strony internetowe, a także zmiany na stronach internetowych. Najlepsze w tym wszystkim jest to, że płacisz tylko za ilość zużywanych danych. Więc jeśli zeskrobujesz 100 obrazów z 10 stron internetowych w ciągu miesiąca, płacisz tylko za to. A w następnym miesiącu możesz zeskrobać 10 000 obrazów z 1000 stron internetowych – a następnie odpowiednio zapłacić. To gwarantuje, że nasza usługa jest naprawdę opartym na chmurze rozwiązaniem DaaS, z którego mogą korzystać wszyscy, bez względu na to, ile danych ktoś potrzebuje.