ความเทาของการขูดเว็บ – ถูกกฎหมายหรือไม่?

“การขูดเว็บ” ในแง่ที่ค่อนข้างจะหมายถึงการขูดข้อมูลจากเว็บ ในมือของเครื่องมือค้นหา การขูดเว็บเป็นกิจกรรมที่สร้างผลการค้นหาโดยการประเมินเว็บไซต์หลายล้านแห่งสำหรับข้อมูลที่เกี่ยวข้องกับคำค้นหา ในอีกด้านหนึ่ง ในมือของธุรกิจ (โดยใช้เครื่องมือขูด) ความถูกต้องตามกฎหมายกลายเป็นที่น่าสงสัย

แต่ทำไม?

พระราชบัญญัติการฉ้อโกงและการใช้คอมพิวเตอร์ในทางที่ผิด (CFAA) ห้ามมิให้มีการใช้คอมพิวเตอร์และข้อมูลในนั้นโดยไม่ได้รับอนุญาต ซึ่งรวมถึงเว็บสแครป อย่างไรก็ตาม ขอบเขตของกิจกรรมนี้ยังไม่ชัดเจน เมื่อเร็ว ๆ นี้ ศาลฎีกาของสหรัฐอเมริกาได้ตัดสินให้ Van Buren v. United States ชนะ โดยประกาศว่าการเข้าถึงข้อมูลที่ได้รับอนุญาต แม้ว่าจะไม่ได้รับอนุญาต/ห้ามใช้ก็ตาม ไม่สามารถกล่าวได้ว่าเป็นการละเมิด CFAA

"ความไม่ชัดเจน" ของคำถามเกี่ยวกับความถูกต้องตามกฎหมายของข้อมูลที่คัดลอกมานั้นไม่สามารถชี้แจงได้หากไม่พิจารณาอย่างละเอียดถี่ถ้วนในระบบนิเวศของการขูดเว็บ สิ่งที่เกี่ยวข้อง และสิ่งที่ทำให้ถูกกฎหมายหรือผิดกฎหมาย

การขูดเว็บไซต์ถูกกฎหมายหรือไม่?

มีหลายปัจจัยที่สั่งการว่าการขูดข้อมูลเว็บถูกกฎหมายอย่างไร ลักษณะทั่วไปของการขูดเว็บอาจอยู่ภายใต้ขอบเขตของกฎหมาย Trespass to Chattel ซึ่งการใช้ข้อมูลของบุคคลโดยไม่ได้รับอนุญาตอาจกลายเป็นปัญหาทางกฎหมาย

นอกจากนี้ ในปัจจุบัน ได้มีการระดมกฎหมาย การกระทำ และข้อบังคับอื่นๆ มากมายเพื่อปกป้องความเป็นส่วนตัวของผู้บริโภคและการขโมยข้อมูล คุณอาจเคยได้ยินกฎหมายคุ้มครองข้อมูลทั่วไป (GDPA) พระราชบัญญัติคุ้มครองความเป็นส่วนตัวออนไลน์ของเด็ก (COPPA) และพระราชบัญญัติการพกพาและความรับผิดชอบในการประกันสุขภาพ (HIPAA) ซึ่งใช้มาตรการป้องกันเหล่านี้ทั้งหมดเพื่อป้องกันการละเมิดโดยไม่ได้รับการตรวจสอบ ของข้อมูลส่วนตัวผู้บริโภค

อย่างไรก็ตาม ด้วยการปกครองของ Van Buren v. United States ดูเหมือนว่าการขูดเว็บอาจทำได้ในบางกรณี

ในการพิจารณาคดีของศาลอุทธรณ์รอบที่เก้าสำหรับคดีของ LinkedIn v. hiQ Labs มีการประกาศว่าการขูดข้อมูลจากโปรไฟล์สาธารณะนั้นไม่เป็นไร เนื่องจากกิจกรรมนี้ไม่อยู่ภายใต้ขอบเขตของ CFAA (เนื่องจากข้อมูลที่คัดลอกมานั้นเปิดเผยต่อสาธารณะ) . อย่างไรก็ตาม มันทำให้ LinkedIn จำกัดไม่ให้เข้าถึงโปรไฟล์ผู้ใช้แบบสาธารณะ – ตอนนี้จำเป็นต้องเข้าสู่ระบบโดยผู้ดู

ข้อกำหนดในการเข้าสู่บัญชีผู้ใช้ของคุณบนเว็บไซต์เพื่อดูข้อมูลที่มีอยู่ในนั้นจะนำกิจกรรมทั้งหมดของคุณภายใต้ข้อกำหนดและเงื่อนไขของเว็บไซต์ ข้อกำหนดและเงื่อนไขเหล่านี้อาจมีส่วนคำสั่งที่ขัดขวางหรือห้ามการขูดเว็บ หากคุณยังคงดึงข้อมูลอยู่ คุณอาจประสบปัญหาทางกฎหมาย

เมื่อพูดถึงสิ่งนี้ นั่นเป็นเหตุผลว่าทำไม LinkedIn จึงบังคับให้เข้าสู่ระบบเพื่อดูโปรไฟล์ผู้ใช้ – เพื่อจำกัดข้อมูลการขูดเว็บของผู้ใช้

จากที่กล่าวมา พื้นที่สีเทายังคงกว้างอยู่ ดังนั้น… การขูดเว็บผิดกฎหมาย หรือไม่ ? ส่วนใหญ่ขึ้นอยู่กับประเภทของข้อมูลที่คุณพยายามขูดและลักษณะของข้อมูลนั้น:

ข้อมูลสาธารณะ

ข้อมูลที่คุณพบบนอินเทอร์เน็ตส่วนใหญ่เป็นข้อมูลสาธารณะ เว้นแต่คุณจะต้องลงชื่อเข้าใช้บัญชีของคุณหรือยอมรับเงื่อนไขการใช้ข้อมูลหรือตรวจสอบตัวตนหรือข้อมูลประจำตัวของคุณเพื่อเข้าถึงข้อมูลบางอย่าง การลบข้อมูลนั้นถูกต้องตามกฎหมายอย่างสมบูรณ์

สิ่งเดียวที่ขัดขวาง การเก็บเกี่ยวเว็บ ที่นี่คือมาตรการที่เว็บไซต์เหล่านี้ใช้เพื่อเบี่ยงเบนความสนใจของเว็บแครปเปอร์ของคุณ (แน่นอนว่าเพื่อปกป้องข้อมูลของพวกเขา)

ข้อมูลส่วนบุคคล/ข้อมูลส่วนตัว

การขูดข้อมูลส่วนบุคคลของบุคคลเป็นเรื่องผิดกฎหมาย ข้อมูลส่วนบุคคลอาจเป็นอะไรก็ได้ เช่น ชื่อ ที่อยู่ รายละเอียดทางการเงิน รายละเอียดด้านสุขภาพ วันเกิด ข้อมูลติดต่ออื่น ๆ ฯลฯ สิ่งใด ๆ ก็ตามที่ให้ข้อมูลส่วนตัวของบุคคล (ข้อมูลส่วนบุคคลที่ระบุตัวบุคคลนั้นได้ หรือ PII) ถือเป็นธงสีแดงสำหรับการขูดเว็บ . เป็นการห้ามเด็ดขาด

อย่างไรก็ตาม หากคุณจำเป็นต้องขอความยินยอมจากบุคคลนั้นก่อน นอกจากนี้ หากแรงจูงใจทางกฎหมายเป็นสาเหตุของการขูด PII จะต้องทำให้เป็นที่รู้จัก

ข้อมูลลิขสิทธิ์

ข้อมูลใดๆ บนอินเทอร์เน็ตที่เป็นทรัพย์สินทางปัญญาของผู้จัดพิมพ์ถือเป็นการคัดลอกที่ผิดกฎหมาย หากคุณต้องใช้ข้อมูลนี้ แม้ว่าจะมีลิขสิทธิ์ คุณต้องให้เครดิตแหล่งที่มาของข้อมูลนั้นทุกที่ที่คุณใช้ข้อมูล

เงื่อนไขการให้บริการ

นี่เป็นตัวอย่างที่มีเงื่อนไขของการขูดเว็บอย่างผิดกฎหมาย หากเว็บไซต์จำกัดการดึงข้อมูลอย่างชัดแจ้ง ให้ถือว่าการกระทำนั้นผิดกฎหมาย ก่อนที่คุณจะดำเนินการกับบ็อตมีดโกน เป็นการดีที่สุดที่จะตรวจสอบข้อกำหนดการใช้งานและบริการอย่างละเอียด

เข้าสู้ระบบบัญชี

เช่นเดียวกับ LinkedIn ที่บังคับให้เข้าสู่ระบบบัญชีเพื่อเข้าถึงโปรไฟล์ผู้ใช้ อินสแตนซ์การเข้าสู่ระบบมักจะได้รับความยินยอมจากคุณตามข้อกำหนดและเงื่อนไขของเว็บไซต์ ข้อกำหนดและเงื่อนไขเหล่านี้อาจมีข้อเกี่ยวกับการขูดข้อมูล เมื่อคุณยังคงปล่อยบอทมีดโกนของคุณหลังจากเข้าสู่ระบบ คุณกำลังเสี่ยงที่จะถูกแบนหรือแม้แต่ดำเนินการทางกฎหมาย

วิธีการขูดข้อมูลอย่างถูกกฎหมาย

เพื่อให้แน่ใจว่าไม่มีการดำเนินคดีกับคุณ โปรดทำความเข้าใจประเด็นต่อไปนี้อย่างละเอียดก่อนที่คุณจะดำเนินการขูดเว็บ:

• ข้อมูลเปิดเผยต่อสาธารณะหรือไม่?
• มันเปิดเผย PII ของบุคคลใด ๆ หรือไม่?
• เว็บไซต์กล่าวถึงข้อห้ามใด ๆ เกี่ยวกับการขูดหรือไม่?
• มีกฎหมาย การกระทำ นโยบาย หรือข้อบังคับใดบ้างที่ควบคุมข้อมูลที่คุณสามารถขูดและใช้ได้หรือไม่

การชั่งน้ำหนักคำตอบของคำถามเหล่านี้อย่างระมัดระวังจะช่วยกำหนดระดับสีเทาของกิจกรรมการขูดเว็บของคุณ

ห่อ

โดยพื้นฐานแล้ว “การขูดเว็บไซต์ถูกกฎหมาย หรือไม่” ไม่ใช่คำถาม คำถามที่แท้จริงคือ “ การขูดเว็บไซต์ถูกกฎหมายอย่างไร? “.

เป็นการดีที่สุดที่จะตรวจสอบให้แน่ใจว่าการคัดลอกเว็บดึงเฉพาะข้อมูลที่เปิดเผยต่อสาธารณะและไม่ได้รับการคุ้มครองโดยคำสั่งที่ดำเนินการได้ตามกฎหมาย คุณยังสามารถจ้างบริการขูดเว็บให้กับหน่วยงานมืออาชีพ เช่น PromptCloud ที่รู้ว่าพวกเขากำลังทำอะไรอยู่