Что такое хранилища данных и какие проблемы они вызывают?

Данные — ваше конкурентное преимущество. Это позволяет вам улучшить свои процессы, продукты и операции, чтобы построить бизнес, который лучше, чем у конкурентов. Но данные также хрупки, и без надлежащего управления данными их целостность может быть нарушена.

В этом сообщении блога мы поговорим об одной из основных причин проблем с целостностью данных: хранилищах данных. Давайте углубимся в то, что они собой представляют, почему они существуют и как их разбить.

Ключевые выводы

• Хранилища данных — это данные, хранящиеся у отдельного лица или отдела, к которым другие сотрудники организации не имеют доступа.
• Растущие организации, плохая культура данных и отсутствие правильной технологии — основные причины разрозненности данных.
• Хранилища данных проблематичны, потому что они ограничивают видимость бизнеса, угрожают целостности данных, растрачивают ресурсы компании, создают менее совместную среду, ухудшают качество обслуживания клиентов и ставят под угрозу безопасность данных.
• Некоторыми общими симптомами разрозненных данных являются медленное понимание или разочарование сотрудников из-за отсутствия видимости бизнеса.
• Разрушение хранилища данных — долгий и сложный процесс. Вы можете сделать это более плавным, используя платформы автоматизации, такие как конвейер ETL, который извлекает данные из разных источников, преобразует их и передает в единый источник достоверности (SSOT).

Что такое хранилища данных?

Думайте о хранилищах данных как об островах бизнес-данных, которые принадлежат отделу или даже отдельному лицу и не могут быть доступны другим в организации. Это приводит к изолированной информации, которая в конечном итоге ухудшает качество данных организации.

Почему существуют хранилища данных?

Никто не начинает планировать создание хранилищ данных. Но некоторые организации более восприимчивы к ним.

Организационная структура поддается разрозненным данным

Бизнес часто выигрывает от разделения обязанностей. Но разделение может привести к изоляции некоторых данных. Поскольку каждый отдел собирает свои собственные данные для своих целей, они непреднамеренно создают бункеры данных.

У бизнеса нет хорошей культуры качества данных

Организации с незрелой культурой данных чаще сталкиваются с проблемами хранилища данных. Этим компаниям обычно не хватает документации и управления данными, поэтому нет общего понимания сбора, управления и хранения данных.

Это приводит к тому, что сотрудники не получают надлежащего руководства по обмену данными, которые они собирают.

Технологии сдерживают усилия по обеспечению качества данных

Технологии иногда могут саботировать усилия организации по поддержанию данных хорошего качества.

Когда бизнес использует различное программное обеспечение для выполнения своих операций, эти различные части программного обеспечения могут быть несовместимы друг с другом. Это усложняет обмен данными.

С другой стороны, у некоторых организаций нет доступа к технологиям, которые отдают приоритет обмену данными между различными источниками данных, что неизбежно приводит к проблемам с хранилищем данных.

Рост бизнеса ослабляет методы управления данными

Рост бизнеса приводит к формированию новых отделов, новых сотрудников, новых процессов и нового программного обеспечения для поддержки расширяющегося бизнеса.

Когда управление данными не является приоритетом, все эти недавние изменения вынуждают людей придумывать что-то по ходу дела, что почти всегда приводит к проблемам с качеством данных, особенно к хранилищам данных.

Распространенные примеры хранилищ данных

Данные не хранятся в хранилищах сами по себе. Именно действия, которые мы предпринимаем, разбивают данные на части. Вот обзор распространенных случаев использования, когда организации ограничивают доступ к данным (чаще всего непреднамеренно).

Использование электронных таблиц в большинстве бизнес-операций

Электронные таблицы по-прежнему являются самым популярным инструментом для обработки, запроса и демократизации данных во многих компаниях. Несмотря на то, что они часто становятся головной болью для групп данных.

Специалисты, не являющиеся техническими специалистами (например, маркетологи или финансовые работники), осваивают формулы электронных таблиц и делают невероятные вещи с помощью одной функции ВПР.

Несмотря на простоту использования, электронные таблицы часто становятся кладбищем для данных. После выполнения необходимых запросов данные теряются в чьем-то облаке и не попадают в централизованное хранилище.

Электронная таблица также становится хранилищем данных, когда она переходит от прототипа к производству. Если часть вашей бизнес-логики вращается вокруг электронных таблиц, это явный признак того, что вам нужно придумать что-то более практичное. Существует множество причин, по которым следует избегать электронных таблиц: от ограничения данных до невозможности включить каждую электронную таблицу в процесс управления данными.

Как отделить данные от электронных таблиц. Начните с просмотра гигантских электронных таблиц, которые необходимы для некоторых ваших бизнес-операций. Скорее всего, они неэффективны из-за своего размера и множества макросов и формул, расположенных поверх них.

Поиск способа передачи данных в более устойчивую архитектуру, такую ​​как облачное хранилище данных, улучшит доступность данных и индивидуальную производительность каждого сотрудника, взаимодействующего с данными.

Плохо структурированные запросы преобразования

При объединении различных типов данных, таких как финансовые, маркетинговые данные и данные о продажах, для создания единого источника правды все становится немного запутанным.

Во-первых, разные данные имеют разные соглашения об именах, которые должны быть согласованы, чтобы иметь смысл. Кроме того, вам нужно создавать дополнительные запросы поверх предыдущих, чтобы создавать специальные отчеты об эффективности кампании, росте доходов и т. д.

В конце концов, вы получите трехстраничный SQL-запрос, который имеет смысл только для его владельца. Ваши задания по преобразованию могут быть настолько сложными, что часть необходимых данных просто не достигает конвейера данных.

Хуже всего то, что аналитики могут заметить резкое снижение/рост метрик, но не могут понять причину этого, потому что не могут понять, как были запрошены эти данные.

Как отделить ваши данные от сложных запросов: к этой проблеме можно подойти двумя разными способами.

Если ваша компания выполняет преобразования самостоятельно, разбейте сложные запросы на несколько контрольных точек и сохраните их в таблицах для промежуточной проверки качества данных. Четко определенные шаги преобразования и проверка качества данных после каждого шага гарантируют, что ни одна из данных не ускользнет из конвейера.

Другой вариант — использовать решения для автоматического преобразования различных типов данных. Например, Improvado, автоматизированный конвейер маркетинговых данных, преобразует все данные в соответствии с заранее заданными рецептами. Вы можете выбрать любой рецепт и точно знать, как будут выглядеть ваши данные после процесса преобразования.

Improvado также позволяет вам создавать свои собственные SQL-подобные запросы на преобразование в интерфейсе, похожем на электронную таблицу, без кода. Вы можете четко видеть зависимости между различными записями данных и преобразовывать данные любым способом, который вам нужен, без написания каких-либо SQL-запросов.

Сторонние решения, которые держат ваши данные в заложниках

Сегодняшний рынок полон ETL-решений, которые могут извлекать данные из любого источника, преобразовывать их в удобный формат и отображать на информативных информационных панелях. Однако у большинства этих решений есть существенный недостаток: привязка к поставщику.

Возьмем в качестве примера Datorama (Salesforce Marketing Cloud). Это комплексное решение для крупных компаний, которое автоматизирует маркетинговую отчетность и оптимизирует данные из сотен источников. На первый взгляд, это мечта каждого маркетолога. Он содержит специальные отчеты по данным со всех популярных рекламных платформ.

Все усложняется, если смотреть с точки зрения хранилища данных. Вы не можете загружать данные из Datorama во внутреннее хранилище или объединять эти данные со сторонними аналитическими данными, собранными на вашей стороне. Другими словами, вы сильно зацикливаетесь на данных, доступных только в Datorama, и не можете делиться полезной информацией за пределами платформы.

Эта привязка к поставщику делает вас зависимым от поставщика и уязвимым для любых изменений в ценовой политике. Если вы не согласны с изменениями цен, вы не можете просто отказаться от платформы, потому что вы потеряете все накопленные исторические данные. Вот почему вам нужно дважды подумать, прежде чем доверить свои данные таким платформам.

Как защитить ваши данные от захвата: если вы решите использовать стороннюю платформу, выберите поставщика, который предоставит вам полный доступ к вашим данным.

Еще раз, давайте взглянем на Improvado. Он предлагает вам различные способы хранения ваших данных. Его можно загрузить либо в ваше облачное хранилище данных, такое как Google Big Query, либо вы можете запросить свои данные из среды Improvado. Если у вас нет собственного хранилища данных или опыта управления им, Improvado предлагает услуги по управлению хранилищем данных.

Таким образом, вы знаете, что ваши данные останутся с вами при любых обстоятельствах, и вы можете сделать их полностью доступными для любого сотрудника вашей компании.

Почему хранилища данных проблематичны?

Хранилища данных — очень распространенная проблема с далеко идущими последствиями для организации и бизнеса.

Ограничьте видимость бизнеса

Когда соответствующие бизнес-данные не могут быть подключены к центральной базе данных, понимание, к которому приходят лица, принимающие решения, не будет отражать истинное состояние бизнес-операций. Это может способствовать принятию бизнес-решений, которые приносят больше вреда, чем пользы.

Кроме того, когда аналитикам нужны труднодоступные данные, им потребуется много времени, чтобы найти их из разных мест. Это сокращает время получения информации, среднее время, необходимое для получения действенной информации, и снижает гибкость бизнеса.

Некоторые инсайты могут полностью ускользнуть от аналитики без обмена данными между отделами.

Например, как вы будете связывать потенциальных клиентов с доходом и определять наиболее эффективные каналы без согласования продаж и маркетинга? Или как вы узнаете LTV ваших клиентов без информации от отдела по работе с клиентами?

Нарушить целостность данных

Хранилища данных приводят к неполным бизнес-данным, что ставит под угрозу целостность данных.

Это может привести как минимум к неверным бизнес-решениям, а в худшем — к крупным катастрофам — как НАСА узнало после того, как они потеряли марсианский климатический орбитальный аппарат из-за того, что два отдела не смогли сообщить, что они используют разные единицы измерения.

Даже если вы не работаете в аэрокосмической отрасли, вы все равно подвержены предубеждениям, вызванным отсутствием данных. Представьте себе отдел маркетинга, который пытается оптимизировать кампании для получения дохода без релевантных данных о продажах. Вся оптимизация становится исключительно догадками.

Трата бизнес-ресурсов

Затраты на хранение данных могут быть чрезмерно высокими. Поскольку во многих хранилищах данных хранятся похожие или устаревшие данные, ваша организация выделяет бюджетные ресурсы на хранилище данных, которое больше не обслуживает организацию.

В дальнейшем бизнес-решения, основанные на этих данных, могут даже повредить доходам бизнеса. Например, если у вас есть неточные данные во время запуска продукта, ваш поставщик услуг электронной почты (EMS) может отправить клиентам неправильное электронное письмо. Или не в тот сегмент, или не в тот день. Это не только подрывает доверие клиентов, но и влияет на рентабельность инвестиций.

Сокращение сотрудничества сотрудников

Данные, которыми не делятся свободно, могут вызвать конфликт между сотрудниками и отделами.

Допустим, вы хотите знать, находит ли отклик новое сообщение и доходит ли оно до потенциальных клиентов. Для этого вам необходимо оценить качество лидов и проверить коэффициент конверсии лидов в продажи.

Что, если для получения этих данных от продаж потребуется много времени, если это вообще замедлит ваши процессы? Это может спровоцировать ужасные чувства между вами и вашим контактным лицом в отделе продаж.

Точно так же отсутствие прозрачности данных препятствует сотрудничеству между различными отделами. Они становятся их собственными маленькими островами, где хорошие идеи умирают, потому что сотрудничество и кооперация не поощряются.

Усиление плохого клиентского опыта

Каждый раз, когда клиенты взаимодействуют с бизнесом, есть часть программного обеспечения, которая может записывать это взаимодействие.

А теперь представьте, если бы не было способа связать данные между этими разными инструментами. Многие данные будут разрознены, и вам придется очень долго выяснять, какую часть пути клиента оптимизировать и как персонализировать каждое взаимодействие с клиентом.

Это еще больше приведет к разрозненному опыту работы с клиентами, который оттолкнет их от вашего бренда.

Нарушение безопасности данных

Когда данные хранятся в чьей-либо цифровой папке, недоступной для централизованной сети безопасности данных, организациям становится сложно применять меры безопасности в этих архивах. У вас не будет контроля над разрешениями пользователей, что увеличивает угрозу утечки данных.

Как узнать, что у вас есть проблемы с хранилищем данных?

Проблемы с хранилищем данных часто проявляются в повседневных бизнес-операциях. Они затрагивают всех на всех уровнях, от лиц, принимающих решения, до рядовых сотрудников.

Высшим руководителям потребуется много времени, чтобы получить информацию, необходимую им для принятия решений. Они не будут знать, за какие рычаги тянуть для достижения бизнес-целей. Это отсутствие понимания отраслевых тенденций означает, что они часто медленно реагируют на меняющиеся потребности клиентов.

Недостаточное согласование продаж и маркетинга также может быть признаком проблем с хранилищем данных. Когда люди чувствуют, что им не предоставлен доступ к важным данным для выполнения их работы, удобно указать пальцем на других сотрудников, которые «скрывают» информацию. Это часто приводит к нездоровой конкуренции и токсичной рабочей среде, не говоря уже о низкой производительности и потере доходов.

Как разрушить хранилища данных

Разрушение хранилища данных может быть одной из самых сложных задач для бизнеса. Они настолько укоренились в корпоративной культуре, что от них трудно избавиться. Разрушение их должно быть инициативой сверху вниз и общекорпоративной образовательной программой.

Примите, что они существуют

Бункеры данных могут случиться с любой организацией. Чем быстрее ваша компания примет это, тем скорее вы предпримете шаги, необходимые для их устранения.

Узнайте, как принимаются решения в вашей организации

Основная цель данных в любой организации — принимать лучшие решения. Итак, чтобы понять поток данных внутри вашей компании, вам сначала нужно четко определить процесс принятия решений.

Крис Ортега, генеральный директор Fresh FP&A и влиятельный финансовый деятель, предлагает использовать структуру, называемую циклом принятия решений. Согласно этой структуре, цикл принятия решений разбивает решения на пять основных столпов:

1. Процессы
2. Данные
3. Информация
4. Знания
5. Деловые решения

Эти столбы взаимосвязаны друг с другом. Другими словами, обрабатывает данные привода. Затем данные превращаются в информацию. В свою очередь, эта информация становится знаниями, влияющими на все деловые решения.

Когда вы поймете, как принимаются решения внутри вашей организации, вы сможете определить хранилища данных в разных отделах и найти подходящие технологии для автоматизации процесса преобразования данных в знания и уменьшения трения в процессе принятия решений.

Определите хранилища данных в вашей организации

Определите основную причину проблем с хранилищем данных. Это корпоративная культура? Технология? Процессы? Затем составьте план их консолидации, замены или управления ими.

Если у вас есть разрозненные данные внутри организации, ваши отделы, вероятно, функционируют как отдельные бизнес-единицы. Это означает, что вам необходимо идентифицировать любые разрозненные данные внутри каждого отдела.

Вот некоторые признаки того, что вы на правильном пути:

• Отдел часто жалуется на отсутствие данных по конкретным видам деятельности.
• Недостаточно данных, чтобы понять влияние отдела на бизнес-процессы компании (представьте, что в целостной картине усилий вашей компании отсутствует один фрагмент головоломки).
• Существует неопределенность в отношении показателей успеха конкретного отдела.
• Нет возможности быстрого доступа к данным отдела.

Кроме того, обратитесь к своему ИТ-отделу, чтобы получить список систем, используемых каждым отделом, чтобы лучше понять, где пропадают данные.

Определите потребности в данных различных отделов и отдельных лиц

Составьте список различных команд, которым нужны данные, и выясните, что им нужно и зачем. Затем определите, какие другие отделы уже записывают эти данные и как они их записывают.

Интеграция всех данных и приложений

Найдите способ заставить различные бизнес-приложения взаимодействовать друг с другом. Можно ли объединить несколько приложений? Есть ли какое-либо программное обеспечение, затрудняющее обмен данными? Можете ли вы заменить любой из инструментов, которые вы используете в настоящее время?

Как только вы это поймете, создайте единый источник достоверной информации для всех данных, которые собирает ваша организация. Используйте гибкие и масштабируемые инструменты, такие как платформа ETL, которая помогает разбивать хранилища данных, преобразовывать данные в один формат и загружать унифицированные данные в хранилище данных.

Добавьте бизнес-контекст к своим данным

Данные сами по себе являются очень технической концепцией. Есть таблицы, объединения, союзы и много другого технического жаргона. Но когда дело доходит до бизнес-процессов, ваши данные должны иметь бизнес-контекст.

Представьте себе таблицу базы данных с именем «cost-flowchart-1.XML». Это не кажется чем-то очень ценным для нетехнического человека. Но когда все знают, что эта таблица представляет собой иерархию центров затрат или график лидов, привлеченных за квартал, она приобретает определенный смысл.

Разрозненные данные — это актив всей компании, а не просто набор цифр для инженеров по обработке данных. Таким образом, он должен быть легко читаем для всех, кто взаимодействует с ним.

Как сказал Джагдиш Сахасрабуде, старший вице-президент SAP по бизнес-приложениям и платформам, в своем недавнем выступлении: «Только когда у вас есть контекст и семантика, назначенные данным, это приближает эти данные к бизнес-процессу. Без этого это просто набор битов и байтов».

Разработайте стратегию для неразрозненных данных

Сделать ваши данные доступными — это прекрасно по умолчанию. Но в более широком масштабе вам нужно задать себе вопрос: «Зачем это нужно моей компании?»

Это может быть толчок к инновациям, а также инициатива, которая не дала никаких результатов. И единственная разница между этими исходами заключается в стратегии.

Вы можете подумать о том, чтобы найти партнера, который восполнит пробелы в опыте и стратегии, когда речь идет об использовании ваших данных для внедрения инноваций. Вместо того, чтобы возлагать эту ответственность на вас или ваших коллег, почему бы не делегировать ее команде, которая помогла нескольким компаниям в разных отраслях?

Благодаря структуре профессиональных услуг Improvado переходит от поставщика к партнеру и помогает командам клиентов создавать информативные информационные панели и принимать обоснованные решения на основе доступных данных. Важно иметь руководство и опыт на вашей стороне в самом начале процесса, чтобы иметь четкую стратегию того, что делать с вашими новыми данными.

Разработайте и мобилизуйте свою программу обеспечения качества данных

Качество данных часто рассматривается как ИТ-проблема, но на самом деле это общая ответственность. Поощряйте владение данными, чтобы каждый отвечал за создание и хранение качественных данных. Чтобы обеспечить успех вашей программы управления данными, сделайте ее ясной и понятной для всех в компании.

Наконец, сделайте прозрачность данных ценным аспектом бизнеса. Остановите культуру конкуренции между отделами и подчеркните важность сотрудничества для роста бизнеса.

Управляйте своей новой культурой данных

Внедрение новой системы качества данных может занять некоторое время. Некоторые сотрудники могут вернуться к старым практикам или запутаться в том, что им следует делать.

Будьте готовы к этим недостаткам. Будьте гибкими в управлении данными в будущем, пока команда привыкает к вашему новому подходу к управлению данными.

Твоя очередь

Разрушение хранилищ данных должно быть частью полной программы управления данными. Когда у вас есть правила, регулирующие сбор, управление и хранение данных в вашей организации, вероятность разрозненности данных снижается.