Обработка и структуризация данных из сети

У нас есть опыт разработки решений, предназначенных для сбора, обработки и структуризации большого объёма данных данных, расположенных в открытом виде в сети Интернет.

Примеры, для чего может быть нужно получение данных:

  • Сбор спецификаций товаров для наполнения интернет-магазина
  • Сбор биржевых данных для последующего анализа рынка
  • Получения списка компаний с онлайн-карт
  • Получение ставок в реальном режиме времени для онлайн-аукционов
  • Поиск новых картинок для товаров
  • Получение списка отелей в заданном регионе
  • Получение цены и список продуктов на интернет-магазинах для анализа конкурентов
  • Получение данных о процессе онлайн-аукционов
  • Логирование данных чатов
  • Парсинг объявлений с ресурсов
  • ...

Структурирование и сохранение данных может производится:

  • В Excel файл
  • В облачный сервис (Например Amazon S3 для файлов)
  • В базу данных готового сайта
  • В базу данных с выводом в разработанную административную панель
  • В базу данных, для последующего получения данных через разработанное API с разных ресурсов
  • ...

Возможности

Решение разработанное на NodeJS, позволяет получать данные, где требуется постоянное подключение и идёт плотный и постоянный поток данных. Например, это онлайн-аукционы, чаты или онлайн-игры. Наши решения на NodeJS также могут выполнять различные действия, вплоть до эмуляции действий пользователя в онлайн-играх (например для нагрузочного тестирования) или для осуществления ставок в онлайн-аукционах.

Административная панель и статистика

Для просмотра и анализа данных может быть разработана административная панель где данные будут выводится в виде списков, графиков и т.д., с удобным поиском и подробной статистикой.

Поддержка

Мы можем полностью поддерживать разработанные нами решения, чтобы они работали с минимальным временем простоя. Для этого реализовываются различные оповещения, если сбор данных остановился по каким-то причинам (изменения кода, сбой на сервере) и оговариваются сроки реагирования, для исправления ситуации.

Опыт

В одном из решений, разработанном нами общие объёмы полученных данных составляют 40 млн записей, 300 млн изображений. В день обрабатывается 500 тысяч страниц, сохраняется 700 тысяч изображений.
Начните проект с нами!
Свяжитесь с нами, или отправьте заявку и получите бесплатную консультацию и оценку вашего проекта!
г. Минск,
ул. Притыцкого, 29 504