Bigdata проанализировать большой объем данных и найти схожие записи

Цена договорная
16 мая 2024, 18:53 • 11 откликов • 63 просмотра
Есть большой объем данных
~170 млн записей

Данные можно получить в двух вариантах

Либо одним большим .csv файлом на 15гб
Либо те же самые данные, но разбитые на более маленькие .csv файлы (~1000 файлов всего )


Условно говоря каждая запись или строка - это некая финансовая транзакция, у нее есть 11 параметров (адрес отправителя, получателя, время, cсумма, валюта и тп)

Нужно эти данные проанализировать и выявить схожие паттерны,

Чтобы понять какие из транзакций используют похожие алгоритмы, а значит совершены предположительно одной и той же группой лиц, например похожи суммы, время отправки, валюты и тп


Бюджет 3-5к если больше хотите - говорите
Напишите пожалуйста про опыт с такими вещами
И если дочитали до конца напишите слово "паттерн" чтобы понять что не автооткик
И напишите пожалуйста есть ли основная работа чтобы загруженность понимать