Distributed Blockchain Data Analysis

Этот проект демонстрирует подход к анализу блокчейн-транзакций с использованием распределённых технологий, таких как PySpark и HDFS. В центре внимания — rule-based (правило-ориентированный) метод выявления подозрительных адресов (AntiFraud) на основе набора эвристик.

🔧 Стек технологий

• Python — основной язык проекта
• PySpark — для распределённой обработки данных
• HDFS — для хранения данных в формате Parquet
• Apache Airflow — для организации DAG-пайплайна
• cryo — для загрузки блокчейн-данных с RPC узлов

📁 Структура проекта

.
├── block_analysis.ipynb         # Jupyter-ноутбук с анализом данных
└── get_ethereum_transaction.py  # DAG для Airflow

🚀 Как пользоваться

Анализ в Jupyter Notebook

1. Убедитесь, что у вас установлены:
   • Python 3.8+
   • Apache Spark (и PySpark)
   • HDFS (локально или подключён кластер)
2. Загрузите данные транзакций в HDFS (например, в формате Parquet).
3. Откройте block_analysis.ipynb и пошагово выполните ячейки.

DAG для Airflow

Файл get_ethereum_transaction.py можно разместить в папке DAG'ов вашего Airflow и использовать для регулярной загрузки транзакций из блокчейна Ethereum. В качестве источника используется утилита cryo, доступ к которой осуществляется через RPC.

📦 Зависимости

• pyspark
• apache-airflow (для запуска DAG)
• cryo (для скачивания Ethereum-данных)
• matplotlib для построения графиков

👨‍🔬 Кому может быть полезен проект

Этот проект будет полезен исследователям, дата-инженерам и блокчейн-аналитикам, заинтересованным в обработке и анализе больших объёмов данных из блокчейнов. Он показывает, как можно применять rule-based подходы к выявлению подозрительной активности, не прибегая к ML-моделям.

📎 Пример эвристик

Анализ включает такие правила, как:

• Частые транзакции между двумя адресами ("пинг-понг")
• Высокие комиссии
• Аномальное поведение во времени
• Всплески значений транзакций
• Слабая активность при большом количестве контрактных взаимодействий