Что такое dag файл в майнинге
Перейти к содержимому

Что такое dag файл в майнинге

  • автор:

«Поговорим за DAG» или «Когда моя видеокарта перестанет майнить Эфир?»

Простой арифметический расчет. Никакой магии. Проходите, садитесь, посчитаем вместе.

«Поговорим за DAG» или «Когда моя видеокарта перестанет майнить Эфир?». Фото.

Теория

DAG файл — блок данных, более 1 Гб в размере, используемый для нахождения решения блока в сети блокчейн на алгоритме Dagger Hashimoto (последняя версия алгоритма называется Ethash). Разумеется, основная монета Ethash — Эфириум (Ethereum), но помимо ETH есть также другие монеты на этом алгоритме: Ethereum Classic, Musicoin, Ubiq, Daxx, Whale, Pegas, Expanse, Dubaicoin, Soil и так далее. Если еще не читали, обязательно ознакомьтесь со статьей «Сложность и хешрейт сети Эфириум на пальцах». Именно DAG файл загружается в память видеокарт, когда запускается майнер. Рассмотрим на примере Claymore:

«Поговорим за DAG» или «Когда моя видеокарта перестанет майнить Эфир?». Теория. Фото.

Размер DAG файла со временем увеличивается. Происходит это через каждые 30 000 блоков и называется сменой эпох, т.е. каждой эпохе соответствует свой размер DAG. Где узнать текущий размер DAG? Мы рекомендуем этот сервис: https://investoon.com/tools/dag_size. Он показывает текущий размер DAG файла для основных валют на алгоритме Ethash, а также позволяет определить размер DAG файла по номеру блока. Повторимся, каждому блоку соответствует своя эпоха, а у каждой эпохи свой размер DAG.

Рассчет DAG файла идет по определенному алгоритму, можете посмотреть его здесь и проверить, что он работает (мы проверили). Кстати, все значения DAG давно рассчитаны и табулированы, можно брать значения DAG из этого массива.

Каждую эпоху DAG файл увеличивается на 8 МБ.

Время нахождения блока у каждой монеты разное: ETH — 30 секунд, ETC — 15 секунд, EXP — 90 секунд. Соответственно в сети Ethereum Classic 30 000 блоков пройдут в 6 раз быстрее, чем в сети Expanse. Именно поэтому на текущий момент у ETC уже 151 эпоха (DAG = 2.18 ГБ), а у EXP всего лишь эпоха 25 (DAG = 1.2 ГБ). Надо признать, что сравнение не очень честное, т.к. Экспанс появился чуть позже, чем Эфир.

Практика

Давайте рассмотрим блокчейн Ethereum.

    Время нахождения блока сейчас составляет 30 секунд.
    30 секунд × 30 000 блоков = 900 000 секунд должно пройти для смены эпохи
    (900 000 ÷ 60 ÷ 60 ÷ 24 = 10.4 дней)

На время написания статьи последний блок ETH — 4 322 994, идет эпоха 144 и размер DAG 2134 МБ.
На блоке 4 350 000 начнется эпоха 145 и размер DAG вырастет до 2142 МБ.
Это должно произойти через 27 000 блоков (грубо, 9 октября).

Когда видеокарты перестанут майнить Эфир?

Все зависит от размера памяти видеокарты.

Видеокарты с памятью 2 ГБ перестали работать в сети Эфириум в ноябре-декабре 2016. Умирание плавно происходило после эпохи 93 с размером DAG 1.73 ГБ. Дело в том, что часть памяти используется под буфер и невозможно использовать все 100% карты под DAG. Проверить это легко. Ниже данные загрузки памяти майнером Claymore на видеокарте ноутбука, эпоха 144:

«Поговорим за DAG» или «Когда моя видеокарта перестанет майнить Эфир?». Когда видеокарты перестанут майнить Эфир? Фото.

Сейчас карта использует 2.3 ГБ, т.е. почти на 200 МБ больше, чем размер DAG (2.13 ГБ). Кстати, если к видеокарте подключен монитор, то на него расходуется еще 150-200 МБ места.

Если предположить, что время нахождения блока ETH скоро станет 14 секунд и не будет изменяться, то получается, что видеокарты с 3 ГБ памяти начнут отмирать, примерно, через 400 дней, в конце 2018 года. Расчет простой, можете проверить сами:

  1. До полного заполнения карты остается, грубо, 650 МБ.
  2. 650 МБ ÷ 8 МБ (рост DAG с одной эпохой) = 81 эпоха
  3. Каждая эпоха 14 × 30000 ÷ 60 ÷ 60 ÷ 24 = 4.86 дней
  4. 81 (эпох осталось) × 4.86 (дней на эпоху) = 394 дня

Картам с 4 ГБ памяти отведено намного больше, почти 3 года, их владельцам точно пока не о чем беспокоиться, технология блокчейн развивается так стремительно, что к этому времени все может уже 10 раз поменяться.

Обратите внимание! Не стоит отчаиваться, если ваша видеокарта не может майнить Ethereum или Ethereum Classic из-за малого размера памяти. Многие монеты на алгоритме Ethash до сих пор прекрасно работают с 2 ГБ видеокартами, потому что эпоха еще небольшая: Ubiq — эпоха 8, Expanse — эпоха 25, Musicoin — эпоха 37. DAG файл этих монет на данный момент чуть больше 1 ГБ. Более того, майнинг этих монет зачастую может быть выгоднее майнинга Эфира, см. Whattomine.

Напишите нам в чат, если у вас остались вопросы.

В выходные как всегда будем вас развлекать на нашем канале в Telegram.

Монеты на алгоритме Ethash

Особенности и требования для майнинга на алгоритме Ethash

Ethash — тяжеловесный proof-of-work алгоритм, на котором работают самые популярные криптовалюты. К ним относится Ethereum. Также на нём работают MOAC, Expanse, Pirl и другие монеты. Особенностью алгоритма является использование DAG-файла, который загружается в память видеокарт при запуске майнеров. Каждые 30 тысяч блоков происходит смена эпох и соответствующий рост DAG-файла на 8 мегабайтов.

Криптовалюты на Ethash майнят с использованием зеленых (NVIDIA) и красных (AMD) видеокарт, а также с помощью ASIC-майнеров. Для майнинга Ethereum уже недостаточно видеокарт с памятью 3GB, так как такие видеокарты не могут загрузить DAG-файл такого большого размера. Для майнинга ETH необходимы видеокарты с 4GB памяти и более.

Обратите внимание на то, в сети Ethereum каждый блок обычно содержит много транзакций, которые “стоят” дорого. На правильных пулах майнеры получают не только вознаграждение за нахождение блока, но и комиссию за транзакции, которые этот блок содержит. 2CryptoCalc производит расчет доходности майнинга с учетом этой комиссии.

По умолчанию доход майнинга рассчитан для 300 карт Nvidia 3070 с общим хешрейтом: 18300 Mh/s на Ethash

Текущая эпоха Эфириума и размер ДАГ-файла Ethereum сегодня

Подготовка к майнингу и покупка оборудования — процесс, требующий много времени и внимания. Популярным способом добычи цифровых активов считаются фермы из видеокарт. На них можно добывать Эфир и другие альткоины. Перед покупкой оборудования инвесторы интересуются сложностью и хешрейтом сети, но многие не учитывают такой фактор, как размер ДАГ файла Ethereum.

В статье раскрываются подробности о том, что такое DAG файл, его размере, на что он влияет. Также объясняется, какая сейчас эпоха Эфириума.

ETH DAG epoch — что такое ДАГ файл Эфира

DAG (Directed Acyclic Graph) file Ethereum загружается в память графического процессора, когда запускается добыча монеты. Его суть и объяснение связано с текущим алгоритмом консенсуса PoW (Proof-of-Work) — Ethash, который лежит в основе обработки транзакций и добавления новых блоков в сеть.

Разработчики ETH решили обезопасить криптовалюту от АСИКов и реализовали набор данных большого размера, который загружается в память устройств. Но в 2018 году появился Antminer E3, который отлично справляется с майнингом эфира. Однако, мощное оборудование не повлияло на алгоритм работы сети. Он устроен так, что каждые 3 000 новых блоков проходит очередная эпоха Эфира (ETH) — epoch, и текущий размер файла ETH увеличивается на 8 Мб.

Текущая эпоха Эфириума и размер ДАГ-файла Ethereum сегодня

В среднем, одна Ethereum эпоха длится от 4 до 5 дней, затем происходит смена эпохи Эфириум. DAG влияет на майнинг и выбор оборудования. Любое устройство должно иметь достаточный запас памяти для хранения файла, хотя это не влияет на хешрейт. Уже нельзя добывать эфир на картах с размером памяти 2 Гб, 3 и 4 Гб.

DAG файл Ethereum — размер сегодня, где хранится и как удалить

На 31 марта 2022 года размер DAG file составляет 4.773 GB. Посмотреть актуальные данные можно на сервисе, который обновляется в режиме онлайн: minerstat.com/dag-size-calculator?lang=ru. Там также можно узнать, когда размер достигнет значения в 5, 6,7 Гб и далее, чтобы можно было делать прогнозы относительно того, когда оборудование для майнинга устареет.

На сервисе также отображается другая информация об Ethereum: какая сейчас эпоха, высота блока, примерное время блока ETH. Какая эпоха сейчас Эфириума? По данным сайта на 31 марта 2022 года — 483.

А 377 эпоха ETH была 29 ноября 2020 года, тогда размер ДАГ файла составлял 3,7 ГБ и еще можно было использовать 4-гиговые видеокарты. 384 эпоха Эфириума была 31 декабря 2020 года. Тогда размер ДАГ файла составлял ровно 4 Гб. С этого момента майнинг на старых видеокартах с небольшим объемом памяти стал невозможен.

Майнер эфира в любом случае использует ДАГ файл, даже не осознавая этого. После запуска добычи монет он автоматически загружается в оперативную память видеокарты. Чтобы проверить размер файла, необходимо воспользоваться дополнительной программой GPU-Z, где отображаются реальная информация о работе оборудования. Ее необходимо запустить во время работы майнера и тогда в строке Memory Usage появится полный размер DAG file одной или нескольких видеокарт. При майнинге эфира пользователи часто сталкиваются с проблемой загрузки ДАГ, что не позволяет запустить оборудование должным образом. Для решения проблемы можно сделать следующее:

1. Снизить нагрузку памяти со 100% до 95%, открыв тот самый файл и указав нужный параметр в первых строчках. Дописывать ничего не нужно, только изменить цифры, установленные системой по умолчанию. Если проблема решена, дополнительных действий не требуется.

2. Удалить DAG и скачать его повторно. Дело в том, что после повторного запуска начнется скачивание обновленной версии файла для майнинга эфира. Процесс занимает прилично времени, поэтому придется подождать.

Примечание: В большинстве случаев DAG расположен по директории C:/Users/Имя_ПК/AppData/Local/Ethash. В противном случае воспользуйтесь поиском по слову «Ethash» и найдите нужную папку.

Проблема удаления заключается в том, что файл или папка могут быть скрытыми от системы. Для решения воспользуйтесь пошаговой инструкцией:

  • зайти в раздел «Мой компьютер»;
  • открыть в проводнике вкладку «Вид» и зайти в раздел параметров;
  • в открывшемся окне выбрать «Вид»;
  • в списке дополнительных параметров снять галочку с пункта «Скрывать защищенные системой файлы» и нажать «Применить».

После выполнения инструкции все папки станут доступными для отображения и поиска, поэтому можно переходить к изменению DAG.

Размер ДАГ файла Ethereum

Размер DAG file динамический и постоянно увеличивается. Как уже упоминалось выше, каждые 4-5 дней он увеличивается на 8 МБ. Для определения размера DAG используют следующее:

  • программу GPU-Z в момент майнинга, что позволяет отследить фактический размер памяти оборудования и объем файла;
  • можно найти искомый документ на компьютере и узнать его параметры;
  • обратиться за помощью на ресурсы investoon.com/tools/dag_size или minerstat.com/dag-size-calculator?lang=ru, где информация обновляется в режиме реального времени.
Важно: Способ с сайтом считается наиболее удобным из-за частоты обновлений, привязке к реальному времени, а также калькулятору размера DAG. Достаточно ввести нужный блок и узнать, каким будет объем спустя n-количество времени, какая сейчас эпоха Эфириума и т. д.

По таблице ниже видно, как менялся DAG file последние годы и чего ждать в будущем:

Размер DAG

Эпоха

Блок

День

1,99 Гб

127

3,839,999

9 сентября 2017

2,99 Гб

256

7,679,999

2 мая 2019

3,99 Гб

383

11,519,999

22 декабря 2020

5,99 Гб

639

29,199,999

6 апреля 2024

7,99 Гб

895

26,879,999

21 июля 2027

10,99 Гб

1280

38,399,999

26 июля 2032

Если алгоритм PoW не будет изменен на PoS до 100 миллионного блока, тогда размер DAG будет равняться 27,04 Гб во время 3333 эпохи.

Размер даг файла Ethereum и особенности подбора видеокарты для майнинга

Выбирая видеокарту следует обращать внимание не только на сложность сети и хешрейт, но и объем ДАГ файла. Дело в том, что покупать сейчас карту с оперативной памятью до 4 Гб уже нет смысла, ведь она непригодна для добычи эфира. Используя параметры из вышеприведенной таблицы основных изменений DAG, следует рассчитывать прибыльность и окупаемость майнинга.

Хотя объем памяти видеокарты не влияет на хешрейт напрямую, он должен быть минимум на 300-500 Мб больше, чем размер DAG file. Чем больше разрыв между параметрами оборудования и файла, тем лучше. Когда объем DAG приближается к показателям оборудования, хешрейт постепенно падает. Наибольшим спросом для майнинга эфира будут пользоваться карты с объемом памяти от 6 Гб, поскольку их должно хватить до 2024 года.

Владельцы карт с 3 и 4 Гб ОЗУ не должны расстраиваться, ведь подобные карты можно использовать для добычи других монет с алгоритмом Ethash.

Несмотря на недостатки, связанные с устареванием оборудования для майнинга, технология использования DAG files имеет целый ряд преимуществ:

  • Скорость формирования и добавления новых блоков в сеть.
  • Надежность и защищенность блокчейна.
  • Сложность майнинга — в отличие от других популярных монет, добыча на GPU остается прибыльной.

Неоспоримым плюсом является постоянное увеличение размера файла. Из-за этого со временем будут «отпадать» как видеокарты, так и специализированные ASIC майнеры.

Заключение

В заключение можно сказать, что при выборе оборудования и расчете прибыльности добычи Ethereum обязательно необходимо учитывать динамику изменения DAG. В противном случае можно собрать фермы, которые в скором времени станут непригодными для майнинга эфира.

DAG файл: создание и работа с ним

Для подготовки витрин данных SDP Analytics используется ETL оркестратор Airflow. Основным инструментом Airflow являются DAG файлы, расшифровывается как Directed Acyclic Graph — направленный ациклический граф.

По сути своей DAG является инструкцией с описанием последовательности операций над данными для Airflow. DAG пишется пользователем на Python в удобной для него IDE среде разработки.

Обычно DAG состоит из нескольких частей, рассмотрим их на примере простого DAGа по созданию таблицы.

  1. Импортируем необходимые библиотеки и инструменты для подключения к БД
from airflow import DAG from datetime import datetime from airflow.operators.python import PythonOperator from airflow.providers.postgres.operators.postgres import PostgresOperator from airflow.hooks.postgres_hook import PostgresHook 
  1. Задаем параметры запуска DAG’а подробнее
with DAG(  dag_id = "bootcamp4",  start_date = datetime.now(),  schedule_interval = None,  catchup = False,  tags = ['bootcamp'] ) as dag: 
  1. Определяем параметры для подключения к БД, id конекта задается в подключениях Airflow
 src = PostgresHook(postgres_conn_id='admin_instance')  src_conn = src.get_conn() 
  1. Далее идут блоки задач которые должен выполнять DAG
#Удалить таблицу таблицы  delete_table = PostgresOperator(  task_id ="delete_table",  postgres_conn_id = "admin_instance",  sql = """  DROP TABLE superset1_adb.test_b1  """ )  #Создаем таблицу в БД Analytics  create_new_table_1 = PostgresOperator(  task_id = "create_new_table_1",  trigger_rule = 'one_failed',  postgres_conn_id = "admin_instance",  sql = """  CREATE TABLE IF NOT EXISTS superset1_adb.test_b1 (  code int8 NULL  );  """ ) 
  1. Задаем последовательность выполнения операторов в DAG’е,
delete_table >> create_new_table_1 

После того как DAG написан его необходимо загрузить в систему. Для этого необходимо авторизоваться на портале и пройти по ссылке в SDP Analytics. Далее открыть доступные области Airflow и у области куда необходимо добавить DAG нажать Список DAGs.

В открывшимся окне мы увидим список всех DAG файлов этой рабочей области, для добавление нового необходимо нажать кнопку Добавить сверху справа, перетащить файл в открывшуюся область и сохранить.

Изменение уже загруженного DAG файл происходит путем перезаписи текущего.

После загрузки DAGа он появляется в списке в Airflow, с наименованием, указанным в поле dag_id, в нашем примере это «bootcamp4»

При заходе в Airflow мы попадаем на стартовую страницу DAGs, на ней мы видим список всех загруженных сценариев, в том числе и наш и краткую информацию по ним.

Для запуска DAGа используется кнопка

колонки с действиями. На этом создание и запуск DAGа заканчивается.

Однако основная функция Airflow заключается не только в запуске, но и в мониторинге и управление работой DAGов, рассмотрим предназначенные для этого инструменты.

После того как сценарий запущен мы можем увидеть краткую статистику его работы, если пройти по имени DAGа, то можно получить доступ к более развернутой информации.

Каждая вкладка информационного окна DAGа позволяет посмотреть различные статистики и данные, их более подробное описание находится отдельно.

Через меню Browse — Dag Runs мы можем ознакомится с уже отработавшими сценариями.

Здесь мы видим результат запуска отдельных экземпляров DAG запущенных в конкретное время. По полю Dag Id мы можем перейти к DAG, по полю Run Id к конкретному экземпляру задачи для данного DAG. С помощью меню Actions можно массово изменить статус запуска DAG.

Для мониторинга выполнения большого количества заданий в разных DAG существует интерфейс Browse – Task Instance.

В нем представлен список задач из всех отработавших DAG с информацией по ним (подробнее).

ПАО Сбербанк использует cookie для персонализации сервисов и удобства пользователей.
Вы можете запретить сохранение cookie в настройках своего браузера.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *