Начиная с 6 июня, на части DNS, обслуживающих российские доменные зоны, разрешен трансфер (AXFR), который позволяет получить полный список доменных имен зон .ru, .su, .tatar, .рф и .дети.
AXFR-запрос доступен на следующих серверах:
a.dns.ripn.net
b.dns.ripn.net
d.dns.ripn.net
Чтобы получить все домены зоны, можно воспользоваться утилитой dig из состава BIND:
$ dig axfr su. @a.dns.ripn.net ; <<>> DiG 9.10.4-P8-RedHat-9.10.4-5.P8.fc25 <<>> axfr su. @a.dns.ripn.net ;; global options: +cmd SU. 345600 IN SOA a.dns.ripn.net. hostmaster.ripn.net. 650170097 86400 14400 2592000 3600 SU. 345600 IN RRSIG SOA 8 1 345600 20170728095315 20170618085528 12810 su. AMqjxdOOp9rIVMk9gvH6TiXEB8FAWZn0xbqxxYxsQMYrqCUE49AXSUQ1 nESJ//bPE8g7mNa/KCqrt21icAOG6+gzwes+TZ2nu62dwbwH3IeEoxry GZ+uEIGlQfjPC6AxRuPELnaKRpLUy+Ir28ScJDLjIBewVs3J7zAHXw/K bYU= SU. 345600 IN NS a.dns.ripn.net. SU. 345600 IN NS b.dns.ripn.net. SU. 345600 IN NS d.dns.ripn.net. SU. 345600 IN NS e.dns.ripn.net. SU. 345600 IN NS f.dns.ripn.net. … 0--0.SU. 345600 IN NS ns1.shop.reg.ru. 0--0.SU. 345600 IN NS ns2.shop.reg.ru. 0--GDE-KUPIT-DOMEN-DESHEVO--RU--SU--COM--NET--ORG--INFO--ME--TV.SU. 345600 IN NS ns1.hostmonster.com. 0--GDE-KUPIT-DOMEN-DESHEVO--RU--SU--COM--NET--ORG--INFO--ME--TV.SU. 345600 IN NS ns2.hostmonster.com. 0-0.SU. 345600 IN NS dns1.yandex.net. 0-0.SU. 345600 IN NS dns2.yandex.net. 0-0-0.SU. 345600 IN NS ns1.shop.reg.ru. 0-0-0.SU. 345600 IN NS ns2.shop.reg.ru. 0-1.SU. 345600 IN NS dns1.elasticweb.org. 0-1.SU. 345600 IN NS dns2.elasticweb.org. 0-3.SU. 345600 IN NS ns1.timeweb.ru. 0-3.SU. 345600 IN NS ns2.timeweb.ru. 0-4.SU. 345600 IN NS ns.hostland.ru. 0-4.SU. 345600 IN NS ns3.hostland.ru. …
Дампы зон, сжатые xz, можно скачать через Bittorrent и I2P Bittorrent, torrent-файлом или по следующей Magnet-ссылке:
magnet:?xt=urn:btih:3457106ce62b2707639978d802e20567e278aa39&dn=Russian%20domain%20zones&tr=udp%3a%2f%2ftracker.leechers-paradise.org%3a6969&tr=udp%3a%2f%2ftracker.coppersurfer.tk%3a6969%2fannounce&tr=udp%3a%2f%2fp4p.arenabg.com%3a1337%2fannounce&tr=udp%3a%2f%2ftracker.zer0day.to%3a1337%2fannounce
Не обязательно их распаковывать, можно работать с ними в сжатом виде. Используйте xzcat вместо cat, xzdiff вместо diff, xzgrep вместо grep, xzless вместо less.
Статистика по доменам с открытым доступом, обновляется каждую ночь:
firststat.ru
https://habrahabr.ru/post/301894/
https://github.com/AlexeyManikin/domain_statistic
Заодно сюда и доступ к БД:
PhpMyAdmin: pma.amanikin.ru
mysqlUser: readonly
mysqlPasswd: readonly