国外14亿泄露数据下载及还原 精选 原创 simeon2005 2018-06-25 21:06:20 博主文章分类:安全技术研究 ©著作权 文章标签 国外 泄露数据 下载 还原 文章分类 网络安全 ©著作权归作者所有:来自51CTO博客作者simeon2005的原创作品,谢绝转载,否则将追究法律责任 国外14亿泄露数据下载及还原simeon 2018年6月10日freebuf发布了篇文章《14亿邮箱泄露密码明文信息查询网站惊现网络》(链接地址:http://www.freebuf.com/news/174410.html),声称其泄露的数据可以通过暗网网站(http://dumpedlqezarfife.onion.lu/)进行查询,后续通过网络获取其泄露文件的下载地址,历经千辛万苦,终于将数据下载到本地,通过研究,将其txt文件进行还原处理,并对其进行无效数据处理,去除空密码等操作。1.1.1数据下载及分析1.数据下载地址(1)二进制未压缩41G磁力下载链接地址magnet:?xt=urn:btih:7ffbcd8cee06aba2ce6561688cf68ce2addca0a3&dn=BreachCompilation&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A80&tr=udp%3A%2F%2Ftracker.leechers-paradise.org%3A6969&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Fglotorrents.pw%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337(2)二进制压缩11G磁力下载链接地址magnet:?xt=urn:btih:09250e1953e5a7fefeaa6206e81d02e53b5b374a&dn=BreachCompilation.tar.bz2&tr=udp://tracker.leechers-paradise.org:6969/announce&tr=udp://tracker.opentrackr.org:1337/announce&tr=udp://tracker.pirateparty.gr:6969&tr=udp://tracker.coppersurfer.tk:6969/announce&tr=udp://tracker.zer0day.to:1337/announce2.数据库内容该集合数据库中包含从Bitcoin、Pastebin、LinkedIn、MySpace、Netflix、YouPorn、Last.FM、Zoosk、Badoo、RedBox以及游戏平台(Minecraft和Runescape等)泄漏的数据,以及Anti Public,Exploit.in泄漏的凭证列表1.1.2数据分析及处理1.对下载文件进行解压 对breachcompilation.txt.7z进行解压,解压后数据在data目录,它是按照字母进行排序的,在解压根目录存在一些脚本文件,如图1所示,原始文件解压后45G,后面我又对该文件进行压缩处理,节约空间。 图1解压文件2.使用cat生成文件 使用cat * >alla.txt类似命令,对每一个文件夹进行处理,然后生成多个txt文件。3.文件格式 通过notepad对该密码文件进行查看,发现数据为邮箱帐号及密码,使用“:”分隔数据字段。4.创建数据库及表(1)在mysql中创建数据库14yidata(2)创建数据库表alla表设置两个字段,email及password。1.1.3数据库导入处理1.将txt文件导入到数据库(1)对a开头的数据进行处理 通过cat对a文件夹进行处理,共生成alla.txt、alla-l.txt及alla-n.txt三个文件夹,其中alla-l.txt及alla-n.txt是因为在a文件夹下存在子文件夹l及n。(2)执行导入 在Navicat for MySQL中分别执行以下语句进行导入,如图2所示,导入成功后,会显示受影响的行,该数据表示导入了多少条数据。LOAD DATA LOCAL INFILE "d:/ok/alla.txt" INTO TABLE alla FIELDS TERMINATED BY ':';LOAD DATA LOCAL INFILE "d:/ok/alla-l.txt" INTO TABLE alla FIELDS TERMINATED BY ':';LOAD DATA LOCAL INFILE "d:/ok/alla-n.txt" INTO TABLE alla FIELDS TERMINATED BY ':'; 图2导入数据2.查询存在特殊字符邮箱数据并保存 在mysql中执行:select * from alla where email like '%;%' and password >''查询后,将查询结果保存为alla-ok.txt文件,如图3所示,使用notepad打开alla-ok.txt文件,在其中可以看到存在特殊字符,将空格替换为“:”。 图3处理特殊字符数据3.删除存在特殊字符“;”及有密码的数据执行语句:delete from alla where email like '%;%' and password >'',如图4所示,将alla表中存在“;”和密码的数据进行清洗,也即删除掉,前面已经保存了数据(alla-ok.txt)。 图4删除特殊字符数据 4.查询空密码在处理数据库中发现存在很多空密码,执行查询:select * from alla where password='',执行后,如图5所示,显示共有292672条数据。 图5查询空密码5.删除空密码由于空密码没有什么用处,是废弃数据,需要进行删除处理,执行语句:delete from alla where password='' ,如图6所示,删除292672条数据记录。 图6删除空密码数据6.查询特殊字段“;”密码并导出文件 在导入的数据库表alla中,存在一些特殊字符,其email名称跟密码通过“;”进行分割,如图7所示,执行查询select * from alla where email like '%;%',这些数据不便于查询,需要进行处理。 图7查询特殊字符“;” 存在的数据7.导出特殊字符“;” 存在的数据在Navicat for MySQL查询处理完毕后,如图8所示,单击导出向导,根据其提示进行即可,将存在特殊字符的数据记录全部导出道d:\ok\ok\1.txt文件。 图8将所有特殊字符数据记录导出到1.txt文件8.合并导出特殊字符和密码的字段表及后导出的密码表(1)替换字符 使用notepad打开1.txt文件,查找目标“;”,将其替换为“:”,如图9所示,选择全部替换即可。 图9替换特殊字符记录(2)合并数据 将alla-ok.txt中的数据复制到1.txt文件中。8.去除行尾空白字符 前面进行查询及处理的数据存在空白字符,需要通过UltraEdit编辑器对1.txt文件去除行尾空白字符,单击“格式”-“删除行尾空白字符”即可,如图10所示。 图10去除行尾空白字符9.重新导入特殊字符处理的表将处理后的数据文件1.txt导入数据库,执行语句:LOAD DATA LOCAL INFILE "D:/ok/ok/1.txt" INTO TABLE alla FIELDS TERMINATED BY ':';如图11所示,将存在问题的数据记录重新导入数据库中。 图11重新导入数据库中10.将前面所有查询处理保存 将alla处理结果表进行重命名,例如alla_ok,按照顺序,对前面的查询处理进行编号,对后续数据进行处理。直至将所有数据处理完毕,对所有文件处理完毕后,实际数据数为1387009672条。11.如果有兴趣可以利用14亿数据进行大数据学习 推荐一个对14亿数据的处理及分析站点:https://github.com/philipperemy/tensorflow-1.4-billion-password-analysis1.1.5总结及探讨1.文本文件导入数据库语句总结 很多时候泄露的数据为txt文件,需要对其进行处理,将txt文件中的数据导入数据库,方便进行查询等处理。(1)将文本文件导入mysql数据库LOAD DATA LOCAL INFILE "d:/ok/alla-n.txt" INTO TABLE alla FIELDS TERMINATED BY ':';(2)查询存在特殊字符及密码的数据,并保存select * from alla where email like '%;%' and password >''(3)对上面的数据进行替换处理空格替换成:(4)删除存在特殊字母“;”及有密码的数据delete from alla where email like '%;%' and password >''(5)查询空密码select * from alla where password=''(6)删除空密码delete from alla where password='' (7)查询特殊字段“;”密码并导出文件select * from alla where email like '%;%' (8)对导出文件进行替换处理“;”替换为“:”(9)合并导出特殊字符和密码的字段表及后导出的密码表(10)去除行尾空字段(11)重新导入特殊字符处理的表LOAD DATA LOCAL INFILE "D:/ok/ok/1.txt" INTO TABLE alla FIELDS TERMINATED BY ':';2.数据库去重处理 在本次处理中未对数据进行去重处理,由于数据量比较大,进行去重处理后,感兴趣的朋友可以将所有txt文件cat成一个文件,使用sort进行去重处理。其命令为:sort -u all.txt >allnew.txt3.在线查询互联网上有一些密码及邮箱在线查询网站:https://pwdquery.xyz/:输入邮箱,隐藏部分的泄露密码https://verify.4iq.com/:输入邮箱,自动将泄露密码发送到邮箱上https://haveibeenpwned.com/Passwords:输入密码,确认是否泄露参考文章:https://shui.azurewebsites.net/2017/12/31/breachcompilation-1-4-billion-password/ 对攻防技术感兴趣的朋友可以订阅本人撰写的付费专栏:sqlmap从入门到精通 赞 收藏 评论 分享 举报 上一篇:国外14亿泄露数据下载及还原 下一篇:一个过waf的研究牛人 提问和评论都可以,用心的回复会被更多人看到 评论 发布评论 全部评论 () 最热 最新 相关文章 MySQL及MySQL Workbench下载与安装 安装MySQLworkbench以及环境配置的详细教程 mysql MySQL MySQLworkbench 不再丢失数据!一文掌握etcd备份与还原技巧 在Kubernetes集群中,etcd是保存集群状态和配置信息的关键组件。定期备份etcd数据对于确保集群可靠性和恢复性至关重要。本教程将向您展示如何进行etcd备份和还原操作。etcd基本使用下面通过Kubernetes 练习环境Killercoda进行实操。使用github账号登录到Killercoda平台上,该平台目前使用的是最新版本的Kubernetes。该系统上也安装了etcd cli K8s CKA etcd备份还原 云原生 MySQL亿级数据高效插入策略与性能优化 MySQL作为广泛使用的开源关系型数据库管理系统,当面临亿级数据量的插入任务时,其性能表现往往受到严峻挑战。本文将探讨如何针对大规模数据插入场景进行性能优化,包括批量插入、索引策略、系统参数调整等多个方面,并辅以实例代码说明。1. 批量插入(Batch Insert)一次性插入单行数据相较于批量插入多行数据,后者能显著提升效率。MySQL服务器对于每一次INSERT请求都会产生一定的开销,包括事务 批量插入 数据 MySQL 国外14亿泄露数据下载及还原 国外14亿泄露数据下载及还原simeon 2018年6月10日freebuf发布了篇文章《14亿邮箱泄露密码明文信息查询网站惊现网络》(链接地址:http://www.freebuf.com/news/174410.html),声称其泄露的数据可以通过暗网网站(http://dumpedlqezarfife.onion.lu/)进行查询,后 国外 泄露 数据下载 还原 使用Python分析14亿条数据 Google Ngram viewer是一个有趣和有用的工具,它使用谷歌从书本中扫描来的海量的数据宝藏,绘制出单词使用量随时间的变化。举个例子,单词 Python (区分大小写) :这幅图来自:books.google.com/ngrams… ,描绘了单词 ‘Python’ 的使用量随时间的变化。它是由谷歌的n-gram 数据集驱动的,根据书本印刷的每一个年份,记录了一个特定单词或词组在 数据 Python 数据集 Google Android 14输入法信息泄露漏洞及影响 Google Android 14输入法信息泄露漏洞,由于侧通道信息泄露,有一种可能无需查询权限即可确定应用程序是否安装的方法。这可能会导致本地信息泄露,而无需额外的执行权限。利用该漏洞不需要用户交互。 输入法 android 开发者 Elasticsearch又泄露27亿数据,波及BAT等大厂 2019 年 12 月 12 日,又是让人无语的 Elasticsearch 服务器,不到两周时间,新一轮的数据泄露事件便再度发生!最近的一次 Elasticsearch 信息泄漏这次,... Elasticsearch 大数据技术 MySQL数据备份及还原(一) 1 mysqldump 备份mysqldump是MySQL数据库自带的逻辑备份工具,属于热备工具。它的备份结果是根据设置的参数将数据库中的信息通过生成创建库、表等对象以及对应表的insert语句组成。mysqldump 参数选项特别多,可以通过mysqldump --help 查看对应的参数及说明[root@testdb ~]# mysqldump --helpmysqldump Ver 10 java 黑客详解账号泄露:全球约1亿用户已泄露 黑客公布的用户账号约为 1 亿个用户账号及密码相关信息,预计地下黑客掌握了更多的互联网用户账号信息,本次泄露及公布的与实际被黑客掌握的用户账号数相比只是冰山一角,预计有将近 4 到 6 亿的用户账号信息在黑客地下领域流传(2011年互联网数据统计,中国互联网网民为4.8亿),这次被黑客公布爆库的网站数据信息只是黑客地下流传的极少一部分。12月28日消息,2011年 12 月 1 安全 IT 互联网 泄露 MySQL数据的备份还原及数据修复 在日常的生产环境中为什么要进行备份 备份可以使生产中的数据进行有效的灾难恢复:硬件故障、软件故障、自然灾害、误操作测试等数据丢失场景。备份注意要点能容忍最多丢失多少数据恢复数据需要在多长时间内完成需要恢复哪些数据还原要点做还原测试,用于测试备份的可用性还原演练备份类型完全备份、不分备份完全备份:整个数据集部分备份:只备份数据子集,如部分库或表增量备份、差异备份增量备 MySQL备份 MySQL还原 mysqldump xtrabackup mongodb数据备份还原及主从搭建 1. 数据导出 mongoexport命令: mongoexport -d database -c collection -o output_file参数说明: -d 指明使用的数据库 -c 指明要导出的表 -o 指明要导出的文件名导出csv格式: mongoexport -d database -c collection --csv -f uid,userna ci mongodb 增加节点 4.19 亿条 Facebook 用户账号及电话号码被泄露【智能快讯】 https://mp.weixin.qq.com/s/qc8ClcdbR9vrsWccphXvpQBy超神经AI无处不在的时代,每天都有新的技术与研究成果出现。无论学术界还是商界,技术还是产品,AI的新发现都源源不断,在带给我们全新视角的同时,也引起我们更深的思考。HyperAI超神经精心整理了AI行业的近期资讯,快来一起围观吧!企业4.19亿条Facebook用户账号及电话号码数据被泄露据外媒报 java fedora14 国内源及ISO下载地址 红帽支持cpu和内存的最新列表,可以参考一下!!http://www.redhat.com/rhel/compare/ http://mirrors.163.com/fedora各版本下载地址:http://mirrors.163.com/fedora/releases/http://mirrors.sohu.com/fedora各版本下载地址:h 职场 下载 地址 fedora 休闲 如何下载国外docker镜像? 简单 高效! Docker MySQL数据库备份及还原 转载自:https://www.cnblogs.com/opsprobe/p/11616562.html(1)备份所有的数据库 mysqldump -u username -ppassword --all-databases > bak.sql(2)备份指定的数据库db1、db2和db3mysqldump -u username -ppassword - MySQL 1.06亿条泰国游客的个人数据,发生泄露 安全研究人员发现网上暴露了一个不安全数据库,其中包含了数百万泰国游客的个人信息。 9月21日,据security affairs披露,网络安全研... 数据库 数据 html mysql数据库主从配置及还原 主数据库服务器的配置master51做主从配置要保持两个数据库中的库和表一致1做用户授权2启用binlog日志3查看正在使用的binlog日志文件1、mysql>grantreplicationslaveon.授权.(所有的库和表)->to->repluser@"%"可用%代表所有,也可指定具体ip地址->identifiedby"123456 mysql 数据库 主从设置 使用mysqldump备份数据及还原数据 数据备份:(使用shell脚本远程备份) #!/bin/bashDATE=`date +%Y%m%d_%H%M%S`BACKPATH1=/usr/local/backDatas/mysql_IP/mysqldump -hIP -uroot -pxxxxxxxx xhs>${BACKPATH1}xhs ... mysql sql bash 数据库备份 sql文件 mysql存储及查询亿级数据 mysql查询上亿数据 今天开发提出需求,让统计数据,一询问才得知表中的数据量已达亿级以上。具体的sql如下:SELECT id_province_code,gender,age,COUNT(1),SUM(zy_days),SUM(zf),SUM(ybnje) FROM medicare2017 WHERE zy_enter_date BETWEEN '2017- mysql存储及查询亿级数据 sql mysql 执行计划 14-闭包与内存泄露 闭包的好处:子函数可以使用父函数的局部变量 闭包还可以解决拿到一个li元素结合,做onclick事件时候,每次弹出索引,而不是一次弹出5 闭包 内存泄露