你处理过的最大的数据量是多少？你是如何处理的？ _数据量

从事程序员工作以来，历时三年，呆过两个公司，前一个公司处于传统国企制造型企业互联网化的进程中，后者处于互联网公司成熟发展期，作为新业务型的研发人员，或多或少都经历了一些数据量，在制造型企业处理过的最多量级的数据应该是用户的注册登录信息，在之后的互联网企业处理过最多量级的数据应该是浏览日志的实时统计监控。下面就简单说说这两个业务场景以及对应的处理方式和数据量级。

文章插图

在传统的制造型企业，我们团队负责公司对外业务的统一注册和认证，所有对外应用、网站提供的注册、登录信息都需要调用我们团队的相关接口完全相关流程，注册的用户信息也以我们团队的用户数据为准，统一注册和认证服务上线运行近两年的时间里，至我离职时，注册用户200万，登录均耗时40ms，获取账户信息均耗时10ms 。处理方式也简单，就是应用普遍采用的mysql+redis，账户相关的认证信息都普遍走分布式缓存，mysql是主从结构，redis采用集群模式+哨兵集群的处理方式。整个应用是最初的架构是spring mvc+dubbo的分布式架构，对外提供restful风格的接口服务，之后版本升级为spring boot+eureka+consul的微服务架构，对外兼容提供restful风格的接口之外，还提供基于Oauth2.0的第三方登录服务，包括QQ、微信、百度等第三方应用。数据处理的量级按照数据库来说应该是百万级，或许不太准备，对这个量级的概念理解不深，对这方面有深入研究的同学可以留言科普哈。

文章插图

在现在的互联网企业，处理数据量级最多的应该是我目前所做的流量实时监控，今天才压测完，记忆还比较清晰，采用的处理方式是kafka+storm+redis，处理的量级是1.2亿/10分钟，启用了10台服务器+4核CPU+2G内存+64G磁盘部署的storm集群，64个线程跑storm拓扑，统计分析的结果保存在redis，通过其他方式进行实时展示。

文章插图

数据是有价值的，数据的价值在于我们的应用，当看到我们自己开发的项目，可以实时处理亿级的数据，真心感觉收获满满。虽然过程经历很多坑，但是只要出结果，再多的辛苦、努力都感觉值得，做自己喜欢的事情，再累都有劲儿。

文章插图

作者：夕阳雨晴，欢迎关注我的头条号：偶尔美文，主流Java，为你讲述不一样的码农生活。

其他网友观点

我是在IT上班的，目前每天大概要处理2TB以上的数据，大概10多亿条，基本上使用Hadoop+Hive+Spark进行处理。

这些数据是从FTP下载的，采集协议和处理过程自己写，基本上每一条数据都会过一到两遍才入库。

其他网友观点

我们日常工作中，经常要使用excel做复杂的数据运算，有时候甚至要处理几亿，几十亿，乃至几百亿的数据量。这时候如果你再用excel去做，电脑就会卡顿到你怀疑人生，因此数据库的重要性便显而易见。

众所周知，在mysql中，每个数据库最多可创建20亿个表，一个表允许定义1024列，每行的最大长度为8092字节（不包括文本和图像类型的长度）。所以，一般我们用中小型数据库MySQL，处理数据就完全够用。

不过，我们大部分人都是普通的业务人员，对数据库这些IT知识，可以说是一窍不通，事情也就变得棘手起来了。

不过，别担心，有一款软件可以完美解决这个问题，我现在就在用着它。

文末有软件免费获取方式

这款软件叫云表企业应用平台（以下简称云表），它是国内最早的无代码开发平台，创立至今，已有10余年历史。

文章插图

中铁16局

像华为、中冶、中铁、南方物流、许继电气、恒逸石化、北控水务等20万+企事业单位或机构，都在使用它。

文章插图

其内嵌了MySQL数据库，并在不断地升级和优化中，当然你也可以根据文档步骤，将数据库换成sql server、Oracle等。

除了可以用来处理数据透视、数据分析等复杂的数据运算，它还能用来做更多事情。

兼容excel功能，但功能更为强大

文章插图

比如权限设置，流程审批，多人协同，工作流，闹钟提醒，消息推送，自定义报表模板打印，蓝牙打印，H5页面生成，网站，外接数据源，小程序，微商城，项目预警，工程日志计划，与电子秤、地磅、SAP、浪潮、金蝶、用友、企业微信、钉钉、高拍仪、PDA等外部系统进行集成封装.......PC端弄好了，自动生成移动端app 。

0基础，画表格，开发软件

通过云表平台，即使你是0基础的IT小白，也可以在和excel很像的界面，拖拉拽，以画表格的形式，搭建出个性化的管理软件。