我一定会 MySQL 分片
发布时间:2024-11-10
我们能可避免移位吗?
过去是 2022 年 5 年初,1 TB 的线程是实际上的,但远颇为态。最大的巴塔哥尼亚虹生物科技 RDS 实例类改进型是 db.x1e.32xlarge,具备 3904 GB 线程,仅仅 4 TB。这最让人印象深刻,但是我不希望这样:我希望它是 2022 年的原则。
如果 TB 级的线程是常态,那么单个 MySQL 实例就有望很难处理几十 TB 的统计数据。我之所以突显“似乎”,是因为尽管线程在可避免移位时起着至关不可忽视的作用,但它未必是唯一的诱因。有时候,为了扩展到寄给种系统结构设计,无需完成移位。在这种情况下,打印 I/O 和延迟就成了过分不可或缺的诱因。一些插到 PCIe 插槽的 NVMe 种系统具备最让人惊奇的可靠性,但就像 TB 级的线程一样,它们远颇为态。即使线程和打印 I/O 妥善解决了弊端,那么互联网打印速度呢?以 10Gbps 的速度打印 10TB 无需将近 2 星期。有过分较易的网速,但它们过去也还不是常态。
不要忘记方式为在搬迁(OSC)和其他统计数据种系统结构设计。迄今,MySQL 只有两个 OSC 用以:pt-online-schema-change 和 gh-ost。这两者都可以处理 TB 级的统计数据,但都不亦会似乎地最优化速度或并行性,所以 TB 级的统计数据无需花上很多星期才能扭转。
我并不认为,迄今应用于 MySQL(或其他类似于的间的关系改进型统计数据库种系统)是不似乎可避免移位的,情况是统计数据的缩减速度并未远远最少了 MySQL 的嵌入式和用以。在即使如此的 20 年里,MySQL 好好了很好的文书工作,但我并不认为,由于少见可用的(和可负担得起的)嵌入式和用以,它并未接近了一个软临界点。过去,我希望这个软临界点是 10TB 的统计数据——具备有利的(即轻量级)出访方式为在,较小的文书工作集一般来说,以及相对牢固的方式为在(或一个似乎有诚恳的制作团队 / Corporation)。
统计数据缩减与虹算出
统计数据量不断缩减。即使不在电子技术信息技术内,人们也希望到数年前的电子元件很难打印 5GB 的统计数据,而过去可以打印 256GB。iPod 就是一个与此涉及:人们意识到“我可以打印过分多的统计数据”。(这个与此涉及很立刻,因为苹果Corporation的 iPod 在 20 年才停产)。让我们难免假定这种或多或少的趋势是合理的,而不是由于统计数据加速或浪费。(我自已觉得,我们对统计数据的浪费是颇为过分为严重的,这就是为什么我在《高效 MySQL 可靠性》的第三章和第四章之中详细阐述了这个弊端)。
自从算出机显现以来,嵌入式的MB就在短短时间内缩减(而开发成本在减少),这在电子技术信息技术也是广为人知的。因此,它跟上了统计数据缩减的步伐,以至于不无需扭转假定:只要继续转售过分大的嵌入式(因为它变得过分低廉),弊端就妥善解决了。这就是旧的假定:扩展到你并未以外的嵌入式需求量。我只是泛泛而谈,心里有一些或多或少。
但近年来,有四件事暴发了叠加:
1.嵌入式MB的缩减略微平稳。
2.统计数据的缩减显看似缩减。
3.虹变得少见。
4.发明了选曲。
第 1 点希望到得很谨慎,因为嵌入式MB确有疑问一直在缩减;第 2 点才是掩盖了第 1 点的主要叠加,并使之简单化。统计数据缩减很较易,因为导致统计数据很较易。在市场上开发和首创嵌入式要困难得多(而且缓极快),因为大的叠加无需其他另行的嵌入式(例如从 SATA 到 PCIe)、另行的软件包和驱动程序,以及很难充分发挥前面希望到明的另行应用。
统计数据飞速缩减,嵌入式也在努力追逐,虹(第 3 点)在 2006 年巴塔哥尼亚 EC2 推出时悄无声息地显现。但是,虹其实不过是另一个你承租而不是以外的链接。这假定,巴塔哥尼亚虹生物科技(和其他虹厂商)在幕后所应用于的嵌入式和你似乎原本计划转售的一样。(这才亦会是实际情况了,有些虹厂商定制了他们自己的嵌入式)。
但虹还是很感兴趣的,因为它备有了一个直观层,背后了增购和管理嵌入式的简单性。人们平常应用于“弹性”这个词:子虹的算出人力资源具备弹性。这假定你很难持续地将过分多的统计数据打印到虹端之中,而无需过多关注其行驶方式为。
从这个角度来希望到,虹是一个重大的过渡到,因为在虹之外,似乎的挑战不在于“我可以买了一个必要大的硬碟吗?”(你可以),而在于“我可以以多快的速度增购和配置嵌入式,以及它可以持续多彦?”Corporation不似乎(也不亦会)每年不顾一切地购置另行嵌入式。
忽略,他们亦会计划、预算、转售、等待、交还、“上架”,最后(有时是几个年初后)让另行嵌入式上线。鉴于这种努力,Corporation建议嵌入式文书工作多年以彻底收回入股。这就是Corporation难以与性缩减的统计数据始终保持同步的情况。但是,虹扭转了这一点。它直观化了增购和管理嵌入式的简单性:你只要按需承租你所需的任何东西就可以了。
虹对于扭转这种假定来希望到是必要条件,但还未必够。你可以备有所有你希望要的人力资源,但是如果你这么好好了,你又亦会遇到另外一个弊端:如何饲养这些传希望到之中的猫?这句话的意思是:你可以备有一自已力资源炮兵部队,但你如何控制并管理它?
在 2013 年和 2014 年,Docker 和 Kubernetes 相继投入市场。这些都是罐化的电子技术(以及衔接到微咨询服务),但它们都是使选曲大需求量的虹人力资源炮兵部队变得合理的最终未必无需。所以,我们过去很难用编程方式为(而且想像中较易)来备有并选曲仅仅无限的虹人力资源,并以“弹性”方式为(不一定是创建人和销毁并重另行创建人人力资源)。
过去假定并未扭转了,因为在子虹,其实不亦会任何限制;这只是一个你能负担得起的弊端。粗略地地希望到,另行的假定是:“只要在子虹扩展到需求量”。(其之中“只要”一词假定,深受制于选曲用以,这应该是很较易的,但“较易”这个词显然是高度相对的。)
另行假定之中的 MySQL
回到 MySQL,围绕它的假定并未暴发了扭转。
一上都,我们有像 MySQL 这样的间的关系改进型统计数据库种系统,这些统计数据库种系统是在假定扭转之前很彦就创建人了——在此之前的假定仍然是“扩大需求量”:转售过分大、过分较易的嵌入式。我并不认为对于 2000 年直至出生的工程公司来希望到,了解这段上曾很不可忽视。
MySQL、Postgres 和类似于的厂商是在虹或 Kubernetes 之前很彦就投入市场了。在那时,无论你希望要多少人力资源,“启动”的希望法根本不似乎。标准是扩大你并未以外的人力资源,因为Corporation不主动也不喜欢转售另行嵌入式。这就是为什么 MySQL 在扩展到上都颇为出色,但却不亦会原生外侧扩展到的部分情况(为什么无需移位)。
另一上都,现代软件开发准备转向另行假定,在另行假定仅仅不亦会人力资源限制:只要为你希望要的一般来说 / 需求量配置 Kubernetes(或任何选曲用以),它(不一定)就亦会备有任何无需的东西。(希望到“不一定”是因为,如果你不希望到,虹有时确实亦会暂时消耗掉人力资源)。
特罗斯季亚涅齐的是,微软希望他们的统计数据库种系统也可以好好到这一点,但发现他们无法应用于 MySQL、Postgres 和其他类似于的统计数据库种系统。这可如何是好?
NewSQL 与创另行者的困境
我们越来越多地见到 NewSQL 统计数据打印,它将统计数据库种系统的算出层和打印层分开,这样就可以通过选曲在子虹完成外侧扩展到。深受制于假定的叠加,这样好好是有普遍性的;深受制于嵌入式和用以不亦会始终保持在统计数据缩减双曲线的前面,这也是有普遍性的。
例如,如果有嵌入式和用以可以有趣处理单个 100TB 的 MySQL 实例,那么 NewSQL 很似乎就不亦会有市场。但迄今情况并非如此。因此,为了使 MySQL 超过一定需求量,微软才亦会实行和保证应用级移位,或者转向 NewSQL。
虽然移位并未被确实是有种系统的(关于 MySQL 移位并未有了很多知识和成功与此涉及),但这仍然是一项非开发任务,微软平常希望到我他们不希望好好。
我不亦会责怪他们:他们被雇来开发客户端的功能性——而我被雇来为他们扩展到统计数据库种系统。(当然,我希望他们不要再继续这么浪费统计数据了,不过我要这么希望到就是跑题了。)
我并不认为我们准备见证“创另行者的困境”。单一实例上的 SQL 是现职者:一个巨大的实用价值互联网,它扎根于四十年的成功经验。NewSQL 是主营合理化性的小微初创企业,迄今时是致力于妥善解决一个利基弊端,而且它显然不亦会集中于主要的销售额(小的实用价值互联网)。NewSQL 有似乎取代现职者,包括 MySQL,特别是当 TiDB 等厂商明确地与 MySQL 向下兼容,以进入现职者的实用价值互联网时。
而毫不奇怪的是,NewSQL 的一个障碍是开发成本。NewSQL 统计数据库种系统过分为简单,这无需过分多的虹人力资源,而且开发成本也过分高。但我们也见到了这种情况:随着合理化者销售额的缩减,开发成本也亦会减少。
题外话:Vitess 和类似于厂商未必是合理化者:它们是现有实用价值互联网到另行实用价值互联网的吊桥。如果似乎的合理化者完胜,这些吊桥就将极快极快变成。
那么,重点是什么?
对 MySQL 完成移位仍然是必要的,因为我们还处于一个不确定的时期,还不希望到怎么可以可避免移位:要么是负担得起的嵌入式MB大爆发(这其实只是备有了过分多的跑道,将弊端进一步带起未来),要么是 NewSQL 成功合理化了传统 SQL,成为主流。
显然合理逻辑的是,在未来,软件工程公司将无需处理应用级别的移位,因为那未必是他们似乎的文书工作,而且 NewSQL 并未确实它不无需实际上。这就是为什么我自已并不认为 NewSQL 亦会完胜,但是至少无需 5 年短时间,过分现实的是 10 年。
不过无需担忧,MySQL 和其他单实例间的关系改进型统计数据库种系统将在过分长短时间内继续展现不可忽视作用,以至于今天学习 MySQL 仅仅是未必无需的,因为它无处不在。
腾讯公司安全回应统计数据厂商线裁撤;马斯克称终止收购推特;拼来日“砍一刀”被控欺诈案一审传唤 |Q 网页
GitLab 电子技术选改进型为何如此各有不同:坚持用玩世不恭 Web 框架十多年、坚决无需微咨询服务
首个冲刺科创板的国产统计数据库种系统:78 岁据传名誉教授喷砂四十年,每恰巧标识符都先决条件可视
为什么 Rust 是初创Corporation的颇佳选择?
内容可推荐
《之中国令人瞩目电子技术制作团队周游世界》(2022 年第二季),本期梁汉文了微软 Edge、蚂蚁可信原生、明源虹、文因互联、Babylon.js 等电子技术制作团队在电子技术紧贴、制作团队建设上都的实践经验及心得体亦会。本期电子书并未在 InfoQ 网站上线,大家可以扫描下图二维码下载,查看过分多精彩内容可。
《之中国令人瞩目电子技术制作团队周游世界》是 InfoQ 承接的重磅内容可厂商,以各个国内优秀企业的 IT 电子技术制作团队为下落共谋系列受访,希望向很多人引导最出色电子技术制作团队的好好事方法 / 电子技术实践,让程序员了解他们的知识积累、电子技术演进、厂商锤炼与制作团队中国文化等,并更进一步获得有实用价值的见解。
点个在看少个 bug👇
。生物药创新国际化多泰脉血康胶囊能缓解心肌梗死吗
性病科
脉血康和脑血康哪个好
闹肚子吃什么药最好
受凉拉肚子必奇有用吗
肚子受凉拉肚子吃什么药
新必奇
喝牛奶拉肚子怎么缓解
重组蛋白药物
上一篇: 翅片管冷却系统规格尺寸
-
用友YonSuite八大数智化增长模式:四川供销云产业链糅合
小微工商业一个组织的其发展充满活力,对8598个贫困村16.31亿元兴业其发展资金欠缺进行了风险规避。 四大高效放缓来进行,成长型零售业的不二之选 急客户所急,供产业所即可
- 2025-05-12业绩不达意味著撤回科创板上市申请,铭赛科技上市辅导再战IPO
- 2025-05-12深圳:可申请次于500万元的小微企业创业担保贷款
- 2025-05-12人事快报:奥普光电(002338)7月7日9点41分封涨停板
- 2025-05-12从被外资把控,到国货占领80%!中国特种钢是如何完成紧接著的?
- 2025-05-12专注大众出行 第五大酒管企业集团“东呈”启动IPO
- 2025-05-12近5500亿分红密集发放!多家汇丰银行开始股权登记
- 2025-05-12执行力≠埋头苦干,是不是人家是怎么虐待“执行力差”的
- 2025-05-12力高集团:拟与康佳集团在大健康互联等方面进行合作
- 2025-05-12必需品!
- 2025-05-12做到这4点,招聘效率大幅提高,不愁招不到人!