1.概述

在本教程中，我們將討論隨著時(shí)間的推移建立的一些設(shè)計(jì)原則和模式，以構(gòu)建高度并發(fā)的應(yīng)用程序。

但是，值得注意的是，設(shè)計(jì)并發(fā)應(yīng)用程序是一個(gè)廣泛而復(fù)雜的主題，因此沒有任何教程可以聲稱對(duì)其進(jìn)行了詳盡的處理。我們將在這里介紹一些經(jīng)常使用的流行技巧!

2.并發(fā)基礎(chǔ)

在我們繼續(xù)之前，讓我們花一些時(shí)間了解基礎(chǔ)知識(shí)。首先，我們必須澄清我們對(duì)所謂的并發(fā)程序的理解。如果多個(gè)計(jì)算同時(shí)發(fā)生，我們指的是一個(gè)程序是并發(fā)的。

現(xiàn)在，請(qǐng)注意我們已經(jīng)提到了同時(shí)發(fā)生的計(jì)算——也就是說，它們同時(shí)進(jìn)行。但是，它們可能會(huì)或可能不會(huì)同時(shí)執(zhí)行。理解差異很重要，因?yàn)橥瑫r(shí)執(zhí)行的計(jì)算被稱為并行。

(1)如何創(chuàng)建并發(fā)模塊?

了解我們?nèi)绾蝿?chuàng)建并發(fā)模塊很重要。有很多選擇，但我們將在這里重點(diǎn)介紹兩個(gè)流行的選擇：

進(jìn)程：進(jìn)程是一個(gè)正在運(yùn)行的程序的實(shí)例，它與同一臺(tái)機(jī)器上的其他進(jìn)程隔離。機(jī)器上的每個(gè)進(jìn)程都有自己獨(dú)立的時(shí)間和空間。因此，通常不可能在進(jìn)程之間共享內(nèi)存，它們必須通過傳遞消息進(jìn)行通信。

線程：另一方面，線程只是進(jìn)程的一部分。一個(gè)程序中可以有多個(gè)線程共享相同的內(nèi)存空間。但是，每個(gè)線程都有唯一的堆棧和優(yōu)先級(jí)。線程可以是本地的(由操作系統(tǒng)本地調(diào)度)或綠色的(由運(yùn)行時(shí)庫(kù)調(diào)度)。

(2)并發(fā)模塊如何交互?

如果并發(fā)模塊不必通信，這是非常理想的，但通常情況并非如此。這產(chǎn)生了兩種并發(fā)編程模型：

共享內(nèi)存：在這個(gè)模型中，并發(fā)模塊通過在內(nèi)存中讀寫共享對(duì)象來交互。這通常會(huì)導(dǎo)致并發(fā)計(jì)算的交錯(cuò)，從而導(dǎo)致競(jìng)爭(zhēng)條件。因此，它可能不確定地導(dǎo)致不正確的狀態(tài)。

消息傳遞：在此模型中，并發(fā)模塊通過通信通道相互傳遞消息來進(jìn)行交互。在這里，每個(gè)模塊按順序處理傳入的消息。由于沒有共享狀態(tài)，編程相對(duì)容易，但這仍然無法擺脫競(jìng)爭(zhēng)條件!

(3)并發(fā)模塊如何執(zhí)行?

摩爾定律在處理器的時(shí)鐘速度方面遇到瓶頸已經(jīng)有一段時(shí)間了。相反，由于我們必須成長(zhǎng)，我們開始將多個(gè)處理器集成到同一芯片上，通常稱為多核處理器。但是，聽到超過 32 個(gè)內(nèi)核的處理器的情況并不常見。

現(xiàn)在，我們知道單個(gè)內(nèi)核一次只能執(zhí)行一個(gè)線程或一組指令。但是，進(jìn)程和線程的數(shù)量可以分別為數(shù)百和數(shù)千。那么，它究竟是如何運(yùn)作的呢?這是操作系統(tǒng)為我們模擬并發(fā)的地方。操作系統(tǒng)通過時(shí)間切片來實(shí)現(xiàn)這一點(diǎn)——這實(shí)際上意味著處理器在線程之間頻繁、不可預(yù)測(cè)且不確定地切換。

3. 并發(fā)編程中的問題

當(dāng)我們開始討論設(shè)計(jì)并發(fā)應(yīng)用程序的原則和模式時(shí)，首先了解典型問題是什么是明智的。

在很大程度上，我們?cè)诓l(fā)編程方面的經(jīng)驗(yàn)涉及使用具有共享內(nèi)存的本機(jī)線程。因此，我們將重點(diǎn)關(guān)注由此產(chǎn)生的一些常見問題：

互斥(Synchronization Primitives)：交錯(cuò)線程需要對(duì)共享狀態(tài)或內(nèi)存進(jìn)行獨(dú)占訪問，以保證程序的正確性。共享資源的同步是一種流行的實(shí)現(xiàn)互斥的方法。有多種同步原語可供使用——例如，鎖、監(jiān)視器、信號(hào)量或互斥鎖。但是，互斥編程很容易出錯(cuò)，并且通常會(huì)導(dǎo)致性能瓶頸。有幾個(gè)與此相關(guān)的經(jīng)過充分討論的問題，例如deadlock 和 livelock。

上下文切換(重量級(jí)線程)：每個(gè)操作系統(tǒng)都有對(duì)進(jìn)程和線程等并發(fā)模塊的原生支持，盡管有所不同。如前所述，操作系統(tǒng)提供的一項(xiàng)基本服務(wù)是通過時(shí)間切片調(diào)度線程以在有限數(shù)量的處理器上執(zhí)行?，F(xiàn)在，這實(shí)際上意味著線程在不同狀態(tài)之間頻繁切換。在這個(gè)過程中，他們當(dāng)前的狀態(tài)需要被保存和恢復(fù)。這是一項(xiàng)直接影響整體吞吐量的耗時(shí)活動(dòng)。

4. 高并發(fā)設(shè)計(jì)模式

現(xiàn)在，我們了解了并發(fā)編程的基礎(chǔ)知識(shí)和其中的常見問題，是時(shí)候了解一些避免這些問題的常見模式了。我們必須重申，并發(fā)編程是一項(xiàng)需要大量經(jīng)驗(yàn)的艱巨任務(wù)。因此，遵循一些既定的模式可以使任務(wù)更容易。

(1)基于 Actor 的并發(fā)

我們將討論的關(guān)于并發(fā)編程的第一個(gè)設(shè)計(jì)稱為 Actor 模型。這是一個(gè)并發(fā)計(jì)算的數(shù)學(xué)模型，基本上把一切都當(dāng)作一個(gè)參與者。參與者可以相互傳遞消息，并且可以根據(jù)消息做出本地決策。這是由 Carl Hewitt 首次提出的，并啟發(fā)了許多編程語言。

Scala 并發(fā)編程的主要結(jié)構(gòu)是actor。Actor 是 Scala 中的普通對(duì)象，我們可以通過實(shí)例化Actor類來創(chuàng)建它們。此外，Scala Actors 庫(kù)提供了許多有用的 actor 操作：

class myActor extends Actor {
    def act() {
        while(true) {
            receive {
                // Perform some action
            }
        }
    }
}

在上面的示例中，在無限循環(huán)中調(diào)用receive方法會(huì)掛起 actor，直到消息到達(dá)。消息到達(dá)后，從參與者的郵箱中刪除，并采取必要的行動(dòng)。

參與者模型消除了并發(fā)編程的一個(gè)基本問題——共享內(nèi)存。Actors 通過消息進(jìn)行通信，每個(gè) Actor 依次處理來自其專用郵箱的消息。但是，我們通過線程池執(zhí)行actor。我們已經(jīng)看到原生線程可能是重量級(jí)的，因此數(shù)量有限。

當(dāng)然，這里還有其他模式可以幫助我們——我們稍后會(huì)介紹這些!

(2)基于事件的并發(fā)

基于事件的設(shè)計(jì)明確解決了原生線程的生成和操作成本高的問題。基于事件的設(shè)計(jì)之一是事件循環(huán)。事件循環(huán)與事件提供程序和一組事件處理程序一起工作。在此設(shè)置中，事件循環(huán)阻塞事件提供者，并在到達(dá)時(shí)將事件分派給事件處理程序。

基本上，事件循環(huán)只不過是一個(gè)事件調(diào)度器!事件循環(huán)本身可以僅在單個(gè)本機(jī)線程上運(yùn)行。那么，事件循環(huán)中到底發(fā)生了什么?讓我們以一個(gè)非常簡(jiǎn)單的事件循環(huán)的偽代碼為例：

while(true) {
    events = getEvents();
    for(e in events)
        processEvent(e);
}

基本上，我們的事件循環(huán)所做的就是不斷尋找事件，并在找到事件時(shí)處理它們。該方法非常簡(jiǎn)單，但它獲得了事件驅(qū)動(dòng)設(shè)計(jì)的好處。

使用這種設(shè)計(jì)構(gòu)建并發(fā)應(yīng)用程序可以更好地控制應(yīng)用程序。此外，它還消除了多線程應(yīng)用程序的一些典型問題，例如死鎖。

JavaScript 實(shí)現(xiàn)事件循環(huán)以提供異步編程。它維護(hù)一個(gè)調(diào)用堆棧來跟蹤要執(zhí)行的所有函數(shù)。它還維護(hù)一個(gè)事件隊(duì)列，用于發(fā)送新函數(shù)進(jìn)行處理。事件循環(huán)不斷檢查調(diào)用堆棧并從事件隊(duì)列中添加新函數(shù)。所有異步調(diào)用都被分派到 Web API，通常由瀏覽器提供。

事件循環(huán)本身可以在單個(gè)線程上運(yùn)行，但 Web API 提供單獨(dú)的線程。

(3)非阻塞算法

在非阻塞算法中，一個(gè)線程的掛起不會(huì)導(dǎo)致其他線程的掛起。我們已經(jīng)看到，我們的應(yīng)用程序中只能有有限數(shù)量的本機(jī)線程?，F(xiàn)在，阻塞線程的算法顯然會(huì)顯著降低吞吐量 并阻止我們構(gòu)建高度并發(fā)的應(yīng)用程序。

非阻塞算法總是利用底層硬件提供的比較和交換原子原語。這意味著硬件會(huì)將內(nèi)存位置的內(nèi)容與給定值進(jìn)行比較，并且僅當(dāng)它們相同時(shí)才會(huì)將值更新為新的給定值。這可能看起來很簡(jiǎn)單，但它有效地為我們提供了一個(gè)原子操作，否則將需要同步。

這意味著我們必須編寫使用這種原子操作的新數(shù)據(jù)結(jié)構(gòu)和庫(kù)。這為我們提供了大量的多種語言的無等待和無鎖實(shí)現(xiàn)。Java 有幾個(gè)非阻塞數(shù)據(jù)結(jié)構(gòu)，如AtomicBoolean、AtomicInteger、AtomicLong和AtomicReference。

考慮一個(gè)應(yīng)用程序，其中多個(gè)線程試圖訪問相同的代碼：

boolean open = false;
if(!open) {
    // Do Something
    open=false;
}

顯然，上面的代碼不是線程安全的，它在多線程環(huán)境中的行為是不可預(yù)測(cè)的。我們?cè)谶@里的選擇是將這段代碼與鎖同步或使用原子操作：

AtomicBoolean open = new AtomicBoolean(false);
if(open.compareAndSet(false, true) {
    // Do Something
}

正如我們所見，使用像AtomicBoolean這樣的非阻塞數(shù)據(jù)結(jié)構(gòu)可以幫助我們編寫線程安全的代碼，而不會(huì)沉迷于鎖的缺點(diǎn)!

5.編程語言支持

我們已經(jīng)看到有多種方法可以構(gòu)建并發(fā)模塊。雖然編程語言確實(shí)有所作為，但主要是底層操作系統(tǒng)如何支持這一概念。然而，由于本機(jī)線程支持的基于線程的并發(fā)在可擴(kuò)展性方面遇到了新的障礙，我們總是需要新的選擇。

實(shí)施我們?cè)谏弦还?jié)中討論的一些設(shè)計(jì)實(shí)踐確實(shí)證明是有效的。但是，我們必須記住，它確實(shí)使編程變得復(fù)雜。我們真正需要的是能夠提供基于線程并發(fā)的強(qiáng)大功能而又不會(huì)帶來不良影響的東西。

我們可用的一種解決方案是綠色線程。綠色線程是由運(yùn)行時(shí)庫(kù)調(diào)度的線程，而不是由底層操作系統(tǒng)本地調(diào)度的線程。雖然這并不能解決基于線程的并發(fā)中的所有問題，但在某些情況下它確實(shí)可以為我們提供更好的性能。

現(xiàn)在，除非我們選擇使用的編程語言支持它，否則使用綠色線程并非易事。并非每種編程語言都有這種內(nèi)置支持。此外，我們松散地稱為綠色線程的東西可以通過不同的編程語言以非常獨(dú)特的方式實(shí)現(xiàn)。讓我們看看其中一些可供我們使用的選項(xiàng)。

(1)Go 中的 Goroutine

Go 編程語言中的Goroutine是輕量級(jí)線程。它們提供可以與其他函數(shù)或方法同時(shí)運(yùn)行的函數(shù)或方法。Goroutines非常便宜，因?yàn)樗鼈冊(cè)诙褩４笮≈袃H占用幾千字節(jié)，從.

最重要的是，goroutines 與較少數(shù)量的本地線程復(fù)用。此外，goroutine 使用通道相互通信，從而避免訪問共享內(nèi)存。我們幾乎得到了我們需要的一切，然后你猜怎么著——什么都不做!

(2)Erlang 中的進(jìn)程

在Erlang 中，每個(gè)執(zhí)行線程都稱為一個(gè)進(jìn)程。但是，這與我們目前討論的過程不太一樣!Erlang 進(jìn)程是輕量級(jí)的，內(nèi)存占用小，創(chuàng)建和處理速度快，調(diào)度開銷低。

在幕后，Erlang 進(jìn)程只不過是運(yùn)行時(shí)處理調(diào)度的函數(shù)。此外，Erlang 進(jìn)程不共享任何數(shù)據(jù)，它們通過消息傳遞相互通信。這就是我們首先稱這些“過程”的原因!

(3)Java 中的 Fibers(提案)

Java 并發(fā)的故事一直在不斷演變。Java 確實(shí)支持綠色線程，至少對(duì)于 Solaris 操作系統(tǒng)，一開始是這樣。但是，由于超出本教程范圍的障礙，這已停止。

從那時(shí)起，Java 中的并發(fā)就是關(guān)于本機(jī)線程以及如何巧妙地使用它們!但出于顯而易見的原因，我們可能很快就會(huì)在 Java 中擁有一個(gè)新的并發(fā)抽象，稱為纖程。Project Loom提議將 continuation 與Fiber一起引入，這可能會(huì)改變我們?cè)?Java 中編寫并發(fā)應(yīng)用程序的方式!

這只是對(duì)不同編程語言中可用內(nèi)容的先睹為快。其他編程語言嘗試處理并發(fā)性的方式要有趣得多。

此外，值得注意的是，在設(shè)計(jì)高并發(fā)應(yīng)用程序時(shí)，上一節(jié)中討論的設(shè)計(jì)模式的組合以及對(duì)類似綠色線程的抽象的編程語言支持可能非常強(qiáng)大。

6.高并發(fā)應(yīng)用

現(xiàn)實(shí)世界的應(yīng)用程序通常有多個(gè)組件通過網(wǎng)絡(luò)相互交互。我們通常通過互聯(lián)網(wǎng)訪問它，它由多種服務(wù)組成，如代理服務(wù)、網(wǎng)關(guān)、Web 服務(wù)、數(shù)據(jù)庫(kù)、目錄服務(wù)和文件系統(tǒng)。

這種情況下如何保證高并發(fā)?讓我們探索其中的一些層以及構(gòu)建高度并發(fā)應(yīng)用程序的選項(xiàng)。

正如我們?cè)谏弦还?jié)中看到的，構(gòu)建高并發(fā)應(yīng)用程序的關(guān)鍵是使用那里討論的一些設(shè)計(jì)概念。我們需要為工作選擇合適的軟件——那些已經(jīng)包含了其中一些實(shí)踐的軟件。

(1)網(wǎng)絡(luò)層

Web 通常是用戶請(qǐng)求到達(dá)的第一層，這里不可避免地需要提供高并發(fā)性。讓我們看看有哪些選項(xiàng)：

Node(也稱為 NodeJS 或 Node.js)是一個(gè)基于 Chrome 的 V8 JavaScript 引擎構(gòu)建的開源、跨平臺(tái) JavaScript 運(yùn)行時(shí)。Node 在處理異步 I/O 操作方面工作得很好。Node 做得這么好的原因是因?yàn)樗趩蝹€(gè)線程上實(shí)現(xiàn)了一個(gè)事件循環(huán)。事件循環(huán)在回調(diào)的幫助下異步處理所有阻塞操作，如 I/O。

nginx是一個(gè)開源 Web 服務(wù)器，我們通常將其用作反向代理以及其他用途。nginx 提供高并發(fā)的原因是它使用異步的、事件驅(qū)動(dòng)的方法。nginx 在單個(gè)線程中與主進(jìn)程一起運(yùn)行。主進(jìn)程維護(hù)執(zhí)行實(shí)際處理的工作進(jìn)程。因此，工作進(jìn)程并發(fā)地處理每個(gè)請(qǐng)求。

(2)應(yīng)用層

在設(shè)計(jì)應(yīng)用程序時(shí)，有幾個(gè)工具可以幫助我們構(gòu)建高并發(fā)。讓我們來看看我們可以使用的一些庫(kù)和框架：

Akka是一個(gè)用 Scala 編寫的工具包，用于在 JVM 上構(gòu)建高并發(fā)和分布式應(yīng)用程序。Akka 處理并發(fā)的方法基于我們之前討論過的 actor 模型。Akka 在參與者和底層系統(tǒng)之間創(chuàng)建了一個(gè)層。該框架處理創(chuàng)建和調(diào)度線程、接收和分派消息的復(fù)雜性。

Project Reactor 是一個(gè)反應(yīng)庫(kù)，用于在 JVM 上構(gòu)建非阻塞應(yīng)用程序。它基于 Reactive Streams 規(guī)范，專注于高效的消息傳遞和需求管理(背壓)。Reactor 操作符和調(diào)度器可以維持消息的高吞吐率。幾個(gè)流行的框架提供了 reactor 實(shí)現(xiàn)，包括 Spring WebFlux 和 RSocket。

Netty是一個(gè)異步的、事件驅(qū)動(dòng)的網(wǎng)絡(luò)應(yīng)用程序框架。我們可以使用 Netty 來開發(fā)高并發(fā)協(xié)議服務(wù)器和客戶端。Netty 利用NIO，它是 Java API 的集合，通過緩沖區(qū)和通道提供異步數(shù)據(jù)傳輸。它為我們提供了幾個(gè)優(yōu)勢(shì)，例如更好的吞吐量、更低的延遲、更少的資源消耗以及最小化不必要的內(nèi)存復(fù)制。

(3)數(shù)據(jù)層

最后，沒有數(shù)據(jù)的應(yīng)用程序是不完整的，數(shù)據(jù)來自持久存儲(chǔ)。當(dāng)我們討論與數(shù)據(jù)庫(kù)相關(guān)的高并發(fā)時(shí)，大部分焦點(diǎn)仍然放在 NoSQL 系列上。這主要是由于 NoSQL 數(shù)據(jù)庫(kù)可以提供線性可擴(kuò)展性，但在關(guān)系變體中很難實(shí)現(xiàn)。讓我們來看看數(shù)據(jù)層的兩個(gè)流行工具：

Cassandra是一種免費(fèi)的開源 NoSQL 分布式數(shù)據(jù)庫(kù)，可在商品硬件上提供高可用性、高可擴(kuò)展性和容錯(cuò)性。但是，Cassandra 不提供跨多個(gè)表的 ACID 事務(wù)。因此，如果我們的應(yīng)用程序不需要強(qiáng)一致性和事務(wù)，我們可以從 Cassandra 的低延遲操作中受益。

Kafka是一個(gè)分布式流媒體平臺(tái)。Kafka 將記錄流存儲(chǔ)在稱為主題的類別中。它可以為記錄的生產(chǎn)者和消費(fèi)者提供線性水平可擴(kuò)展性，同時(shí)提供高可靠性和持久性。分區(qū)、副本和代理是它提供大規(guī)模分布式并發(fā)的一些基本概念。

(4)緩存層

好吧，現(xiàn)代世界中沒有任何以高并發(fā)為目標(biāo)的 Web 應(yīng)用程序能夠承受每次訪問數(shù)據(jù)庫(kù)的代價(jià)。這讓我們選擇一個(gè)緩存——最好是一個(gè)可以支持我們高并發(fā)應(yīng)用程序的內(nèi)存緩存：

Hazelcast 是一個(gè)分布式，云友好的，內(nèi)存中的對(duì)象存儲(chǔ)和計(jì)算引擎，支持多種數(shù)據(jù)結(jié)構(gòu)，如地圖，設(shè)置，列表，多重映射， RingBuffer和HyperLogLog。它具有內(nèi)置復(fù)制并提供高可用性和自動(dòng)分區(qū)。

Redis 是一種內(nèi)存數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)，我們主要用作緩存。它提供了一個(gè)具有可選持久性的內(nèi)存鍵值數(shù)據(jù)庫(kù)。支持的數(shù)據(jù)結(jié)構(gòu)包括字符串、散列、列表和集合。Redis 具有內(nèi)置復(fù)制并提供高可用性和自動(dòng)分區(qū)。如果我們不需要持久性，Redis可以為我們提供一個(gè)功能豐富、網(wǎng)絡(luò)化、性能卓越的內(nèi)存緩存。

當(dāng)然，在我們追求構(gòu)建高度并發(fā)的應(yīng)用程序的過程中，我們幾乎沒有觸及可用內(nèi)容的皮毛。重要的是要注意，除了可用的軟件之外，我們的需求還應(yīng)該指導(dǎo)我們創(chuàng)建合適的設(shè)計(jì)。其中一些選項(xiàng)可能合適，而其他選項(xiàng)可能不合適。

而且，我們不要忘記，還有更多可能更適合我們要求的選項(xiàng)。

以上就是動(dòng)力節(jié)點(diǎn)小編介紹的"高并發(fā)應(yīng)用的設(shè)計(jì)原則和模式"，希望對(duì)大家有幫助，想了解更多可查看Java在線學(xué)習(xí)。動(dòng)力節(jié)點(diǎn)在線學(xué)習(xí)教程，針對(duì)沒有任何Java基礎(chǔ)的讀者學(xué)習(xí),讓你從入門到精通,主要介紹了一些Java基礎(chǔ)的核心知識(shí)，讓同學(xué)們更好更方便的學(xué)習(xí)和了解Java編程，感興趣的同學(xué)可以關(guān)注一下。