去年此時，ChatGPT橫空出世席卷全球，許多人稱其意味著AI的iPhone時刻到來。CSDN創始人蔣濤對此曾預測：「下一步就是應用時刻，新應用時代將來臨……大模型將推動更多的AI應用程序員誕生」。

　　在2023亞馬遜云科技re:Invent全球大會第三天的Keynote，亞馬遜云科技數據和人工智能副總裁Swami Sivasubramanian博士關于亞馬遜云科技生成式AI的最新能力、面向生成式AI時代的數據戰略以及借助生成式AI應用提高生產效率的演講中，可以真真切切地感受到亞馬遜云科技將生成式AI應用開發門檻打下來，生成式AI新應用的到來。

　　Swami博士在開場中這樣說道：“今天，人類和技術之間正展現出前所未有的緊密關系，生成式AI正以許多意想不到的方式提升人類的生產力。這種關系讓人類與人工智能共同形成新的創新充滿了無限可能性。”

　　基于此，Swami博士帶來了亞馬遜云科技一系列的產品，其關鍵作用在于：幫助所有開發及企業快速、安全、規模化地構建生成式應用。并且，Swami博士認為，數據是構建差異化生成式AI應用的核心優勢，亞馬遜云科技在生成式AI能力的基礎上，從數據維度為所有企業保駕護航。

　　針對Swami博士的精彩演講，亞馬遜云科技人工智能產品市場經理宋洪濤、亞馬遜云科技數據分析與人工智能產品總監Troy Cui、亞馬遜云科技數據產品技術總監王曉野，以及CSDN人工智能技術主編袁滾滾聯袂，在re:Invent全球大會現場展開了深入的解讀與探討，助力所有開發者及企業盡情擁抱生成式AI時代。

亞馬遜云科技在生成式AI領域的布局

　　宋洪濤：今天Swami博士從非常獨特的視角介紹了如何借助數據來構建自己的生成式AI應用，以及有了生成式AI應用之后，如何更好地改變我們的生活方式，提升自己的工作效率。在昨天的大會上，亞馬遜云科技首席執行官Adam Selipsky也重磅分享了亞馬遜云科技生成式AI技術棧的三層架構，這三層技術架構具體是什么樣的?以及Amazon Bedrock升級帶來了哪些亮點?

　　王曉野：亞馬遜云科技投身生成式AI領域，其實與我們之前在云計算和其他領域的做法一脈相承。我們的目標是將一項極其復雜的技術變得更易用，降低使用門檻，使得任何人都能夠輕松應用。

　　因此，基于這一大前提，我們提出了三層架構的理念。這樣的分層結構有助于更清晰地組織技術，實現端到端地幫客戶思考問題。

　　最底層是基礎架構。一方面，它離不開基礎模型的構建。這一維度模型的典型特點是參數規模比較大，從訓練到推理、性能、一個模型可能要幾個月的時間才能完成，成本在百萬美金級別。亞馬遜云科技希望在基礎模型的訓練和推理階段，提供最好的基礎模型的基礎設施。比如Amazon SageMaker作為模型訓練的核心產品，我們也把它劃到基礎設施這一層去幫助客戶，把整個模型無論是訓練還是推理的性能都做到極致。

　　另一方面，芯片也提供了強有力的支持。在這次大會上，我們與英偉達深度合作。實際上，業內最領先的GPU在亞馬遜云科技可以使用。同時亞馬遜云科技對于自研芯片Trainium和Inferentia，都更新到了第二代的水平。

　　中間層是存儲，這一層可以讓客戶能更好地利用模型能力。此次，Amazon Bedrock進行了全新的升級，用戶可以基于此平臺挑選到最好的模型，以及獲得最簡單的使用方式。我們會根據用戶的實際場景，例如Amazon CoderWhisperer代碼生成助理，不斷擴展平臺的功能，以滿足更多需求。

　　最上層是應用層，Adam在本屆大會上發布了最重磅的產品Amazon Q，就是希望通過生成式AI助理為用戶解惑，讓了解業務的專家一直在線。應用層還涵蓋開箱即用的生成式AI應用，為生成式AI用戶和缺乏開發技能的業務人員提供便捷使用服務的途徑，以加速工作效率。

　　Troy Cui：基于Amazon BedRock來看，它存在的意義在于亞馬遜云科技幫助我們篩選市場上最優秀的模型，將這些模型提供給我們，使得我們自己無需再進行繁瑣的連接步驟。現在，只需通過一個API即可直接訪問這些模型。

　　這一次，Amazon BedRock最直接的改進之一是對這些模型進行了大量更新，比如增加了對Claude 2.1和Llama 2 70b的支持。其中，Claude 2.1模型在處理復雜的總結和推理方面非常強大，支持200k上下文token，而我們還進一步加強了對整個穩定性方面的支持，提供了強大的擴展性。

　　宋洪濤：亞馬遜云科技最近發布了一款最新產品，名為Amazon Titan Multimodal Embeddings。多模態實際上代表了在生成式AI模型領域一個非常重要的趨勢。對于我們的客戶和基礎模型而言，Multimodal Embeddings到底意味著什么呢?在技術領域，Embedding是一個經常被提及的術語，那么它究竟是用來做什么的呢?

　　王曉野：簡單理解，可以將Embedding視為數字化。在聊天語言類模型火爆時，大家紛紛使用像向量數據庫這樣的工具，它將信息數字化，因為只有數字化后，我們更容易通過數學方法計算其相似性。因此，核心問題是將諸如"Embedding"這樣的概念轉化為數字，以便更輕松地尋找相似性。

　　這一次我們發布的是一個被稱為“多模態”的概念，可能聽起來有些抽象。它包括了圖片、聲音、視頻等多種形式，而不僅僅是文本。在這其中最有用的場景之一是電商網站上的以圖搜圖。當我們看到一件喜歡的產品，比如手機殼，想要找到在哪個電商網站上購買時，我們可以拍照然后搜索。這時，我們就依賴中間層將這個圖片轉化為數字，這將提升搜索的準確性。

　　在數學層面，尋找相似性并不是特別困難的任務，因此關鍵在于模型能否在這個過程中有效地將兩個圖片或類似的元素的相似感覺轉化為數字。在這一步驟中，模型的性能至關重要，因為它需要綜合多個維度，如顏色、場景等，從而使兩者在數字化轉換后更加相似。

　　我們此次發布的模型更加注重在這一層面的表現，此外還包括了將圖片和文字描述放一起考慮，能夠更全面地呈現物品的特點。

加快生成式AI腳步的同時，如何保護隱私和保證安全？

　　宋洪濤：我關注到Swami博士宣布了幾款大語言模型的更新，其中一個是Amazon Titan Image Generator文生圖模型，Swami博士提到要做負責任的AI，比如通過不可見的水印方式，來更好的保護大模型生成的圖片的版權。我知道在文書處理領域，版權問題或者是隱私問題實際上是很多客戶的一個非常大的痛點。

　　袁滾滾：我的工作是屬于內容創作，經常使用大模型生成文字和圖片。OpenAI發布過Copywriter Shield Support版權盾支持計劃，面向API開發者和企業客戶，如果因為生成結果遭遇版權上的法律糾紛，OpenAI會給他們兜底。但相信未來大模型會應用到各個領域和場景，這類承諾的時效性是不確定的。因此，像圖片水印技術，底層是較為成熟的數字水印技術，可以在多方面保護大模型生成內容的安全。

　　當你發現網上有違規的內容，懷疑是大模型生成的，可以通過圖片水印去追責到它是哪個大模型生成的。還有一種是我通過咱們的大模型去生成附帶數字水印的圖片，可以保護作者版權。

　　王曉野：首先，Swami博士提到了目前關于圖片水印技術的三個挑戰：

　　第一，水印必須是不可見的，否則會直接影響圖片。

　　第二，圖片加水印意味著在推理過程中要額外消耗一些性能，但又不能因此延遲變慢，這些問題都需要解決。

　　第三，大部分人生成圖片后都會再編輯，無法確保圖片在編輯之后水印是否還在。

　　通過Swami博士的解釋，我們可以發現一些以為很成熟的技術實際上并不容易也確實很重要，需要特殊處理和對待。同時，也能看出image generator模型與其他開源模型的區別在哪。如果企業真要用起來，這種模型可能值得第一個去嘗試。

百花齊放的大模型，究竟該怎么選？

　　宋洪濤：在面對如此多的基礎模型時，客戶究竟應該如何選擇最適合其業務場景的模型呢?亞馬遜云科技是否已有相關產品或工具來協助客戶做出更明智的選擇?

　　TroyCui：在生產環境中選擇大模型需要考慮多個因素。

　　首先，模型的準確度在問題回答中尤為重要。

　　其次，在生產環境中，你必須關注延時情況。

　　最后，如果你的產品將被大量用戶使用，也需要考慮在大規模運作下的成本。

　　作為一個面向生產和企業客戶的模型大型生態平臺，亞馬遜云科技發布了Model evaluation and selection，旨在幫助企業客戶在生產環境中做出最佳選擇。這個工具為你提供了在選擇最適合的模型時進行比較的選項。整個比較過程將綜合考慮這三個關鍵因素，幫助你在準確性、延時和成本之間取得平衡。這個工具以一種輕松而便捷的方式，為企業提供了價值和持續交付的途徑。

　　袁滾滾：在模型選擇上，我們剛剛提到了Amazon BedRock現在支持Claude 2.1以及Llama 2 70b。在此之前，大家總覺得GPT是一個斷層式領先的大模型，只要選擇GPT就對了。

　　但其實隨著時間的推移，其他的一些模型都有很大的提升，與GPT差距逐漸縮小。比如說Claude 2.1對長文本的支持，以及它對文件上傳的支持，其實都可以幫助用戶找到適合的場景。Llama2是開源的基礎大模型，具有非常完備的生態，有很多開源的工具和組件也可以提升模型效果，所以其實并不是只有GPT一個選擇。

　　宋洪濤：在過去半年的時間里，我們可以看到一個叫RAG(Retrieval Augmented Generation)的技術成為了企業用戶構建生成式AI應用時的主流選擇。Troy Cui老師能否以一種深入淺出的方式向大家介紹一下RAG的具體原理?

　　Troy Cui：大語言模型的基本能力是理解和表達，即完全理解你所說的事情、了解你的意圖等，RAG則是在此基礎上賦予大模型記憶的能力。當大模型遇到一些問答或搜索場景的時候，先會理解對方的意思，再到記憶里去檢索，最后輸出結果。所以簡單來說，RAG其實是把向量數據庫和大語言模型以這種方式進行結合來賦能的。

　　在使用RAG的過程中，實際上會涉及到許多組件。首先要用到Embedding模型，將已有的內容知識，包括文本、圖片等多模態內容變成向量，然后把這些向量化的數據存儲到向量數據庫中。當真正面對業務流程時，你還需要處理許多方面，比如性能優化、各種調整工作等，最后還要將其構建成一個完整的package，以便對外輸出。

　　因此，RAG的概念聽起來雖然很簡單，但要將其工程化以形成一個能夠對外賦能的業務，實際上還需要進行大量的工程化工作。

　　宋洪濤：今天Swami博士宣布接入了一項名為Knowledge Bases for Amazon Bedrock的服務，這項服務是否能幫助客戶或應用開發者在一定程度上解決您上面提到的挑戰或困難?

　　Troy Cui：今年，亞馬遜云科技進行了非常多的發布，很多都致力于協助企業客戶融入具體服務場景。例如在某個具體場景中，我們會提供一個相對實用的開箱即用工具，讓客戶可以直接在這個場景中賦能和上線——而Knowledge Bases for Amazon Bedrock提供的就是這么一個能力。

　　剛才我們提到，整個知識庫處于檢索的場景里，客戶可能把數據放在了Amazon S3，可以通過Amazon Bedrock將它直接轉成向量，并勾選一些Embedding的向量數據庫，包括Open Search、Pinecone、Redis，之后還會有Aurora、MongoDB等更多新的數據庫。然后通過向量數據存儲，將其送給模型以形成一個反饋。

　　因此Knowledge Bases for Amazon Bedrock就相當于已經把整個端到端的工作都package好了，企業可以直接拿出來進行業務賦能。

以低代碼、無代碼的方式，更快捷構建生成式AI應用

　　宋洪濤：我今天看到Swami博士提到了一個叫“Agents for Amazon Bedrock”的工具，想請曉野老師給大家簡單的剖析一下Agents for Amazon Bedrock，它將如何幫助開發者用低代碼甚至無代碼的方式去構建生成式AI應用?

　　王曉野：Agents for Amazon Bedrock的實現邏輯是能先幫你做任務規劃，Swami博士每次都會用買鞋換顏色來舉例。客戶買鞋要求換顏色的場景下，需要做任務規劃：第一步模型會幫你核實購買記錄，再對照換購政策，判斷是否能換鞋退貨，然后執行退貨任務，接著進入物流任務，下一步和客戶做差價結算。

　　每一步背后都需要一個微服務，而要跑這種單一功能的函數，最適合的就是在Lambda這種無服務器計算服務上。Agents for Amazon Bedrock的作用就是把這些工作流程串起來，自動幫你做任務編排：只要你告訴它這個函數是干什么的，它基本就能把這件事情推理明白并推進執行。

　　宋洪濤：如何打通生成式AI應用從POC(Proof of Concept)到落地的“最后三公里”，是目前很多企業頭疼的問題。基于此，Swami博士分享了一個針對Anthropic Claude的客戶定制模型項目(Custom model program)，曉野老師能否介紹一下?

　　王曉野：首先，我們爭取降低客戶開發門檻，例如通過產品讓模型更容易訪問，通過安全Agent幫助完成任務，使構建生成式AI應用更容易。客戶評估這個產品是否有效，取決于最終的業務產出，但這需要一個不斷變化的迭代過程。

　　為此，我們推出了這個全球化項目，并形成了Generative AI Innovation Center這個組織部門。本質上來說，這個項目是提供人力支持，即一組專家去幫你調教模型，包括改prompt、做RAG等復雜的工程化工作，來幫你用好Anthropic Claude，并針對企業業務做定制化模型。在中國，這個專家團隊叫做Innovation Lab。

為算法工程師降低運維門檻

　　宋洪濤：對于大多數的模型提供商而言，Amazon SageMaker HyperPod是一款很受歡迎的產品，在訓練、部署、推理優化方面，它能有效提高開發效率并降低復雜度。那么對于今天發布的Amazon SageMaker HyperPod，各位有什么理解和看法?

　　袁滾滾：在Swami博士分享的時候已經提到Amazon SageMaker HyperPod非常適用于基礎大模型，在訓練階段減輕運維負擔。

　　基礎大模型訓練的時間周期可能要十天半個月甚至更長，算力成本也更高，有非常多復雜的運維問題，算法工程師不一定能解決。比如說我們的一臺服務器Crash之后，怎么樣去定位問題，需要很強的工程經驗和能力。快速定位是數據問題，算法問題，還是集群問題，再去解決問題。

　　Amazon SageMaker HyperPod就是提供了非常自動化運維的訓練集群，可以快速定位到故障節點，然后自動化替換，再重啟上一個Checkpoint的訓練任務。我相信Amazon SageMaker HyperPod能夠可以解放很多算法工程師，在模型訓練階段的運維壓力。

　　Amazon Sagemaker HyperPod預裝了Amazon SageMaker的訓練庫。所以只需選擇自己需要的訓練環境，自定義訓練庫和調優工具，然后就新建實例，就直接開始訓練任務。

　　王曉野：這點確實非常重要。現在市場上AI人才本就較為短缺，很多都去訓練模型了，對于如何運維、檢測機器故障、如何排查問題等工作很難負擔，很多時候會忘記做Checkpoint，重啟就回到了兩三天前，很耽誤開發進度。Amazon SageMaker HyperPod的出現，能讓數據科學家從底層的運維問題解放出來，更專注于模型的超參數調整等工作。

　　宋洪濤：從全面的產品角度出發，向量數據庫是一個十分重要的組成部分。請Troy分享一下，亞馬遜云科技在數據庫產品這一側是怎樣去支持向量能力的?

　　Troy Cui：我認為向量是將整個客戶數據進行向量化，以在未來為業務提供更好的服務能力，這是當前的一個大趨勢。在實際中，有不少客戶會好奇：為什么亞馬遜云科技不做一個名字就叫向量數據庫產品，而是發布如此多的向量功能呢?對此，亞馬遜云科技希望在每一個數據基礎上，客戶都能擁有選擇權，讓客戶將數據存放在最適合存儲的環境中，并賦予環境向量化能力。這樣，當真正需要向量支撐的業務時，他們不需要將數據從已存儲的數據挪到向量數據庫里。基于這樣一個大的思路，我們希望給客戶一個說明，無論數據存儲在哪里，你都隨時擁有使用向量化的能力。此次大會上，我們又發布了一些具備向量存儲環境的數據庫能力。目前，亞馬遜云有7個具備向量存儲環境能力的數據庫產品，讓客戶有許多選擇。

生成式AI正在徹底改變開發者的工作方式

　　宋洪濤：之前亞馬遜云科技推出了一款名為Amazon CodeWhisperer的產品，旨在從代碼開發的角度助力開發者提高編寫代碼的效率。現在引入了Amazon Q，與Amazon CodeWhisperer相結合，是否能夠進一步提升開發者在代碼開發方面的體驗和效率呢?

　　袁滾滾：CSDN在前一陣子在社區進行了調研，數千開發者填寫了問卷，提交他們代碼生成工具的使用習慣。結果有近90%的開發者都已經試用過了各類代碼生成工具，接近40%的開發者現在每天都在使用。我們也對大家的工具選型做了調查，Amazon CodeWhisperer也是遙遙領先的。

　　代碼生成的應用場景，或者說開發者使用代碼生成工具生成什么內容呢?常見用途有單元測試、代碼注釋、學習新語言或者編寫跨技術棧產品。

　　還有一類情況，比如某個編程語言的發生了變化，尤其是新版本發生了大改變時，我們需要通過代碼生成工具來了解這些變化。

　　所以開發者是使用場景很復雜，使用環境也很復雜，有些在是通過IDE里的插件使用代碼生成工具，有的是在對話式窗口使用，還有的通過本地部署使用。Amazon Q能夠針對不同的用戶需求，更加細粒度的解決這個問題。

　　王曉野：在代碼應用場景中，我們并沒有分得那么細，統一將其歸納為代碼生成，但實際上這一領域涵蓋了許多不同的功能。這一次，Amazon Q并非提供所有可能的代碼生成功能，它的核心是在你原有的一部分代碼基礎上，利用大型模型理解你的原始代碼的功能，并在此基礎上生成新的功能，對某些代碼段進行增強。

　　我們希望在這個特定的領域提供一種新的能力。此外，代碼的翻譯和轉換也是我們關注的重點。當然，未來會有更多的應用場景，但目前我們建議大家首先關注這兩個核心能力，以便更好地理解其基本原理。

　　Amazon Q以企業級AI助理為Slogan，為業務領域工作人員提供一個智能化助手。用戶可以直接連接到自己業務的數據庫，例如里面包含員工工資的數據庫，然后與助手進行對話。在設計時，Amazon對數據保護和權限便在考慮。一開始，當你進行連接時，它會與你的企業的單點登錄(SSO)進行集成，通過SSO中設置的角色權限了解你能訪問什么。舉例說明，當一個普通員工而不是經理詢問整個團隊其他成員的工資時，它將限制這個權限，不會回答這樣的問題。因此，它充分考慮了企業的相關因素。

　　未來Amazon Q會針對更多的場景進行開發。目前，我們推出了一個可能會受到一些客戶歡迎的平臺——Center，它涵蓋了我們的呼叫中心。同時，在業務智能(BI)領域，我們也引入了助手。

　　宋洪濤：幫助開發者借助于生成式AI的應用來提升個人的效率，以及持續推動生成式AI的普惠化，是亞馬遜云科技一直以來的愿景。基于此，除了上面產品之外，Swami博士在演講中還帶來一款與Amazon Bedrock名字相似的產品——PartyRock。那么，這款產品到底有什么作用?

　　王曉野：PartyRock的底層是基于Amazon Bedrock研發的。簡單來看，它相當于是一個“游樂場”，讓開發者感受到生成式AI+Agent的能力所散發的巨大潛力，以及讓眾多開發者發揮想象，去創新創造。

　　Troy Cui：我認為可以將其視為一個體驗區，甚至不需要亞馬遜云科技的賬號，可以在PartyRock上嘗試網絡體驗。

　　袁滾滾：我強烈推薦嘗試一下PartyRock，它實際上是基于Amazon BedRock打造的一站式AI應用生成工具。你甚至無需注冊亞馬遜云科技的賬戶，就能夠免費使用亞馬遜云科技的云資源，輕松生成令人驚嘆的Web和App應用，并可以與他人分享。更有趣的是，它在線上已經提供了一些示范應用，有些甚至功能異常強大，底層采用了Claude2的先進模型技術，讓人感到非常驚喜。

對開發者的建議

　　宋洪濤：最后請各位用一句話總結一下觀看Swami博士演講的感受，以及對當代開發者的建議。

　　袁滾滾：我寫了一句話：云服務霸主，深度擁抱AI、企業與開發者，共享技術紅利。這實際上也是對我們開發者的號召，希望大家都能抓住這波人工智能技術、大模型技術的機會，在亞馬遜云科技堅實的云服務基礎上，開發更多新的創新應用。

　　王曉野：我想基于Amazon Q產品的定位與大家分享我們想要實現的目標，以及產品迭代時優先考慮的一些關鍵維度和因素，一切的基礎其實就是企業需求。

　　重視企業需求，即企業的數據是否有被認真對待、數據隱私的保護以及是否能夠通過個性化數據定制來打破商業壁壘。在滿足企業需求的前提下，我們需要負責任地確保產品能夠為企業提供實質幫助。

　　Troy Cui：從數據層面來看，亞馬遜云科技將進一步解決隱私與安全問題，讓客戶完全不用擔心這部分，而是將更多精力放在數據價值的挖掘上，而非關注那些耗費時間卻重復的工作。

　　宋洪濤：感謝三位老師的精彩總結。我們非常幸運地處在生成式AI爆發的時代，期待后續的生成式AI能為我們的工作和生活帶來更多便利。