原標題:數以萬計的客戶在亞馬遜云科技中使用Redshift
十年前(2012年11月),亞馬遜云科技在首屆亞馬遜云科技re:Invent大會上,發(fā)布了Amazon Redshift,這是第一個完全托管、PB級的云數據倉庫。相對于傳統的本地數據倉庫解決方案,Amazon Redshift的發(fā)布徹底變革了行業(yè)的格局。
傳統的本地數據倉庫解決方案不僅成本高、缺乏彈性,而且需要很高的調整和操作技術水平。在Amazon Redshift的幫助下,使用現有商業(yè)智能工具分析數據不僅成本低廉,而且簡單高效。在發(fā)布之后Amazon Redshift成為亞馬遜云科技增長最快的服務之一。如今,全球范圍內,數以萬計的客戶在亞馬遜云科技中使用Redshift,每天用來處理EB級數據。
在過去的幾年里,Amazon Redshift的用例已經發(fā)生變化。為應對這種變化,亞馬遜云科技持續(xù)對Amazon Redsfhit進行架構改進,來保持其行業(yè)領先。通過分層存儲、多集群自動擴展、跨集群數據共享以及AQUA查詢加速層等創(chuàng)新,Redshift提高了存儲和計算的可擴展性。
Amazon Redshift Serverless是云原生數據倉庫架構創(chuàng)新的集大成者,允許客戶在無須設置和管理數據倉庫基礎設施的情況下運行和擴展數據分析。Amazon Redshift通過獨有特性(例如使用Spectrum查詢數據湖、Redshift ML)與亞馬遜云科技云服務進行廣泛整合與集成,使得它具備承擔超越傳統數據倉庫的使用場景與能力。
近日,亞馬遜云科技推出Amazon Redshift流式注入(Streaming Ingestion)功能預覽,讓客戶能夠直接從Amazon Kinesis Data Streams(一項無服務器流式數據服務,可簡化任何規(guī)模的數據流捕獲、處理和存儲)向Amazon Redshift數據倉庫中注入實時數據并分析。
Amazon Redshift流式注入功能可以讓客戶無須在Amazon Simple Storage Service(Amazon S3)中暫存數據,直接將每秒數百兆的流數據接收到Amazon Redshift數據倉庫集群并處理。
在游戲實時數據分析、在線廣告點擊流分析、零售POS機數據流分析、應用日志和網絡日志分析、物聯網設備數據分析等應用場景中,應用或者終端設備會在短時間內持續(xù)生成巨量數據流。這些數據流會被送到Amazon Kinesis Data Streams進行實時緩存并最終使用Amazon Redshift完成數據分析。
以往,客戶如果想從Amazon Kinesis Data Streams向Amazon Redshift注入實時數據,需要先在Amazon S3中暫存數據,然后使用Copy命令加載數據來構建數據管道,這一過程通常需要幾分鐘才能完成。但越來越多客戶希望能夠分析實時數據流以盡早獲得數據洞察。
Amazon Redshift流式注入功能的推出,滿足了客戶真實數據流對數據處理規(guī)模和實時性的要求;谶@一功能,客戶可以同時連接來自多個Amazon Kinesis Data Streams的數據,將實時數據直接注入Amazon Redshift?蛻羰褂矛F有工具和熟悉的SQL執(zhí)行下游處理和轉換,無須額外的成本,在幾秒鐘內從數據中獲得洞察。
Amazon Redshift流式注入大幅簡化流式數據管道構建,加速數據處理,支持以低延遲、高吞吐量訪問數據倉庫中的實時數據,幫助數據工程師、數據分析師和大數據開發(fā)者將數據分析從“批量”轉向“實時”。
目前,數以萬計的客戶每天使用Amazon Redshift處理EB級的數據,為高性能商業(yè)智能(BI)報告、儀表板應用程序、數據探索和實時分析等分析工作負載提供支持。
Amazon Redshift流式注入功能的推出將進一步豐富客戶的使用場景。客戶可將流式數據實時分析與數據倉庫中的其它數據源相結合,豐富和擴展實時分析應用場景。
Amazon Redshift流式注入功能的推出,進一步豐富了亞馬遜云科技無服務器分析產品服務不同客戶業(yè)務場景的能力,可以讓客戶無須配置、擴展或管理底層基礎設施,即可輕松地處理實時動態(tài)的數據同步,為機器學習項目提供兼具性能和成本效益的實時特征數據準備。也為企業(yè)打造現代化數據戰(zhàn)略,向數據驅動型企業(yè)邁進,提供了新的創(chuàng)新方向。
投稿郵箱:chuanbeiol@163.com 詳情請訪問川北在線:http://dstuf.com/