亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

從互聯網獲取數據

創建Python虛擬環境

免費的chatgpt網站

流式VS非流式對比介紹 ? ?

非流式輸入的問題：
? ? 當你從OpenAI請求一個完成內容時，如果你在生成長的完成內容，等待響應可能需要幾秒鐘的時間。影響用戶體驗。 ? ? ??

流式： ? ? ? ?

http請求：一問一答模式 ? ? ?

?? ?? ? ? ? ?? ?

SSE
? ? 服務其發送事件（Server-sent events ,簡稱SSE），服務器向客戶端推送數據，客戶端通過事件監聽器接收數據。
? ? 嚴格地說，Http協議無法做到服務器主動推送信息，但是，有一種變通方法，就是服務器向客戶端聲明，接下來要發送的是流信息（streaming）。
? ? 也就是說，發送的不是一次性的數據包，而是一個數據流，會連續不斷地發送過來。這時，客戶端不會關閉連接，會一直等著服務器發過來的新的數據流，視頻播放就是這樣的例子。本質上，這種通信就是以流信息的方式，完成一次用時很長的下載。

向OpenAI請求流式輸出
? ? 1、要流式傳輸完成內容，請在調用聊天完成或完成端點時設置stream=True.
? ? 2、使用openai-python庫解析 ? ?

OpenAI流式請求的缺點：
? ? 1、內容審查問題。請注意，在生產應用程序中使用stream=True會使內容的審核變得更加困難，因為部分完成內容可能更難評估。
? ? ??? 向C端用戶提供服務的時候，需要注意內容審查問題。
? ? 2、無usage字段。流式響應的另一個小缺點是響應不在包括usage字段，告訴你消耗了多少令牌。在接收和組合所有響應后，你可以使用tiktoken自己計算這一點

總結：
? ? 簡單來說：這種流式傳輸方式使得客戶端在長內容生成過程中無需等待整個內容完成，就可以逐步接受到生成的內容，從而提高了響應速度和用戶體驗。 ? ?

了解Embeddings ? ?

什么是Embeddings？（收費）

?Embeddings(嵌入)在自然語言處理（NLP）中起著至關重要的作用，他們的主要目的是將高維、離散的文本數據（如單詞或短語）轉換為低維、連續的向量表示。這些向量不僅編碼了詞本身的含義，還捕捉到了詞語之間的語義和句法關系。通過Embeddings，原本難以直接處理的文本數據可以被機器學習模型理解和操作。

? ? 它就是將 【不可計算】【非結構化】的詞轉化為【可計算】【結構化】的向量。
? ?
? ? 把文本數據翻譯成機器能識別的語言 ??

?

為什么需要將詞或句子轉成Embeddings？
? ? 1、保留語義信息
? ? 2、簡化模型輸入
? ? 3、便于計算和優化
? ? 4、下游任務泛化能力 ? ?

Embeddings在OpenAI中的使用
? ? 1、創建嵌入向量：通過調用OpenAI的API,您可以創建一個代表輸入文本的嵌入向量。
? ? 2、請求方法及URL
? ? https://api.openai.com/v1/embeddings
? ? 3、請求參數：
? ? input:必填
? ? model：必填 text-embedding-ada-002 ? ?

應用：
? ? 1、搜索（通過與查詢字符串的相關性對結果進行排序）
? ? 2、聚類（根據相似性將文本字符串分組）
? ? 3、推薦（推薦具有相關文本字符串的項目）
? ? 3、異常檢測（識別與其他項關聯度較低的離群點）
? ? 4、多樣性測量（分析相似性分布）
? ? 5、分類(根據最相似標簽對文本字符串進行分類) ? ?

學會給OpenAI大模型下達指令 ??

Comletions ?API
? ?補全，即補全用戶輸入的內容。它允許用戶輸入一段文本（prompt），然后由AI模型自動生成接下來的文本內容。
? ?也叫補全接口或完成接口
? ?應用
? ?Chat Completions API
? ?特性：
? ?1、對話歷史管理：能記住之前的對話內容，以便生成連貫的回答
? ?2、適應性回復：模型會根據對話的上下文來調整其回答的風格和內容
? ?3、更加自然的交流：生成的文本更符合人類的聊天習慣，包括非正式的語言、俚語等。 ? ?

OpenAI大模型家族介紹 ? ?

模型概覽：
? ?多模態大模型：具有多種能力的大模型
? ?文本大模型：文生文
? ?視覺大模型：文生圖
? ?語音大模型：文轉語音，或語音轉文本
? ?Embedding大模型：將文本轉換成浮點數，方便計算機理解文本的含義。常用于比較兩段文本的相似度。
? ?審查大模型：常用于檢查文本是否包含敏感信息，或者文本是否違背人類的價值觀。 ??

?

多模態大模型
? ?GPT-4是一個大型多模態模型（接受文本或圖像輸入并輸出文本），它可以比我們以前的任何模型都更準確地解決難題，這得益于它更廣泛的通用知識和更高級的推理能力。收費使用，針對聊天進行了優化。
? ?多語言能力

?應用：
? ?文本大模型:GPT-3.5
? ?推薦使用GPT-3.5-turbo而不是其他GPT-3.5模型，因為它成本更低，性能更優
? ?視覺大模型:DALL*E
? ?語音大模型:TTS、Whisper
? ?Embedding大模型:Embeddings是文本的數值表示，可以用于衡量兩段文本之間的相關性。Embdedding對于搜索、聚類、推薦、異常檢測和分類任務很有用。
? ?審查大模型:Moderation ? ?

OpenAI大模型家族介紹 ? ?

不能訪問Open ? AI怎么辦？ ? ?

了解Embeddings ? ?

流式VS非流式對比介紹 ? ?

項目實戰 ? ?

流式輸出的場景：

1. 需要大模型執行一段時間的情況，避免用戶等待，可以一點一點的輸出

非流式：

使用的是http請求，不能主動向客戶端推送數據

流式：----SSE：服務器發送事件

響應結構：

非流式響應結構：

object的結構差異：

非流式=chat.completion

流式=chat.completion.chunk

choices的結構差異：

非流式=index、message.role、message.content、logprobs、finish_reason

流式=index、delta.role、delta.content、finish_reason

usage差異：

非流式=prompt_tokens、completion_tokens、total_tokens

流式=沒有該參數

逐行讀取流式返回結果：

1. bit類型=>字符串:? line.decode('utf-8').lstrip('data: ')

2. 字符串=>字典(json) : json.loads()

print使用知識點：

默認輸出后會帶換行符，如果不需要換行，需要執行換行符類型

print(str, end=''): 不換行直接輸出

openai-python庫： 使用支持SSE協議的已有客戶端庫，簡化實現邏輯

處理返回結果

embeddings 是什么和有什么用

怎么用：

使用示例：

響應：

響應參數說明：

常用模型：

模型使用代碼

應用場景：

SerpAPI是一種 Pyhon 工具，提供 SerpAPI Google 搜索引擎結果 AP|和 SerpAPI 必應搜索引擎結果 API 的 包裝器你可以使用該工具從多種不同的搜索引擎(包括 Google 和必應)中檢索搜索結果。

https://serpapi.com/search-api

不輸出換行符：print("輸出", end='')

使用openai-python庫

流式輸出時，可設置滑動窗口實現內容審查

使用tiktoken庫計算token消耗

角色：

????system

????user

????assistant

openai-python

????pip install openai

環境變量設置KEY

1個token≈4個英文字符

1個token≈3/4個單詞

100個token≈75個單詞

OPENAI大模型家族：

????多模態大模型：

????????GPT-4

????????GPT-4 Turbo版{剪枝和蒸餾后的版本}

????文本大模型

????????GPT-3.5

????視覺大模型

????????DALL·E

????語音大模型

????????TTS

????????Whisper

????Embedding大模型

????????text-embedding-ada-002

????審查大模型

????????Moderation

一、輸入約束

二、輸出約束

一般的響應格式： response.choices[0].message.content

通過messages角色設定的內容，告訴大模型之前的數據

openAI 的api調用

推薦項目

AutoGPT: https://github.com/Significant-Gravitas/AutoGPT

GPT-Engineer：?https://github.com/gpt-engineer-org/gpt-engineer

ChatGPT-Next-Web: https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web