<output id="qn6qe"></output>

    1. <output id="qn6qe"><tt id="qn6qe"></tt></output>
    2. <strike id="qn6qe"></strike>

      亚洲 日本 欧洲 欧美 视频,日韩中文字幕有码av,一本一道av中文字幕无码,国产线播放免费人成视频播放,人妻少妇偷人无码视频,日夜啪啪一区二区三区,国产尤物精品自在拍视频首页,久热这里只有精品12

      miketwais

      work up

      應(yīng)用引入LLM實(shí)踐-一次性輸出和流式輸出(思維鏈)

      在大模型應(yīng)用時(shí),有的場(chǎng)景希望根據(jù)prompt要求一次性輸出結(jié)果,有的場(chǎng)景則希望輸出整個(gè)思維過程以及最后的結(jié)果。

      這部分在網(wǎng)上看了一些文章說的都不一樣,自己嘗試了一下,正確的寫法是這樣的,記錄一下。

      一次性輸出:

      from openai import OpenAI
      
      def generate_huoshan(prompt):
          client = OpenAI(
          # 從環(huán)境變量中讀取您的方舟API Key
              api_key="**", 
              base_url="https://ark.cn-beijing.volces.com/api/v3",
              # 深度推理模型耗費(fèi)時(shí)間會(huì)較長(zhǎng),建議您設(shè)置一個(gè)較長(zhǎng)的超時(shí)時(shí)間,推薦為30分鐘
              timeout=1800,
          )
      
          response = client.chat.completions.create(
              model="deepseek-r1-250120",
              messages=[
                  {"role": "system", "content": "You are a professional market research assistant who needs to accurately obtain retail price information for specified electronic products in a specific market"},
                  {"role": "user", "content": prompt},
      
              ],
              max_tokens=1024,
              temperature=0.6,
              stream=False
          )
          answer = response.choices[0].message.content
          return answer.strip()
      View Code

      流式輸出:

      from openai import OpenAI
      
      def generate_huoshan(prompt):
          client = OpenAI(
              api_key="*", 
              base_url="https://ark.cn-beijing.volces.com/api/v3",
              # 深度推理模型耗費(fèi)時(shí)間會(huì)較長(zhǎng),建議您設(shè)置一個(gè)較長(zhǎng)的超時(shí)時(shí)間,推薦為30分鐘
              timeout=1800,
          )
      
          response = client.chat.completions.create(
          model="deepseek-r1-250120",
          messages=[
          {"role": "system", "content": "You are a professional market research assistant who needs to accurately obtain retail price information for specified electronic products in a specific market"},
          {"role": "user", "content": prompt},
      
          ],
          max_tokens=1024,
          temperature=0.6,
          stream=True
          )
      
          for chunk in response:
              delta = chunk.choices[0].delta
              # 優(yōu)先提取思維鏈內(nèi)容
              if hasattr(delta, 'reasoning_content') and delta.reasoning_content:
                  yield delta.reasoning_content
                  #print(f"[推理過程] {delta.reasoning_content}", end="\n", flush=True)
              # 處理最終回答內(nèi)容
              elif delta.content:
                  yield delta.content
                  #print(f"[最終回答] {delta.content}", end="", flush=True)
              else:
                  continue
      View Code

      外層通過這樣返回:

         def generate_stream():
              try:
                  for chunk in generate_text(model_name, prompt):
                      #yield chunk
                      yield json.dumps({"msg": "Success", "code": 200, "data": chunk})+ '\n'
                     
              except Exception as e:
                      yield json.dumps({"code": 500, "message": str(e)})+ '\n'  # Yield a JSON string
          headers = {
              'Content-Type':'text/event-stream',
              'Cache-Control': 'no-cache',
              'X-Accel-Buffering':'no',
          }
          return Response(generate_stream(), mimetype='text/event-stream',headers=headers)
      View Code

      然后,前端相應(yīng)做解析即可。

      posted @ 2025-04-10 16:56  MasonZhang  閱讀(118)  評(píng)論(0)    收藏  舉報(bào)
      主站蜘蛛池模板: 99久久99久久精品免费看蜜桃| 国产高清在线男人的天堂| 免费a级毛片无码av| 97人人模人人爽人人喊网| 九九热在线精品视频99 | 自拍偷拍视频一区二区三区| 日本边添边摸边做边爱喷水| 久久香蕉国产线看观看怡红院妓院 | 欧美和黑人xxxx猛交视频| 国产精品天干天干综合网| 国产精品成人一区二区不卡| 宁都县| 亚洲欧美综合中文| 福利视频一区二区在线| 国产一区精品在线免费看| 丁香五月亚洲综合在线国内自拍| 少妇上班人妻精品偷人| 亚洲av综合av一区| 少妇午夜啪爽嗷嗷叫视频| 亚洲国产成人综合精品| AV最新高清无码专区| 中文字幕av无码免费一区| 国产亚洲精品第一综合麻豆| 亚洲国产高清第一第二区| 亚洲熟女乱色综合一区| 亚洲欧美精品综合在线观看| 精品国产熟女一区二区三区| 国内精品伊人久久久久AV一坑 | 国产精品一线天在线播放| 亚洲精品一区二区在线播| 超清无码一区二区三区| 自拍偷亚洲产在线观看| 国产熟睡乱子伦视频在线播放| 亚洲国产成人无码av在线播放| 18成人片黄网站www| 色国产视频| 扎囊县| 少妇熟女视频一区二区三区| 亚洲人成网网址在线看| 淮安市| 午夜免费视频国产在线|