openai gpt-4o-with-canvas

相关链接:

https://openai.com/index/introducing-canvas/

1. 特点(解决问题)

canvas是openai最新发布的一种人类和大模型的交互方式,相对于传统的通过聊天窗口和大模型进行交互的方式,canvas主要在写作和代码编写侧面上带来了巨大的提升。它突破了简单的聊天交互,对更复杂的项目提供的支持,例如写作和编码。

[!NOTE]
大家每天都使用Chatgpt来写作和代码。尽管聊天界面易于使用,并且可以很好地适用于许多任务,但是当我们想从事需要编辑和修订的项目时,它是有限的。canvas为这种工作提供了新的界面。
使用canvas,Chatgpt可以更好地了解你要完成的工作的背景。你可以突出显示特定的部分,以准确指出你要关注的chatgpt。就像复制编辑器或代码审阅者一样,它可以在整个项目中给出内联反馈和建议。
可以在canvas中控制项目。可以直接编辑文本或代码。通过快捷方式来要求Chatgpt调整写作长度,调试代码并快速执行其他有用的操作。通过使用canvas中的“后退”按钮来恢复工作的先前版本。
当Chatgpt检测到可能有帮助的情况时,canvas模式会自动打开。可以在提示中加入“use canvas”以打开canvas并使用它来处理现有项目。

写作方面的特点:

  • 建议编辑:CHATGPT提供内联建议和反馈。
  • 调整长度:编辑文档长度以短或更长。
  • 更改输出风格水平:调整从幼儿园到研究生院的水平。
  • 检查:检查语法,清晰度和一致性。
  • 添加表情符号:添加相关的表情符号以进行重点和颜色。

编码方面的特点:

  • 优化代码:ChatGPT提供了内联建议以改进您的代码。
  • 添加日志:插入打印语句以帮助您调试和理解代码。
  • 添加注释:将注释添加到代码中,以使其更容易理解。
  • 修复错误:检测并重写有问题的代码以解决错误。
  • 转换到一种语言:将代码转换为JavaScript,Typescript,Python,Java,C ++或PHP。

其他特点:
特点:

  • 基于gpt-4o
  • 有效提升在写作和编码方面的协作效率
  • 版本控制

2. 使用方式

openai chatgptplus用户
选择“GPT-4o with canvas”

3. 成功应用案例

3.1 演示canvas代码能力

use canvas
<角色>
你是一个优秀的程序员,正在编写一个单体python程序,这个程序将用户剪切板中的图片发送到openai的api接口用于分析图片的内容。这个程序最终会被打包成一个exe程序。
<任务>
1、程序监听用户的键盘操作,当用户按住ctrl键并且向下侧滑动鼠标滚轮时触发一个方法。
2、触发的方法负责查看用户剪切板内容是否是图片,如果是则将图片发送到api接口,否则不进行任何操作。
3、程序内置一个提示词,内容是:帮我分析图片中的内容。
4、当程序接收到api接口返回的信息时,弹出一个窗口,显示接口返回的json数据中的content信息。
<接口调用示例>
接口请求示例:

iimg_base64=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
curl http://d.frogchou.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
            "model": "gpt-4o",
            "messages": [
                {
                    "role": "user",
                    "content": [
                        {"type": "text", "text": PROMPT},
                        {
                            "type": "image_url",
                            "image_url": {
                                "url": "data:image/jpeg;base64,${img_base64}"
                            },
                        },
                    ],
                }
            ],
            "max_tokens": 300,
        }'

接口响应示例:

{
  "id": "chatcmpl-123",
  "object": "chat.completion",
  "created": 1677652288,
  "model": "gpt-4o-mini",
  "system_fingerprint": "fp_44709d6fcb",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nThis image shows a wooden boardwalk extending through a lush green marshland.",
    },
    "logprobs": null,
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 9,
    "completion_tokens": 12,
    "total_tokens": 21,
    "completion_tokens_details": {
      "reasoning_tokens": 0
    }
  }
}

4. 意义

“canvas”模式的推出,极大地提升了用户与GPT模型在写作和代码编写过程中的交互体验,为复杂项目的编辑、修改、审阅等工作提供了便利。与传统的聊天模式相比,canvas模式不仅更加直观和高效,还提供了细粒度的控制和协作能力,帮助用户更好地处理需要多次编辑和反复修改的任务。在实际应用中,canvas可以有效帮助软件开发人员进行代码优化与调试,或者为内容创作者提供有针对性的写作建议,极大地提升工作效率,减少反复沟通的成本。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注