利用 Amazon SageMaker JumpStart 微調 AI 模型實測　配置簡易且低成本高效益

Recorded Date: 2025-01-23T07:20:08.453Z

Tags: Tech/Prog/Ai

Source: here

Amazon Bedrock 是一項完全託管服務，透過 API 提供來自 Anthropic、Meta、Mistral AI、Stability AI 和 Amazon 等領先 AI 公司的高效基礎模型 (Foundation Model)。今次將實測如何將 Amazon Bedrock 與經過 Amazon SageMaker 訓練或微調的模型一起使用，整項配置由微調到部署都毋須代碼。
以前如果想在 Amazon Bedrock 中使用自己的自訂微調模型，則必須在 SageMaker 中自行管理推理基礎設施，或直接在 Amazon Bedrock 上訓練模型，當中牽涉的輸送量 (throughput) 費用高昂。現在，Amazon Bedrock 支援導入自訂模型，而用戶更可以在 SageMaker JumpStart 中訓練或微調現有模型並導到 Amazon Bedrock。
廣告（請繼續閱讀本文）
實測須知及先決條件
現時為止，Amazon Bedrock 支援導入以下自訂模型:
Mistral
Flan
Meta Llama 2 and Llama 3
有意進行實測者，需確認擁有具有 Amazon SageMaker Studio 和 Amazon Bedrock 存取許可權的 AWS 帳戶。而本文章會使用 Hugging Face Flan-T5 Base 模型。

Quck comment:

other than google cloud, try to explore more on other cloud service providers

Quck tags:

__test, __hand_input, ai, aws, fine_tune

Preview?: false

My Post meta: {"params keys":["id"]}

My Post details: 147

{
    "data": {
        "id": 147,
        "attributes": {
            "title": "利用 Amazon SageMaker JumpStart 微調 AI 模型實測　配置簡易且低成本高效益",
            "url": "https://today.line.me/hk/v2/article/LX9PEJG",
            "dateHappened": "2025-01-23T07:20:08.453Z",
            "content": [
                {
                    "type": "paragraph",
                    "children": [
                        {
                            "text": "\nAmazon Bedrock 是一項完全託管服務，透過 API 提供來自 Anthropic、Meta、Mistral AI、Stability AI 和 Amazon 等領先 AI 公司的高效基礎模型 (Foundation Model)。今次將實測如何將 Amazon Bedrock 與經過 Amazon SageMaker 訓練或微調的模型一起使用，整項配置由微調到部署都毋須代碼。\n以前如果想在 Amazon Bedrock 中使用自己的自訂微調模型，則必須在 SageMaker 中自行管理推理基礎設施，或直接在 Amazon Bedrock 上訓練模型，當中牽涉的輸送量 (throughput) 費用高昂。現在，Amazon Bedrock 支援導入自訂模型，而用戶更可以在 SageMaker JumpStart 中訓練或微調現有模型並導到 Amazon Bedrock。\n廣告（請繼續閱讀本文）\n實測須知及先決條件\n現時為止，Amazon Bedrock 支援導入以下自訂模型:\nMistral\nFlan\nMeta Llama 2 and Llama 3\n有意進行實測者，需確認擁有具有 Amazon SageMaker Studio 和 Amazon Bedrock 存取許可權的 AWS 帳戶。而本文章會使用 Hugging Face Flan-T5 Base 模型。",
                            "type": "text"
                        }
                    ]
                }
            ],
            "meta": {
                "quckTag": "__test, __hand_input, ai, aws, fine_tune",
                "quckComment": "other than google cloud, try to explore more on other cloud service providers"
            },
            "public": false,
            "createdAt": "2025-01-23T07:22:38.582Z",
            "updatedAt": "2025-01-23T07:22:40.535Z",
            "publishedAt": "2025-01-23T07:22:37.845Z",
            "locale": "zh-Hant-HK",
            "tags": {
                "data": [
                    {
                        "id": 2,
                        "attributes": {
                            "name": "Tech/Prog/Ai",
                            "count": null,
                            "description": "AI, LLM, GPT... etc",
                            "createdAt": "2024-08-08T01:34:23.789Z",
                            "updatedAt": "2024-08-08T01:34:23.789Z",
                            "publishedAt": "2024-08-08T01:37:20.049Z",
                            "locale": "zh-Hant-HK"
                        }
                    }
                ]
            }
        }
    },
    "meta": {}
}

利用 Amazon SageMaker JumpStart 微調 AI 模型實測 配置簡易且低成本高效益

Sidebar

利用 Amazon SageMaker JumpStart 微調 AI 模型實測　配置簡易且低成本高效益