Dropstone SDK விரைவுத் தொடக்கம்

இரண்டு கிளையன்ட்கள், இரண்டு முதல் அழைப்புகள். உங்கள் குறியீடு இயங்கும் இடத்துடன் பொருந்தக்கூடிய ஒன்றைத் தேர்ந்தெடுக்கவும்; SDK கண்ணோட்டம் வித்தியாசத்தை விளக்குகிறது.

Headless: எங்கிருந்தும் ஒரு அழைப்பு

1. 1
   உங்கள் டாஷ்போர்டில் API விசைகள் பிரிவின் கீழ், அமைப்புகளில் ஒரு API விசையை உருவாக்கவும். இது dsk_live_... போல் இருக்கும், மேலும் இது ஒருமுறை மட்டுமே காட்டப்படும்.
2. 2
   SDK-ஐ நிறுவவும்: npm install @blankline/dropstone-sdk.
3. 3
   விசையை சூழலில் DROPSTONE_API_KEY ஆக வைக்கவும். அதை கடவுச்சொல் போல் கருதுங்கள்: அதை ஒருபோதும் commit செய்ய வேண்டாம், மேலும் அதை ஒருபோதும் உலாவி தொகுப்பில் அனுப்ப வேண்டாம்.
4. அதை அழைக்கவும். கிளையன்ட் சூழல் மாறியை தானாகவே படிக்கிறது.

import { createDropstoneApi } from "@blankline/dropstone-sdk"

const dropstone = createDropstoneApi()

const resp = await dropstone.chat.completions.create({
  model: "dropstone-fast",
  messages: [{ role: "user", content: "Summarise this changelog entry." }],
})

console.log(resp.choices[0].message.content)

stream: true சேர்க்கவும், அதே அழைப்பு துண்டுகளின் async iterator-ஐ திருப்பித் தரும், இது UI அல்லது நீண்ட பதிலில் நீங்கள் விரும்புவது:

const stream = await dropstone.chat.completions.create({
  model: "dropstone-fast",
  stream: true,
  messages: [{ role: "user", content: "Count to five." }],
})

for await (const chunk of stream) {
  process.stdout.write(chunk.choices?.[0]?.delta?.content ?? "")
}

முனை OpenAI-க்கு இணக்கமானது, எனவே ஏற்கனவே உள்ள கிளையன்ட் Dropstone-ஐ சுட்டிக்காட்டி வேலை செய்கிறது:

import OpenAI from "openai"

const openai = new OpenAI({
  baseURL: "https://api.dropstone.io/api/v1",
  apiKey: process.env.DROPSTONE_API_KEY,
})

API விசை கோரிக்கைகள் உங்கள் திட்ட கொடுப்பனவிலிருந்து அல்ல, உங்கள் கிரெடிட் இருப்பிலிருந்து pay-per-use அடிப்படையில் வசூலிக்கப்படுகின்றன, மேலும் காலியான இருப்பு கொண்ட விசை மேல்-அப் இணைப்புடன் மறுக்கப்படுகிறது. உங்கள் திட்டத்துடன் API-ஐப் பயன்படுத்துதல் பார்க்கவும்.

உள்ளூர்: ஏஜென்ட், உங்கள் செயல்பாட்டில்

உள்ளூர் கிளையன்ட் ஒரு dropstone serve செயல்முறையைத் தொடங்குகிறது, அதைச் சுட்டிக்காட்டும் typed கிளையன்ட்டை உங்களுக்கு வழங்குகிறது, மேலும் நீங்கள் முடித்ததும் அதை மூடுகிறது. இது உங்கள் கணக்காக இயங்குவதால், அமர்வுகள் உங்கள் நினைவகத்தைக் கொண்டு செல்கின்றன.

1. 1
   Dropstone CLI நிறுவி dropstone login மூலம் உள்நுழையவும். SDK அதே உள்நுழைவைப் படிக்கிறது.
2. ஒரு அமர்வை உருவாக்கவும், பின்னர் அதற்கு ஒரு கேள்வியை அனுப்பவும்.

import { createDropstone } from "@blankline/dropstone-sdk"

const { client, server } = await createDropstone()

const session = await client.session.create({
  body: { agent: "build", model: { providerID: "dropstone", modelID: "dropstone-pro" } },
})

const reply = await client.session.prompt({
  path: { id: session.data.id },
  body: { parts: [{ type: "text", text: "Hello, who are you?" }] },
})

console.log(reply.data)
await server.close()

ஒரு சர்வர் ஏற்கனவே இயங்குகிறது என்றால், spawn-ஐ தவிர்க்கவும்:

import { createDropstoneClient } from "@blankline/dropstone-sdk"

const client = createDropstoneClient({ baseUrl: "http://127.0.0.1:4096" })

உதவிக்குறிப்புகள்

• பதிப்பு வரம்பை பின் செய்யவும். SDK வேகமான வேகத்தில் வெளியிடப்படுகிறது, எனவே சமீபத்திய குறிச்சொல்லை விட நீங்கள் சோதித்த வரம்பைச் சார்ந்திருங்கள்.
• புதிய குறியீட்டிற்கு v2 பயன்படுத்தவும். @blankline/dropstone-sdk/v2 என்பது புதிய முனைகள் வந்திறங்கும் மேற்பரப்பு; v1 ஏற்கனவே உள்ள ஒருங்கிணைப்புகளுக்கு இருக்கும்.
• ஒரு pipeline-இன் கற்றலை உங்கள் சொந்த நினைவகத்திலிருந்து விலக்கி வைக்கவும். ஒரு headless அழைப்பில் எந்த நினைவகமும் இணைக்கப்படவில்லை, மேலும் ஒரு உள்ளூர் அமர்வு நீங்கள் உள்நுழைந்த கணக்கைப் பயன்படுத்துகிறது. ஒரு ஒருங்கிணைப்புக்கு அதன் சொந்த நினைவகம் இருக்க வேண்டும் என்றால், அதற்கு அதன் சொந்த கணக்கைக் கொடுங்கள். ஒவ்வொரு மேற்பரப்பிலும் ஒரே நினைவகம் பார்க்கவும்.

வரம்புகள்

• உள்ளூர் கிளையன்ட் அதே இயந்திரத்தில் CLI தேவை; அது இல்லாத ஹோஸ்ட் headless கிளையன்ட்டைப் பயன்படுத்த வேண்டும்.
• Headless முனை chat completions ஆகும். ஏஜென்ட் லூப், கோப்பு செயல்பாடுகள் மற்றும் பணியிட கருவிகள் உள்ளூர் கிளையன்ட்டில் உள்ளன.