mirror of
https://github.com/raidendotai/cofounder
synced 2025-03-13 07:18:07 +00:00
use local llm
This commit is contained in:
parent
38fea549d3
commit
499db3df4b
@ -17,6 +17,7 @@
|
|||||||
"@google-cloud/storage": "^7.12.1",
|
"@google-cloud/storage": "^7.12.1",
|
||||||
"@resvg/resvg-js": "^2.6.2",
|
"@resvg/resvg-js": "^2.6.2",
|
||||||
"async-retry": "^1.3.3",
|
"async-retry": "^1.3.3",
|
||||||
|
"axios": "^1.7.7",
|
||||||
"colormap": "^2.3.2",
|
"colormap": "^2.3.2",
|
||||||
"cors": "^2.8.5",
|
"cors": "^2.8.5",
|
||||||
"deepmerge": "^4.3.1",
|
"deepmerge": "^4.3.1",
|
||||||
|
@ -142,7 +142,7 @@ you're a genius`,
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: `yaml`,
|
parser: `yaml`,
|
||||||
|
@ -100,7 +100,7 @@ ${prd}
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
role: "user",
|
role: "user",
|
||||||
content: `\`\`\`PRD:product-requirements-document
|
content: `\`\`\`FRD:features-requirements-document
|
||||||
${frd}
|
${frd}
|
||||||
\`\`\``,
|
\`\`\``,
|
||||||
},
|
},
|
||||||
@ -147,7 +147,7 @@ you're a genius`,
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: `yaml`,
|
parser: `yaml`,
|
||||||
|
@ -297,7 +297,7 @@ now do the analysis , write the full working script and specify the dependencies
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: messages,
|
messages: messages,
|
||||||
preparser: false,
|
preparser: false,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -108,7 +108,7 @@ you're a genius`
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`,//`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL,//`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -123,7 +123,7 @@ you're a genius`
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`,//`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL,//`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: `yaml`,
|
parser: `yaml`,
|
||||||
|
@ -461,7 +461,7 @@ async function designerLayoutv1ViewGenerate({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: analysisPassMessages,
|
messages: analysisPassMessages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: false,
|
parser: false,
|
||||||
@ -487,7 +487,7 @@ async function designerLayoutv1ViewGenerate({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: svgPassMessages,
|
messages: svgPassMessages,
|
||||||
preparser: false,
|
preparser: false,
|
||||||
parser: false,
|
parser: false,
|
||||||
@ -946,7 +946,7 @@ async function designerLayoutv1ViewIterate({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: svgIterateMessages,
|
messages: svgIterateMessages,
|
||||||
preparser: false,
|
preparser: false,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -57,9 +57,11 @@ async function opLlmGen({ context, data }) {
|
|||||||
parser = utils.parsers.parse.yaml;
|
parser = utils.parsers.parse.yaml;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
||||||
|
let isOpenAi = process.env.LLM_PROVIDER.toLowerCase() === "local" || process.env.LLM_PROVIDER.toLowerCase() === "openai"
|
||||||
const llm_fn = !process.env.LLM_PROVIDER
|
const llm_fn = !process.env.LLM_PROVIDER
|
||||||
? utils.openai.inference
|
? utils.openai.inference
|
||||||
: process.env.LLM_PROVIDER.toLowerCase() === "openai"
|
: isOpenAi
|
||||||
? utils.openai.inference
|
? utils.openai.inference
|
||||||
: utils.anthropic.inference;
|
: utils.anthropic.inference;
|
||||||
|
|
||||||
|
@ -315,7 +315,7 @@ you're a genius`,
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -118,7 +118,7 @@ you're a genius`,
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -115,7 +115,7 @@ you're a genius`,
|
|||||||
id: "op:LLM::GEN",
|
id: "op:LLM::GEN",
|
||||||
context,
|
context,
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: `yaml`,
|
parser: `yaml`,
|
||||||
|
@ -84,7 +84,7 @@ you're a genius`,
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -105,7 +105,7 @@ you are a genius`,
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -197,7 +197,7 @@ you're a genius`,
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, // `chatgpt-4o-latest`,//`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, // `chatgpt-4o-latest`,//`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -143,7 +143,7 @@ you're a genius`,
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -320,7 +320,7 @@ async function swarmAugmentBackendExternalapis({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: messagesAnalysis,
|
messages: messagesAnalysis,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: false,
|
parser: false,
|
||||||
@ -344,7 +344,7 @@ async function swarmAugmentBackendExternalapis({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: messagesImplementMerge,
|
messages: messagesImplementMerge,
|
||||||
preparser: false,
|
preparser: false,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -162,7 +162,7 @@ ${uxdmd}
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`chatgpt-4o-latest`, // `chatgpt-4o-latest`,//`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`chatgpt-4o-latest`, // `chatgpt-4o-latest`,//`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: `yaml`,
|
parser: `yaml`,
|
||||||
@ -490,7 +490,7 @@ you're a genius`,
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`chatgpt-4o-latest`, // `chatgpt-4o-latest`,//`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`chatgpt-4o-latest`, // `chatgpt-4o-latest`,//`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: `yaml`,
|
parser: `yaml`,
|
||||||
|
@ -104,7 +104,7 @@ You're a genius do a great job`,
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, // `chatgpt-4o-latest`,//`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, // `chatgpt-4o-latest`,//`gpt-4o`,
|
||||||
messages,
|
messages,
|
||||||
preparser: `backticks`,
|
preparser: `backticks`,
|
||||||
parser: `yaml`,
|
parser: `yaml`,
|
||||||
|
@ -205,7 +205,7 @@ async function webappRootGenerate({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: messages,
|
messages: messages,
|
||||||
preparser: false,
|
preparser: false,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -205,7 +205,7 @@ async function webappStoreGenerate({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: messages,
|
messages: messages,
|
||||||
preparser: false,
|
preparser: false,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
@ -513,7 +513,7 @@ async function webappViewGenerate({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: messagesFunctional,
|
messages: messagesFunctional,
|
||||||
preparser: false,
|
preparser: false,
|
||||||
parser: false,
|
parser: false,
|
||||||
@ -699,7 +699,7 @@ async function webappViewGenerate({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: messagesRedesign,
|
messages: messagesRedesign,
|
||||||
preparser: false,
|
preparser: false,
|
||||||
parser: false,
|
parser: false,
|
||||||
@ -1251,7 +1251,7 @@ async function webappViewIterate({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: promptMessagesNoDesigner,
|
messages: promptMessagesNoDesigner,
|
||||||
preparser: false,
|
preparser: false,
|
||||||
parser: false,
|
parser: false,
|
||||||
@ -1415,7 +1415,7 @@ async function webappViewIterate({ context, data }) {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
data: {
|
data: {
|
||||||
model: `chatgpt-4o-latest`, //`gpt-4o`,
|
model: process.env.LOCAL_INFERENCE_MODEL, //`gpt-4o`,
|
||||||
messages: mesagesIterateWithDesigner,
|
messages: mesagesIterateWithDesigner,
|
||||||
preparser: false,
|
preparser: false,
|
||||||
parser: false,
|
parser: false,
|
||||||
|
Loading…
Reference in New Issue
Block a user