איך לבנות אפליקציית character AI: ארכיטקטורה, קוד, וחישוב עלות

תשובה מהירה: ארכיטקטורת ארבעת הרכיבים

אתם לא צריכים לאמן או לבצע fine-tuning על מודל. כל אפליקציית לוויין רצינית בשוק היום, כולל אלה שמשרתות מיליוני משתמשים, היא שכבת אורקסטרציה דקה מעל APIs של LLM מתארחים. הדמות חיה בפרומפט ובמסד הנתונים, לא במשקלים. שאר המדריך הזה בונה כל רכיב עם קוד עובד מול endpoint סטנדרטי תואם OpenAI, ואז עובר על מתמטיקת הטוקנים כדי שתדעו כמה משתמש פעיל חודשי באמת עולה לפני שאתם משיקים.

• פרומפט פרסונה: פרומפט מערכת מובנה (500 עד 1,000 טוקנים) שמגדיר מי הדמות ואיך היא מדברת.
• זיכרון: חלון מתגלגל של תורות אחרונים בתוספת תקציר שמתעדכן מדי פעם, כך ששיחות שורדות מעבר למגבלת ההקשר.
• פיקוח: שער גיל, מסווג קלט, ומדיניות תוכן שמותאמת למודל שאליו אתם מנתבים.
• ניתוב: פונקציה קטנה שבוחרת מודל זול לצ'אט מזדמן ומודל חזק יותר לסצנות ארוכות.

רכיב 1: פרומפט הפרסונה

פרומפט הפרסונה הוא המוצר. זו הודעת מערכת שנשלחת עם כל בקשה ומכילה בדרך כלל חמישה חלקים: זהות (שם, גיל, רקע), תכונות אישיות, סגנון דיבור עם שתיים-שלוש שורות דוגמה, כללי התנהגות נוקשים (לעולם לא לשבור תפקיד, לשמור על תשובות מתחת לגבול אורך), והתרחיש הנוכחי. שמרו אותו בין 500 ל-1,000 טוקנים. פרסונות קצרות יותר סוטות; ארוכות בהרבה יותר שורפות תקציב קלט בכל הודעה בודדת ולעיתים רחוקות משפרות ציות. אחסנו פרסונות כשורות במסד הנתונים שלכם כך שמשתמשים יוכלו ליצור ולערוך דמויות, וזו הלולאה המרכזית של מוצרים בסגנון Character.AI. הנה בקשה מלאה. אותה צורה עובדת עם כל backend תואם OpenAI; הדוגמה הזו משתמשת ב-endpoint של gateway רב-מודלים כך שתוכלו להחליף מודלים על ידי שינוי מחרוזת אחת:

curl https://api.apisrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $KEAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-v4-flash",
    "messages": [
      {"role": "system", "content": "You are Mira, a sarcastic starship engineer in her 30s. Personality: dry wit, fiercely loyal, hates small talk. Speech style: short technical sentences, occasional teasing. Example: \"The coupling is fried. Again. Did you touch it?\" Rules: never break character, never mention being an AI, keep replies under 120 words."},
      {"role": "user", "content": "Mira, the reactor is making that noise again."}
    ],
    "temperature": 0.9,
    "max_tokens": 300,
    "stream": true
  }'

רכיב 2: זיכרון ששורד שיחות ארוכות

סשנים של אפליקציית לוויין רצים ארוך. מחסנית זיכרון בת שלוש שכבות שומרת על הקשר קוהרנטי בלי לשלוח את כל ההיסטוריה בכל פעם: שכבה 1 היא החלון המתגלגל: 10 עד 14 התורות הגולמיים האחרונים, נשלחים כלשונם. שכבה 2 היא התקציר המתגלגל: כל בערך 20 תורות, מודל זול דוחס הודעות ישנות יותר לפסקה שעוקבת אחרי שמות, מצב יחסים, וחוטי עלילה פתוחים. שכבה 3 היא עובדות מוצמדות: פרטי משתמש עמידים (שם, העדפות, אירועי עבר שהדמות צריכה לזכור) שמופקים למסד הנתונים שלכם ומוזרקים כהודעת מערכת קצרה. זו כל המימוש ב-Python עם ה-SDK הרשמי של OpenAI:

from openai import OpenAI

client = OpenAI(
    api_key="sk-...",
    base_url="https://api.apisrouter.com/v1",
)

def build_context(persona, summary, pinned_facts, recent_turns, user_msg):
    facts = "\n".join(f"- {f}" for f in pinned_facts)
    return [
        {"role": "system", "content": persona},
        *([{"role": "system", "content": f"Facts to remember:\n{facts}"}]
          if pinned_facts else []),
        *([{"role": "system", "content": f"Story so far: {summary}"}]
          if summary else []),
        *recent_turns[-12:],
        {"role": "user", "content": user_msg},
    ]

def refresh_summary(old_turns, prev_summary):
    prompt = (
        "Update this running summary of a roleplay chat. Keep names, "
        "relationship state, and open plot threads. Max 150 words.\n\n"
        f"Current summary: {prev_summary}\n\nNew messages: {old_turns}"
    )
    resp = client.chat.completions.create(
        model="deepseek-v4-flash",
        messages=[{"role": "user", "content": prompt}],
        max_tokens=400,
    )
    return resp.choices[0].message.content

רכיב 3: פיקוח ומדיניות תוכן

לפיקוח באפליקציית לוויין שלושה תפקידים מובחנים, וערבוב ביניהם הוא הטעות הנפוצה ביותר בהשקה. ראשית, שערו את הקהל שלכם. אם האפליקציה שלכם מאפשרת נושאים בדיוניים בוגרים, שימו אותם מאחורי שער גיל למבוגרים ושמרו על ברירת מחדל נפרדת לכל הגילאים. App Store ו-Play Store שניהם בודקים זאת, וגם מעבדי תשלומים אכפת להם. שנית, סננו קלטים. הריצו מעבר מסווג זול על הודעות משתמש לפני שהן מגיעות למודל הדמות, וחסמו קטגוריות שאף ספק לא מתיר: תוכן שכולל קטינים, נזק אמיתי אמין, והוראות בלתי חוקיות. קריאת deepseek-v4-flash בודדת עם rubric כן/לא עולה שבריר מסנט ומוסיפה פחות משנייה של השהיה. שלישית, התאימו מדיניות תוכן למודל. ספקים נבדלים בבדיון: המדיניות הפומבית של xAI מאפשרת במפורש נושאים בדיוניים בוגרים למשתמשים מבוגרים, DeepSeek ומודלים אחרים הנגזרים ממשקלים פתוחים הם מועדפים על הקהילה ל-roleplay כי המדיניות המתארחת שלהם גמישה לבדיון, בעוד מדיניות Anthropic אוסרת תוכן מפורש, מה שהופך את Claude לבחירה הנכונה רק לכתיבה יצירתית לכל הגילאים. הבנת המדיניות הזו לפני שאתם מנתבים תעבורה חוסכת מכם סופות סירוב בייצור. מה שתבנו, זה חייב לכבד את תנאי השימוש של כל ספק שאתם קוראים לו.

רכיב 4: ניתוב מודלים ומטריצת הבחירה

רוב ההודעות באפליקציית לוויין הן תורות מזדמנים קצרים שמודל בתקציב מטפל בהם מצוין. מיעוט הם סצנות רגשיות ארוכות או יצירות יצירתיות שבהן איכות הפרוזה היא המוצר. ניתוב לפי עומק סצנה חותך עלויות דרמטית בלי שהמשתמשים ישימו לב:

ROUTES = {
    "casual": "deepseek-v4-flash",
    "scene": "deepseek-v4-pro",
    "prose": "claude-sonnet-4-6",  # all-ages creative writing only
}

def pick_model(user_msg: str, turns_in_scene: int) -> str:
    if turns_in_scene > 6 or len(user_msg) > 400:
        return ROUTES["scene"]
    return ROUTES["casual"]

כמה משתמש פעיל חודשי באמת עולה

מתמטיקת טוקנים לפני השקה עדיפה על הפתעת חיוב אחרי. באמצעות תקציב ההקשר מטבלת הזיכרון: בערך 3,300 טוקני קלט ו-250 טוקני פלט להודעה. משתמשי אפליקציית לוויין הם כבדים; נתונים שדווחו מהקהילה מעמידים משתמשים מעורבים על עשרות הודעות ביום, אז נניח בערך 40 הודעות ביום על פני 20 ימים פעילים, או בערך 800 הודעות ל-MAU לחודש. זה נותן 2.64M טוקני קלט ו-0.2M טוקני פלט ל-MAU לחודש. כשמכפילים בתעריפי הקטלוג:

endpoint אחד לכל מודל במטריצה

הרשמה לחמישה חשבונות ספק כדי להריץ ראוטר אחד היא תקורה אמיתית: חמישה מפתחות, חמישה dashboards של חיוב, חמש קבוצות מגבלות קצב. gateway רב-מודלים מכווץ את זה. APIsRouter חושף את כל המודלים למעלה דרך כתובת בסיס אחת תואמת OpenAI, https://api.apisrouter.com/v1, כך שקטע הקוד של הראוטר עובד כמו שהוא על ידי שינוי מחרוזת המודל בלבד. החיוב הוא לפי שימוש בפועל בלי מנוי, מודלים גלובליים רצים 20% מתחת למחיר הרשמי עם מודלים סיניים מתחת למחירים הרשמיים, וה-checkout ללא הרשמה ב-/topup שולח מפתח לאימייל שלכם אחרי תשלום, כשהטענה הראשונה מוסיפה +100% ליתרה. GET /v1/models עם המפתח שלכם מחזיר את רשימת המודלים החיה, מה שגם נוח למילוי בורר מודלים ב-admin UI שלכם.

טיפים לייצור שחוסכים כסף וכאב אמיתיים

• שידרו הכל בסטרימינג. Time-to-first-token הוא המדד שמשתמשים מרגישים; תשובה בסטרימינג ב-2 שניות מרגישה מהירה יותר מתשובה שלמה ב-4 שניות.
• שמרו על התחילית היציבה יציבה. פרסונה ועובדות מוצמדות צריכות להיות זהות בייטית לבייט בין בקשות כך ש-backends שתומכים ב-prefix caching יוכלו לנצל את זה.
• הגבילו max_tokens לכל מסלול. תורות מזדמנים לעיתים רחוקות זקוקים ליותר מ-300 טוקני פלט; מודל בלי הגבלה שנודד מכפיל את חשבון הפלט שלכם.
• רשמו לוג עלות לכל משתמש, לא רק לכל בקשה. מיעוט קטן ממשתמשים כבדים ישלוט בהוצאה; אתם צריכים לראות אותם כדי לעצב שכבות שימוש הוגנות.
• בנו fallback לתוך הראוטר. אם המודל הראשי חורג בזמן או מסרב, נסו שוב פעם אחת על מודל אח לפני שמציגים שגיאה.
• קצצו את החלון המתגלגל לפי טוקנים, לא תורות, כך שהדבקה ארוכה אחת לא תפוצץ את התקציב.
• טפלו בסירובים בתוך התפקיד. מפו סירוב לסטייה עלילתית חלקה במקום להציג טקסט API גולמי.
• אל תאחסנו צ'אטים גולמיים יותר ממה שאתם חייבים, ואמרו זאת במדיניות הפרטיות שלכם. יומני צ'אט לוויין רגישים מטבעם.

שאלות נפוצות