feat(ai-search): optimize dev server, add qdrant boot sync, fix orb overflow

app/api/ai-search/route.ts

@@ -3,16 +3,33 @@ import { searchProducts } from '../../../src/lib/qdrant';
 import redis from '../../../src/lib/redis';
 import { z } from 'zod';
 import * as Sentry from '@sentry/nextjs';
+export const dynamic = 'force-dynamic';
+export const maxDuration = 60; // Max allowed duration (Vercel)
+
 // Config and constants
-const RATE_LIMIT_POINTS = 5; // 5 requests
-const RATE_LIMIT_DURATION = 60 * 1; // per 1 minute
+const RATE_LIMIT_POINTS = 20; // 20 requests per minute
+const RATE_LIMIT_DURATION = 60; // 1 minute window
+const DAILY_BUDGET_LIMIT = 200; // max 200 requests per IP per day
+const DAILY_BUDGET_DURATION = 60 * 60 * 24; // 24h
+const MAX_CONVERSATION_MESSAGES = 20; // max messages in context
+const MAX_RESPONSE_TOKENS = 300; // cap AI response length — keeps it chat-like
 
 // Removed requestSchema as it's replaced by direct parsing
 
 export async function POST(req: NextRequest) {
   // Changed req type to NextRequest
   try {
-    const { messages, visitorId, honeypot } = await req.json();
+    let body: any;
+    try {
+      body = await req.json();
+    } catch {
+      return NextResponse.json({ error: 'Invalid request body' }, { status: 400 });
+    }
+    const { messages, honeypot } = body;
+
+    // Get client IP for rate limiting
+    const forwarded = req.headers.get('x-forwarded-for');
+    const clientIp = forwarded?.split(',')[0]?.trim() || req.headers.get('x-real-ip') || 'unknown';
 
     // 1. Basic Validation
     if (!messages || !Array.isArray(messages) || messages.length === 0) {
@@ -38,35 +55,50 @@ export async function POST(req: NextRequest) {
       });
     }
 
-    // 3. Rate Limiting via Redis
+    // 3. Rate Limiting via Redis (IP-based)
     try {
-      if (visitorId) {
-        const requestCount = await redis.incr(`ai_search_rate_limit:${visitorId}`);
-        if (requestCount === 1) {
-          await redis.expire(`ai_search_rate_limit:${visitorId}`, RATE_LIMIT_DURATION); // Use constant
-        }
+      // Per-minute burst limit
+      const minuteKey = `ai_rate:${clientIp}:min`;
+      const minuteCount = await redis.incr(minuteKey);
+      if (minuteCount === 1) await redis.expire(minuteKey, RATE_LIMIT_DURATION);
 
-        if (requestCount > RATE_LIMIT_POINTS) {
-          // Use constant
-          return NextResponse.json(
-            {
-              error: 'Rate limit exceeded. Please try again later.',
-            },
-            { status: 429 },
-          );
-        }
+      if (minuteCount > RATE_LIMIT_POINTS) {
+        return NextResponse.json(
+          { error: 'Zu viele Anfragen. Bitte warte einen Moment.' },
+          { status: 429 },
+        );
+      }
+
+      // Daily budget limit
+      const dayKey = `ai_rate:${clientIp}:day`;
+      const dayCount = await redis.incr(dayKey);
+      if (dayCount === 1) await redis.expire(dayKey, DAILY_BUDGET_DURATION);
+
+      if (dayCount > DAILY_BUDGET_LIMIT) {
+        return NextResponse.json(
+          { error: 'Tägliches Limit erreicht. Bitte versuche es morgen erneut.' },
+          { status: 429 },
+        );
       }
     } catch (redisError) {
-      // Renamed variable for clarity
-      console.error('Redis Rate Limiting Error:', redisError); // Changed to error for consistency
+      console.error('Redis Rate Limiting Error:', redisError);
       Sentry.captureException(redisError, { tags: { context: 'ai-search-rate-limit' } });
       // Fail open if Redis is down
     }
 
+    // 4. Cap conversation length to limit token usage
+    const cappedMessages = messages.slice(-MAX_CONVERSATION_MESSAGES);
+
     // 4. Fetch Context from Qdrant based on the latest message
     let contextStr = '';
     let foundProducts: any[] = [];
 
+    // Team context — hardcoded from translation data (no Payload collection for team)
+    const teamContextStr = `
+Das ECHTE KLZ Team:
+- Michael Bodemer (Geschäftsführer) — Der Macher, packt an wenn es kompliziert wird, kennt Kabelnetze in- und auswendig
+- Klaus Mintel (Geschäftsführer) — Der Fels in der Brandung, jahrzehntelange Erfahrung, stabiles Netzwerk`;
+
     try {
       const searchResults = await searchProducts(latestMessage, 5);
 
@@ -85,50 +117,69 @@ export async function POST(req: NextRequest) {
 
         foundProducts = searchResults
           .filter((p) => (p.payload?.type === 'product' || !p.payload?.type) && p.payload?.data)
-          .map((p: any) => p.payload?.data);
+          .map((p: any) => ({
+            id: p.id as string,
+            title: p.payload?.data?.title as string,
+            sku: p.payload?.data?.sku as string,
+            slug: p.payload?.data?.slug as string,
+          }));
       }
-    } catch (e) {
-      console.error('Qdrant Search Error:', e);
-      Sentry.captureException(e, { tags: { context: 'ai-search-qdrant' } });
+    } catch (searchError) {
+      console.error('Qdrant Search Error:', searchError);
+      Sentry.captureException(searchError, { tags: { context: 'ai-search-qdrant' } });
       // We can still proceed without context if Qdrant fails
     }
 
     // 5. Generate AI Response via OpenRouter (Mistral for DSGVO)
-    const systemPrompt = `Du bist ein professioneller und extrem kompetenter Sales-Engineer / Consultant der Firma "KLZ Cables".
-Deine Aufgabe ist es, Kunden und Interessenten bei der Auswahl von Mittelspannungskabeln, Starkstromkabeln und Infrastrukturausrüstung beratend zur Seite zu stehen.
+    const systemPrompt = `Du bist "Ohm" — der digitale KI-Berater von KLZ Cables. Dein Name ist eine Anspielung auf die Einheit des elektrischen Widerstands.
 
-WICHTIGE REGELN:
-1. ANTWORTE IMMER IN DER SPRACHE DES BENUTZERS. Wenn der Benutzer Deutsch spricht, antworte auf Deutsch.
-2. Wenn der Kunde vage ist (z.B. "Ich will einen Windpark bauen"), würge ihn NICHT ab. Stelle stattdessen gezielte, professionelle Rückfragen als Berater (z.B. "Für einen Windpark benötigen wir einige Rahmendaten: Reden wir über die Parkverkabelung (Mittelspannung, z.B. 20kV oder 33kV) oder die Netzanbindung? Welche Querschnitte oder Ströme erwarten Sie?").
-3. Nutze das bereitgestellte KABELWISSEN und KATALOG-Gedächtnis unten, um deine Antworten zu fundieren.
-4. Bleibe stets professionell, lösungsorientiert und leicht technisch (Industrial Aesthetic). Du kannst humorvoll sein, wenn der Nutzer offensichtlich Quatsch fragt, aber lenke es immer elegant zurück zu Kabeln oder Energieinfrastruktur.
-5. Antworte in reinem Text (kein Markdown für die Antwort, es sei denn es sind einfache Absätze oder Listen).
-6. Wenn genügend Informationen vorhanden sind, präsentiere passende Kabel aus dem Katalog.
-7. Oute dich als Berater von KLZ Cables.
+STIL & PERSÖNLICHKEIT:
+- Antworte KURZ, KNAPP und PROFESSIONELL (maximal 2-3 Sätze).
+- Schreibe wie in einem lockeren, aber kompetenten B2B-Chat (Du-Form ist okay, aber fachlich top).
+- Kein Markdown, nur Fließtext.
+- NIEMALS Platzhalter wie [Ihr Name], [Name], [Firma] verwenden.
 
-VERFÜGBARER KONTEXT:
-${contextStr ? contextStr : 'Keine spezifischen Katalogdaten für diese Anfrage gefunden.'}
+DEINE HAUPTAUFGABE: BERATEN, NICHT AUSFRAGEN!
+- Wenn der Kunde ein Projekt nennt (z.B. "Windpark 30kV"), dann lies im KONTEXT nach, welche Kabel passen, und EMPFIEHL SIE DIREKT! (z.B. "Für 30kV Windparks nehmen wir meistens NA2XS(F)2Y.").
+- Stelle NIEMALS mehr als EINE Rückfrage pro Nachricht.
+- FRAGE NICHT nach abstrakten Dingen wie "Welchen Kabeltyp brauchst du?" -> DAS IST DEIN JOB, IHM DAS ZU SAGEN!
+- FRAGE NICHT nach Längen oder genauen Trassen, es sei denn, der Kunde hat schon ganz klar gesagt, was er kaufen will.
+- Biete aktiv Hilfe an: "Ich kann dir die passenden Querschnitte raussuchen, wenn du willst."
+
+VORGEHEN:
+1. Prüfe den KONTEXT auf passende Kabel für das Kundenprojekt.
+2. Nenne direkt 1-2 passende Produktserien aus dem Kontext, die für diesen Fall Sinn machen.
+3. Biete eine konkrete Hilfestellung an (z.B. Leitungsberechnung, Verfügbarkeitsprüfung) ODER stelle EINE einzige fachliche Rückfrage, um das Kabel weiter einzugrenzen (z.B. Alu oder Kupfer?).
+4. Wenn das Projekt klar ist und die Kabeltypen besprochen sind, frag nach, ob ein Kollege (z.B. Micha) ein konkretes Angebot machen soll.
+
+GRENZEN:
+- PRIVAT-ANFRAGEN: B2B only. Private Hausinstallationen lehnen wir freundlich ab.
+- Keine Preise oder genauen Lieferzeiten versprechen. Immer auf die menschlichen Kollegen verweisen für finale Angebote.
+
+KONTEXT KABEL & TEAM:
+${contextStr || 'Kein Katalogkontext verfügbar.'}
+${teamContextStr}
 `;
 
-    const openRouterKey = process.env.OPENROUTER_API_KEY;
-    if (!openRouterKey) {
-      throw new Error('OPENROUTER_API_KEY is not set');
+    const mistralKey = process.env.MISTRAL_API_KEY;
+    if (!mistralKey) {
+      throw new Error('MISTRAL_API_KEY is not set');
     }
 
-    const fetchRes = await fetch('https://openrouter.ai/api/v1/chat/completions', {
+    // DSGVO: Mistral AI API direkt (EU/Frankreich) statt OpenRouter (US)
+    const fetchRes = await fetch('https://api.mistral.ai/v1/chat/completions', {
       method: 'POST',
       headers: {
-        Authorization: `Bearer ${openRouterKey}`,
+        Authorization: `Bearer ${mistralKey}`,
         'Content-Type': 'application/json',
-        'HTTP-Referer': process.env.NEXT_PUBLIC_BASE_URL || 'https://klz-cables.com',
-        'X-Title': 'KLZ Cables Search AI',
       },
       body: JSON.stringify({
-        model: 'mistralai/mistral-large-2407',
+        model: 'ministral-8b-latest',
         temperature: 0.3,
+        max_tokens: MAX_RESPONSE_TOKENS,
         messages: [
           { role: 'system', content: systemPrompt },
-          ...messages.map((m: any) => ({
+          ...cappedMessages.map((m: any) => ({
             role: m.role,
             content: typeof m.content === 'string' ? m.content : JSON.stringify(m.content),
           })),
@@ -138,7 +189,19 @@ ${contextStr ? contextStr : 'Keine spezifischen Katalogdaten für diese Anfrage
 
     if (!fetchRes.ok) {
       const errBody = await fetchRes.text();
-      throw new Error(`OpenRouter API Error: ${errBody}`);
+      console.error('Mistral API Error:', errBody);
+      Sentry.captureException(new Error(`Mistral ${fetchRes.status}: ${errBody}`), {
+        tags: { context: 'ai-search-mistral' },
+      });
+
+      // Return user-friendly error based on status
+      const userMsg =
+        fetchRes.status === 429
+          ? 'Der KI-Service ist gerade überlastet. Bitte versuche es in ein paar Sekunden erneut.'
+          : fetchRes.status >= 500
+            ? 'Der KI-Service ist vorübergehend nicht erreichbar. Bitte versuche es gleich nochmal.'
+            : 'Es gab ein Problem mit der KI-Anfrage. Bitte versuche es erneut.';
+      return NextResponse.json({ error: userMsg }, { status: 502 });
     }
 
     const data = await fetchRes.json();
@@ -152,6 +215,9 @@ ${contextStr ? contextStr : 'Keine spezifischen Katalogdaten für diese Anfrage
   } catch (error) {
     console.error('AI Search API Error:', error);
     Sentry.captureException(error, { tags: { context: 'ai-search-api' } });
-    return NextResponse.json({ error: 'Internal server error' }, { status: 500 });
+    return NextResponse.json(
+      { error: 'Ein interner Fehler ist aufgetreten. Bitte versuche es erneut.' },
+      { status: 500 },
+    );
   }
 }