Hummingbird
20. May 202619. May 202617. May 202616. May 202615. May 202615. May 202614. May 202613. May 2026
Benchmarks — Hummingbird gegen FastAPI und Fastify
Artikel 7 der Hummingbird-Reihe. Wir messen das LLM-Gateway gegen funktional äquivalente Implementierungen in FastAPI und Fastify — mit fairem Middleware-Stack, deterministischem Backend-Stub und oha als Lastgenerator. Was dabei rauskommt, ist gleichzeitig das erwartete und das überraschende Ergebnis.
Observability und Linux-Deployment — vom swift run zum systemd-Service
Artikel 6 der Hummingbird-Reihe. Wir ergänzen das Gateway um Prometheus-Metriken via swift-metrics und swift-prometheus, einen /metrics-Endpoint, MetricsMiddleware und TracingMiddleware. Dazu Cross-Compile auf ein statisch gelinktes Linux-Binary via Swift Static Linux SDK, ein Multi-Stage-Dockerfile und eine systemd-Unit für den Betrieb auf bare-metal Linux.
Auth und RequestContext — wir machen das Tor zu
Artikel 5 der Hummingbird-Reihe. Wir fügen API-Key-Auth, Token-Bucket-Rate-Limiting und spec-konforme Error-Responses hinzu — und nutzen dabei den generischen RequestContext aus Hummingbird 2, das Feature das uns typsicheren Middleware-Zustand ohne Dictionaries gibt.
Streaming — Tokens fließen wenn sie entstehen
Artikel 4 der Hummingbird-Reihe. Wir ergänzen beide Endpoints um Streaming via Server-Sent Events: MLXClient.completeStream als AsyncThrowingStream, Anthropic-Events, OpenAI-Chunks, Task-Cancellation. Tokens erscheinen beim Client direkt während das Modell generiert.
Echte Inferenz — MLXClient und das lokale Modell
Artikel 3 der Hummingbird-Reihe. Wir verbinden das Gateway mit mlx_lm.server: MLXClient als Swift actor, Formatkonvertierung von Anthropic nach OpenAI, Fehler-Mapping mit HTTP-Statuscodes. Nach diesem Artikel liefert das Gateway echte Modellantworten.
Zwei Protokolle, ein Backend — Anthropic und OpenAI mit Codable
Artikel 2 der Hummingbird-Reihe. Wir implementieren die Anthropic Messages API und die OpenAI Chat Completions API im selben Gateway: Codable-Typen für beide Protokolle, zwei POST-Endpoints, Eingabevalidierung, Mock-Inferenz.
Hello Hummingbird — Das Skelett
Artikel 1 · Swift auf dem Server mit Hummingbird. Wir legen das Projekt an, schreiben Package.swift, richten den AsyncParsableCommand-Einstiegspunkt ein und bauen einen minimalen Router mit /healthz und /v1/models bis curl eine Antwort liefert.
Swift auf dem Server — Hummingbird 2 und ein lokales LLM-Gateway
Prolog · Serie: Swift auf dem Server mit Hummingbird. Warum Swift auf dem Server 2026 keine Liebhaberei mehr ist, wie Hummingbird sich von Vapor unterscheidet und warum wir ein lokales LLM-Gateway als Demo-Projekt gebaut haben.