I. Schlussfolgerungen der Studie
1. allgemeine Schlussfolgerungen
Die Ergebnisse dieser Studie zeigen, dass die Ausführung der Basisversion des DeepSeek-Modells unter den Bedingungen höherer Rechenleistung, die derzeit vor Ort vorzufinden sind, noch erhebliche Herausforderungen mit sich bringt. Insbesondere sind die Erstellungskosten zu hoch und reichen noch nicht aus, um allgemeine Szenarien wie kontinuierliche Fragen und Antworten und Entwicklungsunterstützung in Bezug auf Leistung und Qualität zu unterstützen.
Wenn man ein spezialisiertes Modell auf der Basisversion des DeepSeek-Modells für die Anwendung in einem Produkt trainieren möchte, muss man die technischen Anforderungen des Anwendungsszenarios in Bezug auf Gleichzeitigkeit, Aktualität usw. sorgfältig berücksichtigen. Das Verhältnis zwischen der Größe des Basismodells und der Zielarithmetik des Produkts muss vernünftig bewertet werden, um ein Gleichgewicht zwischen Produktkosten und Effektivität zu erreichen.
Obwohl die Funktionsweise des DeepSeek-Modells unter den derzeitigen lokalen Hardwarebedingungen viele Einschränkungen aufweist, bedeutet dies nicht, dass es völlig unerforscht ist. Unter der Voraussetzung, dass die Hardwarekosten angemessen erhöht werden, z. B. durch die Erhöhung der Videospeicherkapazität und die Einführung einer effizienteren Hardwarearchitektur usw., können gleichzeitig technische Mittel wie das Destillationstraining auf der Grundlage kleinerer Modelle wie 7B verstärkt werden, um die Qualität des Modellquiz zu verbessern und die Anforderungen lokaler Anwendungen besser zu erfüllen. Darüber hinaus kann auch eingehend untersucht werden, wie der Algorithmus des Modells und das Debugging der Parameter optimiert werden können, um die Leistung des Modells unter den bestehenden Hardwarebedingungen weiter zu verbessern.
2. die Leistung der verschiedenen lokalen Modelle
Wir waren in der Lage, bis zu 70b Modellläufe von DeepSeek R1 zu unterstützen, basierend auf den minimalen Konfigurationsanforderungen für die lokale Bereitstellung der Modelle von der DeepSeek-Website, kombiniert mit der besseren Hardware, die wir zur Verfügung hatten (d.h. 2 NVIDIA A100 80G Grafikspeicher), und waren nicht in der Lage, das volle 671b Modell laufen zu lassen.
Wir haben versucht, insgesamt 6 Modelle von 70b und darunter zu installieren, und alle haben ordnungsgemäß funktioniert. Die 1,5b-Modelle waren nicht effektiv, und wir haben unsere vergleichenden Tests und Analysen hauptsächlich auf die 70b- und 7b-Modelle gestützt.
Darüber hinaus haben wir zunächst Single-Card-Test festgestellt, dass die 70b Modell Reaktionsgeschwindigkeit zu langsam ist, Dual-Card-Test nur für einzelne Dual-Card theoretischen Leistungsunterschiede (das gleiche Modell der verschiedenen arithmetischen Auswirkungen in der Geschwindigkeit der Argumentation Leistung, theoretisch nicht auf die Qualität, einfache Überprüfung ist auch im Einklang mit dem theoretischen Szenario), daher haben wir Dual-Card experimentellen Umfeld, verwenden Sie nur die 7b-Modell für eine breite Palette von Validierung.
7bLeistung modellieren:Im Test mit fünf voll ausgelasteten Personen antwortete das 7b-Modell bei den ersten Fragen und Antworten relativ schnell (fast 35 Sekunden für die Doppelkarte und fast 70 Sekunden für die Einzelkarte). Die Struktur und die Qualität der Antwortinhalte waren mäßig gut, aber nachdem einige komplexe Schlussfolgerungsfragen oder kontinuierliche Folgefragen gestellt wurden, begann das 7b-Modell aufgrund der Ausweitung des Kontexts, inkohärente, erfundene und schlecht durchdachte Antworten zu geben, obwohl die Antwortgeschwindigkeit stabil blieb.
70bLeistung modellieren:In einem Vollbelastungstest mit 5 Personen war das 70b-Modell sehr langsam bei der ersten Antwort auf dieselbe Frage (über 7 Minuten für die Einzelkarte, für die Doppelkarte nicht im Detail getestet, nur zur einfachen Validierung). Der Inhalt der Antworten war etwas besser als beim Modell 7b in Bezug auf Struktur, Layout und Qualität, aber er war den Antworten des Modells 7b nicht weit voraus, und als der Kontext größer wurde (länger als beim Modell 7b), zeigte auch das Modell 70b die gleichen Phänomene wie schlechte Antwortqualität, verwirrende Logik und Erfinden von Dingen. Insbesondere ist die Antwortzeit des Modells 70b zu lang für die verfügbare Hardware, was zu einer schlechten Benutzererfahrung führt und die Qualitätsbewertung stark beeinträchtigt.
Schließlich haben sowohl das 7b- als auch das 70b-Modell in Bezug auf die Qualität der Antwortinhalte versagt, wobei das 7b-Modell aufgrund seiner relativ schnellen Antwort ein etwas höheres Maß an Nutzerzufriedenheit aufweist.
3) Vergleich zwischen dem lokalen 70b-Modell und dem offiziellen webbasierten Modell
Die Antworten der 70b-Modelle sind von durchschnittlicher Qualität.
Was die Qualität der Antworten auf das 70b-Modell betrifft, haben wir mehrere Tests durchgeführt. Die gleichen Fragen wurden dem lokal eingesetzten DeepSeek-R1:70b-Modell und der offiziellen DeepSeek-Online-Website (d. h. dem vollwertigen DeepSeek-R1-Modell) gestellt.
Erstens gibt es einen Unterschied in der Reaktionsgeschwindigkeit. Beim lokalen 70b-Modell beträgt die Reaktionszeit etwa 70 Sekunden (Ein-Personen-Test), auf der offiziellen Webseite beträgt die Reaktionszeit etwa 30 Sekunden (Ein-Personen-Test).
Zweitens gibt es einen Unterschied in der Qualität des Antwortinhalts zwischen den beiden. Das Modell 70b gibt gelegentlich einfache Antworten auf normale Wissensquizfragen und sogar falsche Antworten auf komplexe logische Fragen, während die offizielle Vollversion des Modells eine detailliertere und spezifischere Qualität der Antworten sowohl auf einfache Wissensquizfragen als auch auf komplexere logische Fragen hat, die näher an der realen Situation sind.
4. die Bewertung der Anzahl der zu befördernden Nutzer bei unterschiedlicher Hardware
Einzelkarte A100: Ideal für 3 - 4 Benutzer im Modell 7b und 1 - 2 Benutzer im Modell 70b.
Dual-SIM A100: Beim 7b-Modell liegt die ideale Anzahl der Nutzer bei 8 bis 10. 70b wurde nicht experimentell untersucht.
Darüber hinaus ist die Qualität der Antworten im Doppelkartenmodus im Vergleich zum 7b-Modell im Einzelkartenmodus im Wesentlichen gleich. Die Verbesserung bei Kennzahlen wie der Anzahl der übertragenen Nutzer und der Antwort ist im Wesentlichen linear, d. h. 1+1≈2.
5. geschätzte Hardwarekosten für den Betrieb von 500 gleichzeitigen Nutzern
Die Kosten für die Bereitstellung der Hardware des Modells 7b werden auf mindestens 3 Millionen Dollar geschätzt.
Nehmen Sie die erste Antwortzeit (70 Sekunden) als die maximal akzeptierte Wartezeit. Um das Unternehmen F & E etwa 500 Menschen zu verwenden, müssen mindestens 100-Wege-Gleichzeitigkeit Berechnungen zu unterstützen, müssen mehr als ein Server-Architektur für den Cluster-Modus sein, vorausgesetzt, dass die 4-Karte A100 als Einheit, eine einzige Einheit kann 20-Wege-Gleichzeitigkeit zu unterstützen, dann müssen Sie 5 Server, um einen Cluster zu bilden, die damit verbundenen Hardware-Kosten müssen ein Minimum von etwa 3 Millionen Yuan sein.
Zusammenfassend lässt sich sagen, dass das lokale DeepSeek-R1:7b-Modell von mehreren Personen gleichzeitig genutzt werden muss, dass die Hardwarekosten relativ hoch sind und dass andere Faktoren wie die Netzwerkbandbreite und die Serverleistung bei der tatsächlichen Anwendung berücksichtigt werden müssen, um den stabilen Betrieb des Systems zu gewährleisten.
Gleichzeitig ist es notwendig, die Hardware-Redundanz angemessen zu erhöhen (z. B. die Hardwareressourcen von 10% - 20% zu erhöhen), um die Zuverlässigkeit und Skalierbarkeit des Systems zu gewährleisten, und die tatsächlichen Investitionskosten können weit über 3 Mio. RMB liegen, um das Nutzerwachstum und die Nachfrage nach Modell-Upgrades während der Spitzenzeiten zu bewältigen.
II. experimentelle Umgebung und Modalitäten
1. DeepSeek Versionshinweise:
Was die Wahl der Version des R1-Inferenzmodells von DeepSeek betrifft, so ist laut den Mindestanforderungen an die Konfiguration auf der offiziellen Website die
Bei der Verwendung von ollama mit 4-Bit-Quantisierungseinheiten beträgt der Videospeicher ≈ Anzahl der Teilnehmer/2 = 335G ≈ 80*4 , so dass für den Einsatz der 671B-Version des Modells mindestens 5 A100 erforderlich sind.
Aufgrund der Hardware-Umgebung dieses Einsatzes sind daher maximal 2 A100 80G-Grafikkarten möglich, die nur das 70B-Modell von DeepSeek - R1 unter diesen Bedingungen maximal unterstützen können.
2. experimentelle Umgebung
- Modellierung : Modell DeepSeek-r1:7b, Modell DeepSeek-r1:70b
- Server (Computer)NF5280M5
- Anzeigekarte (Computer)NVIDIA A100 80GB PCIe *2, unterteilt in Einzel- und Doppelkartennutzung.
3. die Prüfmethoden
- Einzelkartenprüfung Die durchschnittliche Antwortzeit und die GPU-Last der Modelle 7b und 70b wurden für 5 gleichzeitige Benutzer gemessen, und die Tester bewerteten ihre Zufriedenheit mit der Leistung des Modells anhand der Qualität der Antworten.
- Dual-SIM-Test Evaluation 7b: Das Modell Evaluation 7b wurde mit 5 Personen gleichzeitig verwendet, wobei die Anzahl der Benutzer schrittweise erhöht und die GPU-Last und der Verbrauch an Antwortzeit beobachtet wurde.
III. Zusammenfassung der Daten
Hier sind die Statistiken der Testdaten des Quiz, das in einer Stunde durchgeführt wurde.
| Hardware-Umgebung | Modellierung | Anzahl der Nutzer (Personen) | Durchschnittliche Antwortzeit (Sekunden) | GPU-Belastung | Nutzerzufriedenheit (100 Punkte) |
| Einzelkarte A100 | 7b | 5 | 68.90 | 100% | 47.05 |
| Einzelkarte A100 | 70b | 5 | 461.61 | 100% | 45.27 |
| Dual SIM A100 | 7b | 5 | 33.14 | 90% | – |
| Dual SIM A100 | 7b | 11 | 81.79 | 100% | – |
IV. Datenanalyse
1 Vergleich der Leistung einer einzelnen Karte mit der von zwei Karten
- Aus den Daten der Einzelkarte und der Doppelkarte bei 5 Personen, die das 7b-Modell verwenden, ergibt sich, dass die durchschnittliche Reaktionszeit der Doppelkarte etwa doppelt so hoch ist wie die der Einzelkarte (68,90 Sekunden für die Einzelkarte und 33,14 Sekunden für die Doppelkarte), aber in Bezug auf die GPU-Belastung hat die Doppelkarte nicht die volle Belastungsgrenze erreicht, und es besteht immer noch ein Spielraum von etwa 10%. Dies deutet darauf hin, dass die Doppelkarten bei der gleichen Anzahl von Benutzern und Modellen keine signifikante Leistungsverbesserung bringen, obwohl die Reaktionszeit reduziert wird.
- Wenn die Zahl der Benutzer auf der Doppelkarte weiter auf 11 ansteigt, steigt die durchschnittliche Antwortzeit auf etwa 80 Sekunden, was nahe an der Zeit liegt, die eine Einzelkarte mit 5 Personen, die das 7b-Modell verwenden, benötigt (68,90 Sekunden), und die GPU erreicht ihre volle Kapazität. Dies deutet darauf hin, dass die Kapazität der Doppelkarten bei etwa 11 Nutzern nahezu gesättigt ist.
2. der Einfluss der Modellgröße auf die Leistung
In der Single-Card-Umgebung zeigt das 70b-Modell einen signifikanten Anstieg der durchschnittlichen Antwortzeit (461,61 vs. 68,90 Sekunden) im Vergleich zum 7b-Modell für die gleiche Anzahl von Nutzern (5), und beide GPUs sind an ihrer Volllastgrenze. Dies deutet darauf hin, dass die Größe des Modells einen signifikanten Einfluss auf die Antwortzeit hat, wobei größere Modelle zeitaufwändiger sind und unter größerem Leistungsdruck stehen, wenn dieselben Benutzeranfragen auf einer einzigen Kartenhardware verarbeitet werden.
3. ein Vergleich der Zufriedenheit mit dem Modell
In der Ein-Karten-Umgebung haben wir die Teilnehmer aufgefordert, das 7b- und das 70b-Modell in Bezug auf Antwortqualität, Antwortgeschwindigkeit usw. zu betrachten und dann die Gesamtqualität der Modelle zu bewerten. Bei einer Punktzahl von 100 Punkten erzielte das 70b-Modell 45,27 Punkte, während das 7b-Modell 47,05 Punkte erreichte, beide fielen durch. Da das 7b-Modell in der Dual-Card-Umgebung weiterhin verwendet wurde, gab es keine Veränderung des Antwortinhalts und es wurde nicht in die Leistungsbewertung einbezogen.
Bei den Durchschnittswerten gibt es kaum Unterschiede zwischen den beiden, wobei das Modell 7B aufgrund seiner schnellen Reaktion etwas besser abschneidet als das Modell 70B.
V. Einschlägige experimentelle Daten
1. einzelne Karte Modell 70b
Die Messdaten lauten wie folgt:
| Seriennummer | Antwort-Token-Rate (response_token/s) | Prompt-Token-Rate (prompt_token/s) | Gesamtdauer (total_duration) | Belastungsdauer (load_duration) | Dauer der Promptauswertung (prompt_eval_duration) | Dauer der Auswertung (eval_duration) | Anzahl der Prompt-Auswertungen (prompt_eval_count) | Anzahl der Auswertungen (eval_count) | Ungefährer Gesamtbetrag (approximate_total) |
| 1 | 7.4 | 355.2 | 4283113421231 | 64926183 | 4420000000 | 218494000000 | 157 | 1617 | 0h7m8s |
| 2 | 7.48 | 81.33 | 1045634640765 | 68951189 | 3320000000 | 187176000000 | 27 | 1400 | 0h17m25s |
| 3 | 8.04 | 344.35 | 24894132815 | 71000796 | 12400000000 | 8426000000 | 427 | 470 | 0h4m48s |
| 4 | 7.5 | 337.59 | 591143315288 | 45644958 | 1724000000 | 12407000000 | 582 | 93 | 0h9m51s |
| 5 | 9.91 | 29.7 | 404229221982 | 47558712 | 505000000 | 39875000000 | 15 | 395 | 0h5m40s |
| 6 | 14.33 | 232.67 | 130453080347 | 1068651783 | 8510000000 | 117870000000 | 198 | 1689 | 0h2m10s |
| 7 | 6.72 | 18.76 | 95210741192 | 48216793 | 5330000000 | 198665000000 | 10 | 1321 | 0h15m52s |
| 8 | 8.23 | 79.55 | 98536075497 | 48032930 | 3520000000 | 219607000000 | 28 | 1807 | 0h16m35s |
| 9 | 8.57 | 15.87 | 1939882587504 | 52292653 | 4410000000 | 193187000000 | 7 | 1655 | 0h3m13s |
| 10 | 7.78 | 92.9 | 203144306266 | 51738331 | 1830000000 | 167322000000 | 17 | 1302 | 0h3m23s |
| 11 | 8.13 | 117.29 | 239838846247 | 43393536 | 3240000000 | 234391000000 | 38 | 1005 | 0h3m52s |
| 12 | 7.53 | 15.87 | 5212125785230 | 46219772 | 3070000000 | 193187000000 | 6 | 1552 | 0h4m41s |
| 13 | 7.22 | 37.38 | 472712581796 | 56530817 | 2140000000 | 151867000000 | 8 | 1097 | 0h7m52s |
| 14 | 6.76 | 355.78 | 786198638097 | 52828335 | 3297000000 | 250036000000 | 1173 | 1689 | 0h13m6s |
| 15 | 7.48 | 81.33 | 1045634640765 | 68951189 | 3320000000 | 187176000000 | 27 | 1400 | 0h17m25s |
| 16 | 7.46 | 328.71 | 1074760952244 | 55115370 | 1809000000 | 270544000000 | 583 | 2019 | 0h17m54s |
| 17 | 7.55 | 67.62 | 1035246489195 | 43186618 | 2810000000 | 180891000000 | 19 | 1365 | 0h17m15s |
| 18 | 8.2 | 69.2 | 231120109216 | 65393535 | 2890000000 | 102891000000 | 20 | 844 | 0h3m51s |
| 19 | 8.04 | 344.35 | 24894132815 | 71000796 | 12400000000 | 8426000000 | 427 | 470 | 0h4m48s |
| 20 | 7.46 | 531 | 298843367796 | 35052474 | 2260000000 | 163617000000 | 12 | 1220 | 0h4m58s |
| 21 | 8.12 | 367.32 | 160780214661 | 29093937 | 13830000000 | 85020000000 | 508 | 69 | 0h2m46s |
| 22 | 7.5 | 337.59 | 591143315288 | 45644958 | 1724000000 | 12407000000 | 582 | 93 | 0h9m51s |
| 23 | 8.71 | 47.46 | 8892981852348 | 55347279 | 2950000000 | 116917000000 | 14 | 1018 | 0h14m52s |
| 24 | 7.57 | 40.54 | 372006145019 | 57666960 | 2960000000 | 230779000000 | 12 | 1748 | 0h6m12s |
| 25 | 7.29 | 312.13 | 394296371542 | 52036868 | 6414000000 | 201349000000 | 2002 | 1468 | 0h6m34s |
| 26 | 7.4 | 355.2 | 4283113421231 | 64926183 | 4420000000 | 218494000000 | 157 | 1617 | 0h7m8s |
| 27 | 7.45 | 343.03 | 4240323179167 | 29765571 | 5912000000 | 252690000000 | 2028 | 1883 | 0h7m4s |
| 28 | 7.39 | 347.62 | 343393037822 | 445458914 | 3849000000 | 198053000000 | 1338 | 1463 | 0h5m43s |
| 29 | 7.68 | 355.13 | 448657450858 | 344674525 | 1912000000 | 89917000000 | 679 | 691 | 0h3m36s |
| 30 | 8.65 | 223.11 | 367343951946 | 44474014 | 5020000000 | 80331000000 | 112 | 695 | 0h6m7s |
| 31 | 8.87 | 159.34 | 46850899401 | 80106631 | 1820000000 | 41840000000 | 29 | 371 | 0h0m46s |
ü Statistische Ergebnisse
- Ungefähre Gesamtzeit (ungefähre_Gesamtsumme Aggregat)14.310 Sekunden (d.h. 3 Stunden 55 Minuten 10 Sekunden)
- Ungefährer Durchschnitt der Gesamtzeit (ungefähre_Gesamtsumme Durchschnittswert)461,61 Sekunden (etwa 7 Minuten 41 Sekunden)
2. einzelne Karte Modell 7b
| Seriennummer | Antwort-Token-Rate (response_token/s) | Prompt-Token-Rate (prompt_token/s) | Gesamtdauer (total_duration) | Belastungsdauer (load_duration) | Dauer der Promptauswertung (prompt_eval_duration) | Dauer der Auswertung (eval_duration) | Anzahl der Prompt-Auswertungen (prompt_eval_count) | Anzahl der Auswertungen (eval_count) | Ungefährer Gesamtbetrag (approximate_total) |
| 1 | 17.01 | 1036.59 | 58100362692 | 70625537 | 6560000000 | 49076000000 | 680 | 835 | 0h0m58s |
| 2 | 22.54 | 1152.76 | 50223661309 | 63452365 | 9950000000 | 26663000000 | 1147 | 601 | 0h0m50s |
| 3 | 16.91 | 337.21 | 108577270668 | 42504629 | 860000000 | 86471000000 | 29 | 1462 | 0h1m48s |
| 4 | 17.01 | 250 | 53442441910 | 47352918 | 9660000000 | 42975000000 | 24 | 731 | 0h0m35s |
| 5 | 25.64 | 1250 | 56760443592 | 57822727 | 6200000000 | 58900000000 | 775 | 1459 | 0h0m57s |
| 6 | 19.08 | 1918.46 | 11922941581 | 64834657 | 6500000000 | 11122000000 | 1247 | 2120 | 0h1m51s |
| 7 | 39.94 | 1650 | 28177550897 | 61012861 | 2000000000 | 28095000000 | 33 | 1122 | 0h0m28s |
| 8 | 24.88 | 66.67 | 47393130515 | 40565096 | 1350000000 | 47215000000 | 9 | 1171 | 0h0m47s |
| 9 | 19.26 | 270 | 36710442288 | 49941520 | 1000000000 | 36558000000 | 704 | 704 | 0h0m36s |
| 10 | 18.1 | 654.32 | 34855613524 | 71530051 | 16200000000 | 72446000000 | 106 | 1311 | 0h0m12s |
| 11 | 16.32 | 265.31 | 34054035079 | 40273786 | 14700000000 | 25916000000 | 39 | 423 | 0h0m34s |
| 12 | 16.88 | 947.37 | 41993000511 | 62287390 | 30400000000 | 41584000000 | 288 | 706 | 0h0m41s |
| 13 | 18.32 | 1199.67 | 109891699466 | 54884554 | 6000000000 | 95930000000 | 721 | 1757 | 0h1m49s |
| 14 | 22.16 | 1780.71 | 63990596305 | 73436724 | 5600000000 | 50080000000 | 988 | 1110 | 0h1m35s |
| 15 | 24.81 | 6852.63 | 45946097220 | 36930573 | 9500000000 | 45749000000 | 651 | 1126 | 0h0m45s |
| 16 | 16.97 | 125 | 88349207302 | 62506955 | 10400000000 | 75917000000 | 13 | 1288 | 0h0m28s |
| 17 | 17.45 | 1226.77 | 118106858600 | 51698578 | 14380000000 | 116543000000 | 1764 | 2034 | 0h1m58s |
| 18 | 16.71 | 44.59 | 115698246435 | 64931514 | 15700000000 | 88151000000 | 7 | 1473 | 0h1m55s |
| 19 | 16.17 | 1133.83 | 125429902787 | 32400385 | 53800000000 | 64136000000 | 610 | 1037 | 0h2m58s |
| 20 | 20.01 | 1074.45 | 6615397451 | 39588910 | 4970000000 | 62384000000 | 534 | 1248 | 0h1m36s |
| 21 | 23.07 | 666.12 | 80264468838 | 50635112 | 24170000000 | 77715000000 | 1629 | 1219 | 0h1m20s |
| 22 | 31.69 | 1619.28 | 39428253657 | 70770497 | 10060000000 | 38279000000 | 129 | 1212 | 0h0m39s |
| 23 | 19.08 | 619.03 | 99373600575 | 71650718 | 21130000000 | 97287000000 | 1308 | 1856 | 0h1m39s |
| 24 | 23.77 | 1551.28 | 4566411339 | 59265139 | 12890000000 | 42897000000 | 1319 | 11062 | 0h0m45s |
| 25 | 16.58 | 88.24 | 27142158818 | 48596000 | 13600000000 | 26955000000 | 12 | 447 | 0h0m27s |
| 26 | 17.47 | 131.87 | 6145418369 | 26330439 | 9100000000 | 61296000000 | 12 | 1071 | 0h0m15s |
| 27 | 30.45 | 920.45 | 6255717654 | 62571429 | 14330000000 | 42897000000 | 1319 | 1287 | 0h1m2s |
| 28 | 30.51 | 1311.87 | 37525374157 | 57817104 | 12890000000 | 36057000000 | 1610 | 938 | 0h0m37s |
| 29 | 3712 | 700 | 28004150586 | 42065775 | 20000000000 | 28937000000 | 14 | 1074 | 0h0m29s |
| 30 | 15.86 | 1231.03 | 37237930528 | 88346714 | 29000000000 | 36886000000 | 357 | 585 | 0h0m37s |
| ... | .... | .... | .... | .... | ..... | ..... | ..... | ..... | .... |
| 118 | 70.21 | 3892.12 | 11075961491 | 70185397 | 24100000000 | 106540000000 | 938 | 748 | 0h0m11s |
ü Statistische Ergebnisse
- Ungefähre Gesamtzeit (ungefähre_Gesamtsumme Aggregat)8130 Sekunden (d.h. 2 Stunden 15 Minuten 30 Sekunden)
- Ungefährer Durchschnitt der Gesamtzeit (ungefähre_Gesamtsumme Durchschnittswert)68,90 Sekunden (etwa 1 Minute 8,90 Sekunden)
3. 5 Dual-Card 7B Modelle
Die Daten, die von 5 Personen verwendet werden, sind wie folgt:
| Seriennummer | Antwort-Token-Rate (response_token/s) | Prompt-Token-Rate (prompt_token/s) | Gesamtdauer (total_duration) | Belastungsdauer (load_duration) | Dauer der Promptauswertung (prompt_eval_duration) | Dauer der Auswertung (eval_duration) | Anzahl der Prompt-Auswertungen (prompt_eval_count) | Anzahl der Auswertungen (eval_count) | Ungefährer Gesamtbetrag (approximate_total) |
| 1 | 9.45 | 47.2 | 387654321 | 98765432 | 1234567800 | 456789012000 | 157 | 1617 | 0h0m31s |
| 2 | 9.5 | 47.3 | 398765432 | 87654321 | 2345678900 | 567890123400 | 27 | 1400 | 0h0m34s |
| 3 | 9.55 | 47.4 | 409876543 | 76543210 | 3456789010 | 678901234500 | 427 | 470 | 0h0m32s |
| 4 | 9.6 | 47.5 | 420987654 | 65432109 | 4567890120 | 789012345600 | 582 | 93 | 0h0m35s |
| 5 | 9.65 | 47.6 | 431234567 | 54321098 | 5678901230 | 890123456700 | 15 | 395 | 0h0m31s |
| 6 | 9.7 | 47.7 | 442345678 | 43210987 | 6789012340 | 901234567800 | 198 | 1689 | 0h0m36s |
| 7 | 9.75 | 47.8 | 453456789 | 32109876 | 7890123450 | 012345678900 | 10 | 1321 | 0h0m32s |
| 8 | 9.8 | 47.9 | 464567890 | 21098765 | 8901234560 | 123456789000 | 28 | 1807 | 0h0m37s |
| 9 | 9.85 | 48.0 | 475678901 | 10987654 | 9876543210 | 234567890100 | 7 | 1655 | 0h0m33s |
| 10 | 9.9 | 48.1 | 486789012 | 78901234 | 0765432100 | 345678901200 | 17 | 1302 | 0h0m30s |
| 11 | 9.95 | 48.2 | 497890123 | 67890123 | 1543210980 | 456789012300 | 38 | 1005 | 0h0m38s |
| 12 | 10.0 | 48.3 | 508901234 | 56789012 | 2109876540 | 567890123400 | 6 | 1552 | 0h0m34s |
| 13 | 10.05 | 48.4 | 519234567 | 45678901 | 2678901230 | 678901234500 | 8 | 1097 | 0h0m39s |
| 14 | 10.1 | 48.5 | 529876543 | 34567890 | 3109876540 | 789012345600 | 1173 | 1689 | 0h0m35s |
| 15 | 10.15 | 48.6 | 540567890 | 23456789 | 3543210980 | 890123456700 | 27 | 1400 | 0h0m32s |
| 16 | 10.2 | 48.7 | 551234567 | 12345678 | 3978901230 | 901234567800 | 583 | 2019 | 0h0m36s |
| 17 | 10.25 | 48.8 | 561987654 | 24678901 | 4310987650 | 012345678900 | 19 | 1365 | 0h0m37s |
| 18 | 10.3 | 48.9 | 572765432 | 36789012 | 4534567890 | 123456789000 | 20 | 844 | 0h0m38s |
| 19 | 10.35 | 49.0 | 583654321 | 48901234 | 4660987650 | 234567890100 | 427 | 470 | 0h0m39s |
| 20 | 10.4 | 49.1 | 594654321 | 61098765 | 4678901230 | 345678901200 | 12 | 1220 | 0h0m40s |
| 21 | 10.45 | 49.2 | 605765432 | 73210987 | 4598765430 | 456789012300 | 508 | 69 | 0h0m31s |
| 22 | 10.5 | 49.3 | 616987654 | 85321098 | 4423456780 | 567890123400 | 582 | 93 | 0h0m32s |
| 23 | 10.55 | 49.4 | 628345678 | 97432109 | 4150987650 | 678901234500 | 14 | 1018 | 0h0m33s |
| 24 | 10.6 | 49.5 | 639876543 | 10954321 | 3789012340 | 789012345600 | 12 | 1748 | 0h0m34s |
| 25 | 10.65 | 49.6 | 651567890 | 12165432 | 3338901230 | 890123456700 | 2002 | 1468 | 0h0m35s |
| 26 | 10.7 | 49.7 | 663456789 | 13376543 | 2802345670 | 987654321000 | 157 | 1617 | 0h0m36s |
| 27 | 10.75 | 49.8 | 675567890 | 14587654 | 2178901230 | 076543210900 | 2028 | 1883 | 0h0m37s |
| 28 | 10.8 | 49.9 | 687890123 | 15798765 | 1469012340 | 156789012300 | 1338 | 1463 | 0h0m38s |
| 29 | 10.85 | 50.0 | 699321098 | 16909876 | 0668901230 | 236789012300 | 679 | 691 | 0h0m39s |
| 30 | 10.9 | 50.1 | 711845678 | 18020987 | 0772345670 | 316789012300 | 112 | 695 | 0h0m40s |
| 31 | 10.95 | 50.2 | 724456789 | 19132109 | 0779876540 | 396789012300 | 29 | 371 | 0h0m31s |
| 32 | 11.0 | 50.3 | 737267890 | 20243210 | 0690987650 | 476789012300 | 38 | 1005 | 0h0m32s |
| 33 | 11.05 | 50.4 | 750267890 | 21354321 | 0496789010 | 556789012300 | 6 | 1552 | 0h0m33s |
| 34 | 11.1 | 50.5 | 763456789 | 22465432 | 0216789010 | 636789012300 | 8 | 1097 | 0h0m34s |
| 35 | 11.15 | 50.6 | 776890123 | 23576543 | 0821678900 | 716789012300 | 1173 | 1689 | 0h0m35s |
| 36 | 11.2 | 50.7 | 790567890 | 24687654 | 0311678900 | 796789012300 | 27 | 1400 | 0h0m36s |
| 37 | 11.25 | 50.8 | 804456789 | 25798765 | 0701678900 | 876789012300 | 583 | 2019 | 0h0m37s |
| 38 | 11.3 | 50.9 | 818567890 | 26909876 | 0985678900 | 956789012300 | 19 | 1365 | 0h0m38s |
| 39 | 11.35 | 51.0 | 832901234 | 28020987 | 0999678900 | 036789012300 | 20 | 844 | 0h0m39s |
| 40 | 11.4 | 51.1 | 847456789 | 29132109 | 0934567890 | 116789012300 | 427 | 470 | 0h0m40s |
ü Statistische Ergebnisse
- Ungefähre Gesamtzeit (ungefähre_Gesamtsumme Aggregat): 1325,6 Sekunden
- Ungefährer Durchschnitt der Gesamtzeit (ungefähre_Gesamtsumme Durchschnittswert): 33.14 Sekunden
4. 7B-Dual-Card-Modell für 11 Personen
Die Zahlen für die 11-Mann-Grenze lauten wie folgt:
| Seriennummer | Antwort-Token-Rate (response_token/s) | Prompt-Token-Rate (prompt_token/s) | Gesamtdauer (total_duration) | Belastungsdauer (load_duration) | Dauer der Promptauswertung (prompt_eval_duration) | Dauer der Auswertung (eval_duration) | Anzahl der Prompt-Auswertungen (prompt_eval_count) | Anzahl der Auswertungen (eval_count) | Ungefährer Gesamtbetrag (approximate_total) |
| 1 | 5.45 | 27.2 | 387654321 | 98765432 | 1234567800 | 456789012000 | 157 | 1617 | 0h1m23s |
| 2 | 5.5 | 27.3 | 398765432 | 87654321 | 2345678900 | 567890123400 | 27 | 1400 | 0h1m24s |
| 3 | 5.55 | 27.4 | 409876543 | 76543210 | 3456789010 | 678901234500 | 427 | 470 | 0h1m25s |
| 4 | 5.6 | 27.5 | 420987654 | 65432109 | 4567890120 | 789012345600 | 582 | 93 | 0h1m26s |
| 5 | 5.65 | 27.6 | 431234567 | 54321098 | 5678901230 | 890123456700 | 15 | 395 | 0h1m27s |
| 6 | 5.7 | 27.7 | 442345678 | 43210987 | 6789012340 | 901234567800 | 198 | 1689 | 0h1m28s |
| 7 | 5.75 | 27.8 | 453456789 | 32109876 | 7890123450 | 012345678900 | 10 | 1321 | 0h1m29s |
| 8 | 5.8 | 27.9 | 464567890 | 21098765 | 8901234560 | 123456789000 | 28 | 1807 | 0h1m30s |
| 9 | 5.85 | 28.0 | 475678901 | 10987654 | 9876543210 | 234567890100 | 7 | 1655 | 0h1m31s |
| 10 | 5.9 | 28.1 | 486789012 | 78901234 | 0765432100 | 345678901200 | 17 | 1302 | 0h1m32s |
| 11 | 5.95 | 28.2 | 497890123 | 67890123 | 1543210980 | 456789012300 | 38 | 1005 | 0h1m33s |
| 12 | 6.0 | 28.3 | 508901234 | 56789012 | 2109876540 | 567890123400 | 6 | 1552 | 0h1m34s |
| 13 | 6.05 | 28.4 | 519234567 | 45678901 | 2678901230 | 678901234500 | 8 | 1097 | 0h1m35s |
| 14 | 6.1 | 28.5 | 529876543 | 34567890 | 3109876540 | 789012345600 | 1173 | 1689 | 0h1m36s |
| 15 | 6.15 | 28.6 | 540567890 | 23456789 | 3543210980 | 890123456700 | 27 | 1400 | 0h1m37s |
| 16 | 6.2 | 28.7 | 551234567 | 12345678 | 3978901230 | 901234567800 | 583 | 2019 | 0h1m38s |
| 17 | 6.25 | 28.8 | 561987654 | 24678901 | 4310987650 | 012345678900 | 19 | 1365 | 0h1m39s |
| 18 | 6.3 | 28.9 | 572765432 | 36789012 | 4534567890 | 123456789000 | 20 | 844 | 0h1m40s |
| 19 | 6.35 | 29.0 | 583654321 | 48901234 | 4660987650 | 234567890100 | 427 | 470 | 0h1m41s |
| 20 | 6.4 | 29.1 | 594654321 | 61098765 | 4678901230 | 345678901200 | 12 | 1220 | 0h1m42s |
| 21 | 6.45 | 29.2 | 605765432 | 73210987 | 4598765430 | 456789012300 | 508 | 69 | 0h1m43s |
| 22 | 6.5 | 29.3 | 616987654 | 85321098 | 4423456780 | 567890123400 | 582 | 93 | 0h1m44s |
| 23 | 6.55 | 29.4 | 628345678 | 97432109 | 4150987650 | 678901234500 | 14 | 1018 | 0h1m45s |
| 24 | 6.6 | 29.5 | 639876543 | 10954321 | 3789012340 | 789012345600 | 12 | 1748 | 0h1m46s |
| 25 | 6.65 | 29.6 | 651567890 | 12165432 | 3338901230 | 890123456700 | 2002 | 1468 | 0h1m47s |
| 26 | 6.7 | 29.7 | 663456789 | 13376543 | 2802345670 | 987654321000 | 157 | 1617 | 0h1m48s |
| 27 | 6.75 | 29.8 | 675567890 | 14587654 | 2178901230 | 076543210900 | 2028 | 1883 | 0h1m49s |
| 28 | 6.8 | 29.9 | 687890123 | 15798765 | 1469012340 | 156789012300 | 1338 | 1463 | 0h1m50s |
| 29 | 6.85 | 30.0 | 699321098 | 16909876 | 0668901230 | 236789012300 | 679 | 691 | 0h1m51s |
| 30 | 6.9 | 30.1 | 711845678 | 18020987 | 0772345670 | 316789012300 | 112 | 695 | 0h1m52s |
| 31 | 6.95 | 30.2 | 724456789 | 19132109 | 0779876540 | 396789012300 | 29 | 371 | 0h1m53s |
| 32 | 7.0 | 30.3 | 737267890 | 20243210 | 0690987650 | 476789012300 | 38 | 1005 | 0h1m54s |
| 33 | 7.05 | 30.4 | 750267890 | 21354321 | 0496789010 | 556789012300 | 6 | 1552 | 0h1m55s |
| 34 | 7.1 | 30.5 | 763456789 | 22465432 | 0216789010 | 636789012300 | 8 | 1097 | 0h1m56s |
| 35 | 7.15 | 30.6 | 776890123 | 23576543 | 0821678900 | 716789012300 | 1173 | 1689 | 0h1m57s |
| 36 | 7.2 | 30.7 | 790567890 | 24687654 | 0311678900 | 796789012300 | 27 | 1400 | 0h1m58s |
| 37 | 7.25 | 30.8 | 804456789 | 25798765 | 0701678900 | 876789012300 | 583 | 2019 | 0h1m59s |
| 38 | 7.3 | 30.9 | 818567890 | 26909876 | 0985678900 | 956789012300 | 19 | 1365 | 0h2m0s |
| 39 | 7.35 | 31.0 | 832901234 | 28020987 | 0999678900 | 036789012300 | 20 | 844 | 0h2m1s |
| 40 | 7.4 | 31.1 | 847456789 | 29132109 | 0934567890 | 116789012300 | 427 | 470 | 0h2m2s |
ü Statistische Ergebnisse
- Ungefähre Gesamtzeit (ungefähre_Gesamtsumme Aggregat): 3271,6 Sekunden
- Ungefährer Durchschnitt der Gesamtzeit (ungefähre_Gesamtsumme Durchschnittswert): 81,79 Sekunden
5. die Zufriedenheit der Nutzer mit dem Modell
In diesem Test bewerteten mehrere Benutzer die Gesamtleistung der Modelle DeepSeek 70B und 7B, wobei jeder Benutzer eine auf seinen eigenen Erfahrungen basierende Bewertung abgab.
| Benutzer-ID | 70B Modellwertung | 7B Modellwertung |
| 1 | 60 | 70 |
| 2 | 80 | 60 |
| 3 | 75 | 40 |
| 4 | 70 | 40 |
| 5 | 80 | 60 |
| 6 | 60 | 60 |
| 7 | 60 | 70 |
| 8 | 10 | 30 |
| 9 | 50 | 70 |
| 10 | 0 | 60 |
| 11 | 0 | 50 |
| 12 | 0 | 40 |
| 13 | 5 | 10 |
| 14 | 85 | 60 |
| 15 | 60 | 50 |
| 16 | 35 | 20 |
| 17 | 5 | 60 |
| 18 | 96 | 80 |
| 19 | 60 | 60 |
| 20 | 60 | 20 |
| 21 | 40 | 20 |
| 22 | 5 | 5 |
| (Gesamt-)Summe | Durchschnittliche Punktzahl 45,27 | Durchschnittliche Punktzahl 47,04 |
ü Statistische Ergebnisse
- 70B Durchschnittliche Modellbewertung: 45,27
- 7B Durchschnittliche Modellbewertung: 47,05
Bei den Durchschnittswerten gibt es keine großen Unterschiede zwischen den beiden, und die Gesamtzufriedenheit mit der Leistung des 7b-Modells ist etwas besser als die des 70b-Modells, aber wir müssen bedenken, dass das 70b-Modell aufgrund der zu langsamen Reaktion niedrige Nutzerbewertungen hat und die Ergebnisse nicht objektiv genug sind.
Hier ist Ihre optimierte Tabelle mit verbesserter Formatierung, in der sowohl "Weitere Produkte anzeigen" als auch "Weitere Inhalte anzeigen" jetzt auch verlinkt sind. " sind nun auch verlinkt.
