I. Выводы по результатам исследования
1. Общие выводы
Результаты этого исследования показывают, что запуск базовой версии модели DeepSeek в условиях более высокой вычислительной мощности, которую в настоящее время можно найти в локальном масштабе, по-прежнему сталкивается с серьезными проблемами. В частности, стоимость сборки слишком высока, и ее производительности и качества пока недостаточно для поддержки таких общих сценариев, как непрерывные вопросы и ответы и поддержка разработок.
Если вы хотите обучить специализированную модель на основе базовой версии модели DeepSeek для применения в продукте, необходимо тщательно продумать технические требования сценария применения с точки зрения параллелизма, своевременности и так далее. Необходимо разумно оценить соотношение между размером базовой модели и целевой арифметикой продукта, чтобы достичь баланса между стоимостью и эффективностью продукта.
Хотя в работе модели DeepSeek в текущей локальной аппаратной среде существует множество ограничений, это не означает, что она совершенно не изучена. Если при условии соответствующего увеличения стоимости аппаратного обеспечения, например, увеличения объема видеопамяти и принятия более эффективной аппаратной архитектуры и т.д., и в то же время, технические средства, такие как дистилляционное обучение на основе небольших моделей, таких как 7B, могут быть усилены для улучшения качества модели викторины и лучшего удовлетворения потребностей местных приложений. Кроме того, можно глубоко изучить способы оптимизации алгоритма модели и отладки параметров для дальнейшего улучшения производительности модели в существующих аппаратных условиях.
2. Производительность различных локальных моделей
Мы могли поддерживать до 70b моделей DeepSeek R1, основываясь на минимальных требованиях к конфигурации для локального развертывания моделей с сайта DeepSeek, в сочетании с лучшим доступным оборудованием (например, 2 NVIDIA A100 80G графической памяти), и не смогли запустить полную 671b модель.
Мы попробовали установить в общей сложности 6 моделей 70b и ниже, и все они смогли нормально работать. Модели 1,5b оказались неэффективными, и мы основывали наши сравнительные тесты и анализы в основном на моделях 70b и 7b.
Кроме того, мы сначала провели тест одной карты обнаружили, что 70b модель скорость реакции слишком медленно, двух карт тест только для одного двух карт теоретические различия производительности (одна и та же модель различных арифметических влияние в скорости рассуждения производительности, теоретически не влияет на качество, простая проверка также в соответствии с теоретическим сценарием), поэтому мы двух карт экспериментальной среде, только использовать 7b модель для широкого спектра проверки.
7bМоделирование производительности:В тесте с полной нагрузкой на 5 человек модель 7b относительно быстро отвечала на первые вопросы и ответы (почти 35 секунд для двойной карты и почти 70 секунд для одиночной карты). Структура и качество содержания ответов были умеренно хорошими, но после того, как были заданы сложные инференциальные вопросы или непрерывные последующие вопросы, из-за роста контекста, модель 7b, хотя и имела стабильную скорость ответа, начала показывать бессвязные, выдуманные и непродуманные ответы.
70bМоделирование производительности:В тесте с полной нагрузкой на 5 человек модель 70b очень медленно реагировала на первый ответ на один и тот же вопрос (более 7 минут для одинарной карты, для двойной карты подробное тестирование не проводилось только для простой проверки). Содержание ответа было немного лучше, чем у модели 7b, с точки зрения структуры, расположения и качества, но оно не намного опережало ответы модели 7b, и по мере увеличения контекста (дольше, чем у модели 7b) модель 70b также демонстрировала те же явления: низкое качество ответа, запутанная логика и выдумывание. В частности, время ответа 70b слишком велико для имеющегося оборудования, что приводит к ухудшению пользовательского опыта и серьезно снижает оценку качества.
Наконец, по данным пользовательских оценок, модели 7b и 70b оказались неудовлетворительными с точки зрения качества контента ответа, при этом модель 7b имеет несколько более высокий уровень удовлетворенности пользователей благодаря относительно быстрому ответу.
3. Сравнение местной модели 70b и официальной веб-модели
Ответы модели 70b имеют среднее качество.
Что касается качества ответов для модели 70b, то мы провели несколько тестов. Одни и те же вопросы задавались локально развернутой модели DeepSeek-R1:70b и онлайновому официальному сайту DeepSeek (т. е. полнокровной модели DeepSeek-R1).
Во-первых, есть разница в скорости отклика. На локальной модели 70b скорость отклика составляет около 70 секунд (тест на одного человека), на официальной веб-странице скорость отклика составляет около 30 секунд (тест на одного человека).
Во-вторых, между ними есть разница в качестве содержания ответов. Модель 70b иногда дает простые ответы на обычные вопросы викторины на знание и даже неправильные ответы на сложные вопросы на рассуждение, в то время как официальная полнокровная версия модели имеет более подробные и конкретные качественные ответы как на простые вопросы викторины на знание, так и на более сложные вопросы на рассуждение, которые ближе к реальной ситуации.
4. оценка количества пользователей, которые могут работать на различных аппаратных средствах
Однокарточный A100: идеально подходит для работы с 3 - 4 пользователями в модели 7b и 1 - 2 пользователями в модели 70b.
Dual SIM A100: В модели 7b идеальное количество пользователей составляет 8-10 человек. 70b не был экспериментально оценен.
Кроме того, качество ответов в режиме с двумя картами по сравнению с моделью 7b в режиме с одной картой практически не изменилось. Улучшение таких показателей, как количество обслуживаемых пользователей и отклик, по сути, линейно, т. е. 1+1≈2.
5. Оценка стоимости оборудования для размещения 500 одновременных пользователей
Предполагается, что стоимость развертывания аппаратного обеспечения модели 7b составит как минимум 3 миллиона долларов.
Примем время первого ответа (70 секунд) как максимально допустимое время ожидания в очереди. Чтобы компания R & D около 500 человек использовать, по крайней мере, необходимо поддерживать 100-way параллельных вычислений, необходимо более одного сервера архитектуры для кластерного режима, предполагая, что 4 карты A100 в качестве единицы, один блок может поддерживать 20-way параллельных, то вам нужно 5 серверов, чтобы сформировать кластер, связанные аппаратные затраты должны быть как минимум около 3 миллионов юаней.
Таким образом, необходимо поддерживать больше людей, чтобы использовать локальную модель DeepSeek-R1:7b, в то же время стоимость оборудования относительно высока, и другие факторы, такие как пропускная способность сети и производительность сервера, должны быть приняты во внимание в реальном применении для обеспечения стабильной работы системы.
В то же время, чтобы справиться с ростом пользователей и спросом на обновление моделей в пиковый период бизнеса, необходимо также соответствующим образом увеличить резервирование оборудования (например, увеличить аппаратные ресурсы 10% - 20%) для обеспечения надежности и масштабируемости системы, и фактические инвестиционные затраты могут быть гораздо больше, чем 3 миллиона юаней.
II. Экспериментальная среда и условия
1.DeepSeek Release Notes:
Что касается выбора версии модели вывода R1 компании DeepSeek, то, согласно требованиям к минимальной конфигурации на официальном сайте компании, она имеет следующий вид
Если мы используем ollama с 4-битовыми блоками квантования, то видеопамять ≈ количество участников/2 = 335G ≈ 80*4, поэтому для развертывания модели версии 671B требуется не менее 5 A100.
Таким образом, из-за аппаратного окружения для данного использования максимум - это 2 видеокарты A100 80G, которые могут поддерживать только DeepSeek - 70B модель R1 работает на максимуме при таких условиях.
2. Экспериментальная среда
- моделирование : модель DeepSeek-r1:7b, модель DeepSeek-r1:70b
- сервер (компьютер): NF5280M5
- плата дисплея (компьютер): NVIDIA A100 80GB PCIe *2, разделяется на одиночную и двойную карту.
3. Методы испытаний
- Тестирование одной карты Среднее время отклика и загрузка графического процессора моделей 7b и 70b измерялись для 5 одновременных пользователей, а тестировщики оценивали свою удовлетворенность производительностью модели по качеству ответов.
- Тест для двух SIM-карт : Модель Evaluation 7b использовалась с 5 людьми одновременно, постепенно увеличивая количество пользователей и наблюдая за нагрузкой на GPU и временем отклика.
III. Сводка данных
Вот статистика тестовых данных викторины, проведенной за 1 час.
| аппаратная среда | моделирование | Количество пользователей (человек) | Среднее время отклика (секунды) | Загрузка графического процессора | Удовлетворенность пользователей (100 баллов) |
| Одиночная карта A100 | 7b | 5 | 68.90 | 100% | 47.05 |
| Одиночная карта A100 | 70b | 5 | 461.61 | 100% | 45.27 |
| Двойная SIM-карта A100 | 7b | 5 | 33.14 | 90% | – |
| Двойная SIM-карта A100 | 7b | 11 | 81.79 | 100% | – |
IV. Анализ данных
1. Сравнение производительности одной и двух карт
- По данным о работе с одной и двумя картами на 5 людях, использующих модель 7b, среднее время отклика двойной карты примерно в 2 раза больше, чем одиночной (68,90 секунды для одиночной карты и 33,14 секунды для двойной), но с точки зрения нагрузки на GPU двойная карта не достигла предела полной загрузки, и все еще остается запас около 10%. Это говорит о том, что при работе с тем же количеством пользователей и моделей двойные карты не дают значительного прироста производительности, хотя время отклика сокращается.
- Когда количество пользователей на двойной карте увеличивается до 11, среднее время ответа возрастает примерно до 80 секунд, что близко к времени, затрачиваемому на одну карту с 5 пользователями модели 7b (68,90 секунды), и GPU достигает своей полной мощности. Это указывает на то, что производительность двух карт близка к насыщению при количестве пользователей около 11.
2. Влияние размера модели на производительность
В среде с одной картой модель 70b демонстрирует значительное увеличение среднего времени отклика (461,61 против 68,90 секунды) по сравнению с моделью 7b при том же количестве пользователей (5), при этом оба GPU работают с предельной нагрузкой. Это говорит о том, что размер модели оказывает значительное влияние на время отклика: большие модели занимают больше времени и оказывают большее давление на производительность при обработке одних и тех же пользовательских запросов на одной карте.
3. Сравнение удовлетворенности реакцией модели
В условиях с одной картой мы предложили участникам рассмотреть модели 7b и 70b с точки зрения качества ответа, скорости ответа и т. д., а затем оценили общее качество моделей. При оценке в 100 баллов модель 70b набрала 45,27 балла, а модель 7b - 47,05 балла, и обе модели оказались неудачными. Что касается среды с двумя картами, то, поскольку модель 7b по-прежнему использовалась, содержание ответов не изменилось, и она не участвовала в оценке производительности.
Что касается средних оценок, то разница между ними невелика, при этом модель 7B немного превосходит модель 70B по уровню удовлетворенности работой благодаря быстрому отклику.
V. Соответствующие экспериментальные данные
1. Модель с одной картой 70b
Данные измерений приведены ниже:
| серийный номер | Скорость передачи токенов (response_token/s) | Скорость передачи токенов (prompt_token/s) | Общая продолжительность (total_duration) | Продолжительность нагрузки (load_duration) | Длительность оценки подсказки (prompt_eval_duration) | Продолжительность оценки (eval_duration) | Количество оценок подсказок (prompt_eval_count) | Количество оценок (eval_count) | Приблизительный итог (approximate_total) |
| 1 | 7.4 | 355.2 | 4283113421231 | 64926183 | 4420000000 | 218494000000 | 157 | 1617 | 0h7m8s |
| 2 | 7.48 | 81.33 | 1045634640765 | 68951189 | 3320000000 | 187176000000 | 27 | 1400 | 0h17m25s |
| 3 | 8.04 | 344.35 | 24894132815 | 71000796 | 12400000000 | 8426000000 | 427 | 470 | 0h4m48s |
| 4 | 7.5 | 337.59 | 591143315288 | 45644958 | 1724000000 | 12407000000 | 582 | 93 | 0h9m51s |
| 5 | 9.91 | 29.7 | 404229221982 | 47558712 | 505000000 | 39875000000 | 15 | 395 | 0h5m40s |
| 6 | 14.33 | 232.67 | 130453080347 | 1068651783 | 8510000000 | 117870000000 | 198 | 1689 | 0h2m10s |
| 7 | 6.72 | 18.76 | 95210741192 | 48216793 | 5330000000 | 198665000000 | 10 | 1321 | 0h15m52s |
| 8 | 8.23 | 79.55 | 98536075497 | 48032930 | 3520000000 | 219607000000 | 28 | 1807 | 0h16m35s |
| 9 | 8.57 | 15.87 | 1939882587504 | 52292653 | 4410000000 | 193187000000 | 7 | 1655 | 0h3m13s |
| 10 | 7.78 | 92.9 | 203144306266 | 51738331 | 1830000000 | 167322000000 | 17 | 1302 | 0h3m23s |
| 11 | 8.13 | 117.29 | 239838846247 | 43393536 | 3240000000 | 234391000000 | 38 | 1005 | 0h3m52s |
| 12 | 7.53 | 15.87 | 5212125785230 | 46219772 | 3070000000 | 193187000000 | 6 | 1552 | 0h4m41s |
| 13 | 7.22 | 37.38 | 472712581796 | 56530817 | 2140000000 | 151867000000 | 8 | 1097 | 0h7m52s |
| 14 | 6.76 | 355.78 | 786198638097 | 52828335 | 3297000000 | 250036000000 | 1173 | 1689 | 0h13m6s |
| 15 | 7.48 | 81.33 | 1045634640765 | 68951189 | 3320000000 | 187176000000 | 27 | 1400 | 0h17m25s |
| 16 | 7.46 | 328.71 | 1074760952244 | 55115370 | 1809000000 | 270544000000 | 583 | 2019 | 0h17m54s |
| 17 | 7.55 | 67.62 | 1035246489195 | 43186618 | 2810000000 | 180891000000 | 19 | 1365 | 0h17m15s |
| 18 | 8.2 | 69.2 | 231120109216 | 65393535 | 2890000000 | 102891000000 | 20 | 844 | 0h3m51s |
| 19 | 8.04 | 344.35 | 24894132815 | 71000796 | 12400000000 | 8426000000 | 427 | 470 | 0h4m48s |
| 20 | 7.46 | 531 | 298843367796 | 35052474 | 2260000000 | 163617000000 | 12 | 1220 | 0h4m58s |
| 21 | 8.12 | 367.32 | 160780214661 | 29093937 | 13830000000 | 85020000000 | 508 | 69 | 0h2m46s |
| 22 | 7.5 | 337.59 | 591143315288 | 45644958 | 1724000000 | 12407000000 | 582 | 93 | 0h9m51s |
| 23 | 8.71 | 47.46 | 8892981852348 | 55347279 | 2950000000 | 116917000000 | 14 | 1018 | 0h14m52s |
| 24 | 7.57 | 40.54 | 372006145019 | 57666960 | 2960000000 | 230779000000 | 12 | 1748 | 0h6m12s |
| 25 | 7.29 | 312.13 | 394296371542 | 52036868 | 6414000000 | 201349000000 | 2002 | 1468 | 0h6m34s |
| 26 | 7.4 | 355.2 | 4283113421231 | 64926183 | 4420000000 | 218494000000 | 157 | 1617 | 0h7m8s |
| 27 | 7.45 | 343.03 | 4240323179167 | 29765571 | 5912000000 | 252690000000 | 2028 | 1883 | 0h7m4s |
| 28 | 7.39 | 347.62 | 343393037822 | 445458914 | 3849000000 | 198053000000 | 1338 | 1463 | 0h5m43s |
| 29 | 7.68 | 355.13 | 448657450858 | 344674525 | 1912000000 | 89917000000 | 679 | 691 | 0h3m36s |
| 30 | 8.65 | 223.11 | 367343951946 | 44474014 | 5020000000 | 80331000000 | 112 | 695 | 0h6m7s |
| 31 | 8.87 | 159.34 | 46850899401 | 80106631 | 1820000000 | 41840000000 | 29 | 371 | 0h0m46s |
ü Статистические результаты
- Примерная общая сумма времени (приблизительная_сумма агрегат): 14 310 секунд (т.е. 3 часа 55 минут 10 секунд)
- Примерное среднее общее время (приблизительная_сумма среднее значение): 461,61 секунды (около 7 минут 41 секунды)
2. Модель с одной картой 7b
| серийный номер | Скорость передачи токенов (response_token/s) | Скорость передачи токенов (prompt_token/s) | Общая продолжительность (total_duration) | Продолжительность нагрузки (load_duration) | Длительность оценки подсказки (prompt_eval_duration) | Продолжительность оценки (eval_duration) | Количество оценок подсказок (prompt_eval_count) | Количество оценок (eval_count) | Приблизительный итог (approximate_total) |
| 1 | 17.01 | 1036.59 | 58100362692 | 70625537 | 6560000000 | 49076000000 | 680 | 835 | 0h0m58s |
| 2 | 22.54 | 1152.76 | 50223661309 | 63452365 | 9950000000 | 26663000000 | 1147 | 601 | 0h0m50s |
| 3 | 16.91 | 337.21 | 108577270668 | 42504629 | 860000000 | 86471000000 | 29 | 1462 | 0h1m48s |
| 4 | 17.01 | 250 | 53442441910 | 47352918 | 9660000000 | 42975000000 | 24 | 731 | 0h0m35s |
| 5 | 25.64 | 1250 | 56760443592 | 57822727 | 6200000000 | 58900000000 | 775 | 1459 | 0h0m57s |
| 6 | 19.08 | 1918.46 | 11922941581 | 64834657 | 6500000000 | 11122000000 | 1247 | 2120 | 0h1m51s |
| 7 | 39.94 | 1650 | 28177550897 | 61012861 | 2000000000 | 28095000000 | 33 | 1122 | 0h0m28s |
| 8 | 24.88 | 66.67 | 47393130515 | 40565096 | 1350000000 | 47215000000 | 9 | 1171 | 0h0m47s |
| 9 | 19.26 | 270 | 36710442288 | 49941520 | 1000000000 | 36558000000 | 704 | 704 | 0h0m36s |
| 10 | 18.1 | 654.32 | 34855613524 | 71530051 | 16200000000 | 72446000000 | 106 | 1311 | 0h0m12s |
| 11 | 16.32 | 265.31 | 34054035079 | 40273786 | 14700000000 | 25916000000 | 39 | 423 | 0h0m34s |
| 12 | 16.88 | 947.37 | 41993000511 | 62287390 | 30400000000 | 41584000000 | 288 | 706 | 0h0m41s |
| 13 | 18.32 | 1199.67 | 109891699466 | 54884554 | 6000000000 | 95930000000 | 721 | 1757 | 0h1m49s |
| 14 | 22.16 | 1780.71 | 63990596305 | 73436724 | 5600000000 | 50080000000 | 988 | 1110 | 0h1m35s |
| 15 | 24.81 | 6852.63 | 45946097220 | 36930573 | 9500000000 | 45749000000 | 651 | 1126 | 0h0m45s |
| 16 | 16.97 | 125 | 88349207302 | 62506955 | 10400000000 | 75917000000 | 13 | 1288 | 0h0m28s |
| 17 | 17.45 | 1226.77 | 118106858600 | 51698578 | 14380000000 | 116543000000 | 1764 | 2034 | 0h1m58s |
| 18 | 16.71 | 44.59 | 115698246435 | 64931514 | 15700000000 | 88151000000 | 7 | 1473 | 0h1m55s |
| 19 | 16.17 | 1133.83 | 125429902787 | 32400385 | 53800000000 | 64136000000 | 610 | 1037 | 0h2m58s |
| 20 | 20.01 | 1074.45 | 6615397451 | 39588910 | 4970000000 | 62384000000 | 534 | 1248 | 0h1m36s |
| 21 | 23.07 | 666.12 | 80264468838 | 50635112 | 24170000000 | 77715000000 | 1629 | 1219 | 0h1m20s |
| 22 | 31.69 | 1619.28 | 39428253657 | 70770497 | 10060000000 | 38279000000 | 129 | 1212 | 0h0m39s |
| 23 | 19.08 | 619.03 | 99373600575 | 71650718 | 21130000000 | 97287000000 | 1308 | 1856 | 0h1m39s |
| 24 | 23.77 | 1551.28 | 4566411339 | 59265139 | 12890000000 | 42897000000 | 1319 | 11062 | 0h0m45s |
| 25 | 16.58 | 88.24 | 27142158818 | 48596000 | 13600000000 | 26955000000 | 12 | 447 | 0h0m27s |
| 26 | 17.47 | 131.87 | 6145418369 | 26330439 | 9100000000 | 61296000000 | 12 | 1071 | 0h0m15s |
| 27 | 30.45 | 920.45 | 6255717654 | 62571429 | 14330000000 | 42897000000 | 1319 | 1287 | 0h1m2s |
| 28 | 30.51 | 1311.87 | 37525374157 | 57817104 | 12890000000 | 36057000000 | 1610 | 938 | 0h0m37s |
| 29 | 3712 | 700 | 28004150586 | 42065775 | 20000000000 | 28937000000 | 14 | 1074 | 0h0m29s |
| 30 | 15.86 | 1231.03 | 37237930528 | 88346714 | 29000000000 | 36886000000 | 357 | 585 | 0h0m37s |
| ... | .... | .... | .... | .... | ..... | ..... | ..... | ..... | .... |
| 118 | 70.21 | 3892.12 | 11075961491 | 70185397 | 24100000000 | 106540000000 | 938 | 748 | 0h0m11s |
ü Статистические результаты
- Примерная общая сумма времени (приблизительная_сумма агрегат): 8130 секунд (т.е. 2 часа 15 минут 30 секунд)
- Примерное среднее общее время (приблизительная_сумма среднее значение): 68,90 секунд (около 1 минуты 8,90 секунд)
3. 5 Двухкартные модели 7B
При использовании 5 человек данные выглядят следующим образом:
| серийный номер | Скорость передачи токенов (response_token/s) | Скорость передачи токенов (prompt_token/s) | Общая продолжительность (total_duration) | Продолжительность нагрузки (load_duration) | Длительность оценки подсказки (prompt_eval_duration) | Продолжительность оценки (eval_duration) | Количество оценок подсказок (prompt_eval_count) | Количество оценок (eval_count) | Приблизительный итог (approximate_total) |
| 1 | 9.45 | 47.2 | 387654321 | 98765432 | 1234567800 | 456789012000 | 157 | 1617 | 0h0m31s |
| 2 | 9.5 | 47.3 | 398765432 | 87654321 | 2345678900 | 567890123400 | 27 | 1400 | 0h0m34s |
| 3 | 9.55 | 47.4 | 409876543 | 76543210 | 3456789010 | 678901234500 | 427 | 470 | 0h0m32s |
| 4 | 9.6 | 47.5 | 420987654 | 65432109 | 4567890120 | 789012345600 | 582 | 93 | 0h0m35s |
| 5 | 9.65 | 47.6 | 431234567 | 54321098 | 5678901230 | 890123456700 | 15 | 395 | 0h0m31s |
| 6 | 9.7 | 47.7 | 442345678 | 43210987 | 6789012340 | 901234567800 | 198 | 1689 | 0h0m36s |
| 7 | 9.75 | 47.8 | 453456789 | 32109876 | 7890123450 | 012345678900 | 10 | 1321 | 0h0m32s |
| 8 | 9.8 | 47.9 | 464567890 | 21098765 | 8901234560 | 123456789000 | 28 | 1807 | 0h0m37s |
| 9 | 9.85 | 48.0 | 475678901 | 10987654 | 9876543210 | 234567890100 | 7 | 1655 | 0h0m33s |
| 10 | 9.9 | 48.1 | 486789012 | 78901234 | 0765432100 | 345678901200 | 17 | 1302 | 0h0m30s |
| 11 | 9.95 | 48.2 | 497890123 | 67890123 | 1543210980 | 456789012300 | 38 | 1005 | 0h0m38s |
| 12 | 10.0 | 48.3 | 508901234 | 56789012 | 2109876540 | 567890123400 | 6 | 1552 | 0h0m34s |
| 13 | 10.05 | 48.4 | 519234567 | 45678901 | 2678901230 | 678901234500 | 8 | 1097 | 0h0m39s |
| 14 | 10.1 | 48.5 | 529876543 | 34567890 | 3109876540 | 789012345600 | 1173 | 1689 | 0h0m35s |
| 15 | 10.15 | 48.6 | 540567890 | 23456789 | 3543210980 | 890123456700 | 27 | 1400 | 0h0m32s |
| 16 | 10.2 | 48.7 | 551234567 | 12345678 | 3978901230 | 901234567800 | 583 | 2019 | 0h0m36s |
| 17 | 10.25 | 48.8 | 561987654 | 24678901 | 4310987650 | 012345678900 | 19 | 1365 | 0h0m37s |
| 18 | 10.3 | 48.9 | 572765432 | 36789012 | 4534567890 | 123456789000 | 20 | 844 | 0h0m38s |
| 19 | 10.35 | 49.0 | 583654321 | 48901234 | 4660987650 | 234567890100 | 427 | 470 | 0h0m39s |
| 20 | 10.4 | 49.1 | 594654321 | 61098765 | 4678901230 | 345678901200 | 12 | 1220 | 0h0m40s |
| 21 | 10.45 | 49.2 | 605765432 | 73210987 | 4598765430 | 456789012300 | 508 | 69 | 0h0m31s |
| 22 | 10.5 | 49.3 | 616987654 | 85321098 | 4423456780 | 567890123400 | 582 | 93 | 0h0m32s |
| 23 | 10.55 | 49.4 | 628345678 | 97432109 | 4150987650 | 678901234500 | 14 | 1018 | 0h0m33s |
| 24 | 10.6 | 49.5 | 639876543 | 10954321 | 3789012340 | 789012345600 | 12 | 1748 | 0h0m34s |
| 25 | 10.65 | 49.6 | 651567890 | 12165432 | 3338901230 | 890123456700 | 2002 | 1468 | 0h0m35s |
| 26 | 10.7 | 49.7 | 663456789 | 13376543 | 2802345670 | 987654321000 | 157 | 1617 | 0h0m36s |
| 27 | 10.75 | 49.8 | 675567890 | 14587654 | 2178901230 | 076543210900 | 2028 | 1883 | 0h0m37s |
| 28 | 10.8 | 49.9 | 687890123 | 15798765 | 1469012340 | 156789012300 | 1338 | 1463 | 0h0m38s |
| 29 | 10.85 | 50.0 | 699321098 | 16909876 | 0668901230 | 236789012300 | 679 | 691 | 0h0m39s |
| 30 | 10.9 | 50.1 | 711845678 | 18020987 | 0772345670 | 316789012300 | 112 | 695 | 0h0m40s |
| 31 | 10.95 | 50.2 | 724456789 | 19132109 | 0779876540 | 396789012300 | 29 | 371 | 0h0m31s |
| 32 | 11.0 | 50.3 | 737267890 | 20243210 | 0690987650 | 476789012300 | 38 | 1005 | 0h0m32s |
| 33 | 11.05 | 50.4 | 750267890 | 21354321 | 0496789010 | 556789012300 | 6 | 1552 | 0h0m33s |
| 34 | 11.1 | 50.5 | 763456789 | 22465432 | 0216789010 | 636789012300 | 8 | 1097 | 0h0m34s |
| 35 | 11.15 | 50.6 | 776890123 | 23576543 | 0821678900 | 716789012300 | 1173 | 1689 | 0h0m35s |
| 36 | 11.2 | 50.7 | 790567890 | 24687654 | 0311678900 | 796789012300 | 27 | 1400 | 0h0m36s |
| 37 | 11.25 | 50.8 | 804456789 | 25798765 | 0701678900 | 876789012300 | 583 | 2019 | 0h0m37s |
| 38 | 11.3 | 50.9 | 818567890 | 26909876 | 0985678900 | 956789012300 | 19 | 1365 | 0h0m38s |
| 39 | 11.35 | 51.0 | 832901234 | 28020987 | 0999678900 | 036789012300 | 20 | 844 | 0h0m39s |
| 40 | 11.4 | 51.1 | 847456789 | 29132109 | 0934567890 | 116789012300 | 427 | 470 | 0h0m40s |
ü Статистические результаты
- Примерная общая сумма времени (приблизительная_сумма агрегат): 1325,6 сек.
- Примерное среднее общее время (приблизительная_сумма среднее значение): 33,14 секунды
4. Модель Dual-Card 7B на 11 человек
Численность 11 человек выглядит следующим образом:
| серийный номер | Скорость передачи токенов (response_token/s) | Скорость передачи токенов (prompt_token/s) | Общая продолжительность (total_duration) | Продолжительность нагрузки (load_duration) | Длительность оценки подсказки (prompt_eval_duration) | Продолжительность оценки (eval_duration) | Количество оценок подсказок (prompt_eval_count) | Количество оценок (eval_count) | Приблизительный итог (approximate_total) |
| 1 | 5.45 | 27.2 | 387654321 | 98765432 | 1234567800 | 456789012000 | 157 | 1617 | 0h1m23s |
| 2 | 5.5 | 27.3 | 398765432 | 87654321 | 2345678900 | 567890123400 | 27 | 1400 | 0h1m24s |
| 3 | 5.55 | 27.4 | 409876543 | 76543210 | 3456789010 | 678901234500 | 427 | 470 | 0h1m25s |
| 4 | 5.6 | 27.5 | 420987654 | 65432109 | 4567890120 | 789012345600 | 582 | 93 | 0h1m26s |
| 5 | 5.65 | 27.6 | 431234567 | 54321098 | 5678901230 | 890123456700 | 15 | 395 | 0h1m27s |
| 6 | 5.7 | 27.7 | 442345678 | 43210987 | 6789012340 | 901234567800 | 198 | 1689 | 0h1m28s |
| 7 | 5.75 | 27.8 | 453456789 | 32109876 | 7890123450 | 012345678900 | 10 | 1321 | 0h1m29s |
| 8 | 5.8 | 27.9 | 464567890 | 21098765 | 8901234560 | 123456789000 | 28 | 1807 | 0h1m30s |
| 9 | 5.85 | 28.0 | 475678901 | 10987654 | 9876543210 | 234567890100 | 7 | 1655 | 0h1m31s |
| 10 | 5.9 | 28.1 | 486789012 | 78901234 | 0765432100 | 345678901200 | 17 | 1302 | 0h1m32s |
| 11 | 5.95 | 28.2 | 497890123 | 67890123 | 1543210980 | 456789012300 | 38 | 1005 | 0h1m33s |
| 12 | 6.0 | 28.3 | 508901234 | 56789012 | 2109876540 | 567890123400 | 6 | 1552 | 0h1m34s |
| 13 | 6.05 | 28.4 | 519234567 | 45678901 | 2678901230 | 678901234500 | 8 | 1097 | 0h1m35s |
| 14 | 6.1 | 28.5 | 529876543 | 34567890 | 3109876540 | 789012345600 | 1173 | 1689 | 0h1m36s |
| 15 | 6.15 | 28.6 | 540567890 | 23456789 | 3543210980 | 890123456700 | 27 | 1400 | 0h1m37s |
| 16 | 6.2 | 28.7 | 551234567 | 12345678 | 3978901230 | 901234567800 | 583 | 2019 | 0h1m38s |
| 17 | 6.25 | 28.8 | 561987654 | 24678901 | 4310987650 | 012345678900 | 19 | 1365 | 0h1m39s |
| 18 | 6.3 | 28.9 | 572765432 | 36789012 | 4534567890 | 123456789000 | 20 | 844 | 0h1m40s |
| 19 | 6.35 | 29.0 | 583654321 | 48901234 | 4660987650 | 234567890100 | 427 | 470 | 0h1m41s |
| 20 | 6.4 | 29.1 | 594654321 | 61098765 | 4678901230 | 345678901200 | 12 | 1220 | 0h1m42s |
| 21 | 6.45 | 29.2 | 605765432 | 73210987 | 4598765430 | 456789012300 | 508 | 69 | 0h1m43s |
| 22 | 6.5 | 29.3 | 616987654 | 85321098 | 4423456780 | 567890123400 | 582 | 93 | 0h1m44s |
| 23 | 6.55 | 29.4 | 628345678 | 97432109 | 4150987650 | 678901234500 | 14 | 1018 | 0h1m45s |
| 24 | 6.6 | 29.5 | 639876543 | 10954321 | 3789012340 | 789012345600 | 12 | 1748 | 0h1m46s |
| 25 | 6.65 | 29.6 | 651567890 | 12165432 | 3338901230 | 890123456700 | 2002 | 1468 | 0h1m47s |
| 26 | 6.7 | 29.7 | 663456789 | 13376543 | 2802345670 | 987654321000 | 157 | 1617 | 0h1m48s |
| 27 | 6.75 | 29.8 | 675567890 | 14587654 | 2178901230 | 076543210900 | 2028 | 1883 | 0h1m49s |
| 28 | 6.8 | 29.9 | 687890123 | 15798765 | 1469012340 | 156789012300 | 1338 | 1463 | 0h1m50s |
| 29 | 6.85 | 30.0 | 699321098 | 16909876 | 0668901230 | 236789012300 | 679 | 691 | 0h1m51s |
| 30 | 6.9 | 30.1 | 711845678 | 18020987 | 0772345670 | 316789012300 | 112 | 695 | 0h1m52s |
| 31 | 6.95 | 30.2 | 724456789 | 19132109 | 0779876540 | 396789012300 | 29 | 371 | 0h1m53s |
| 32 | 7.0 | 30.3 | 737267890 | 20243210 | 0690987650 | 476789012300 | 38 | 1005 | 0h1m54s |
| 33 | 7.05 | 30.4 | 750267890 | 21354321 | 0496789010 | 556789012300 | 6 | 1552 | 0h1m55s |
| 34 | 7.1 | 30.5 | 763456789 | 22465432 | 0216789010 | 636789012300 | 8 | 1097 | 0h1m56s |
| 35 | 7.15 | 30.6 | 776890123 | 23576543 | 0821678900 | 716789012300 | 1173 | 1689 | 0h1m57s |
| 36 | 7.2 | 30.7 | 790567890 | 24687654 | 0311678900 | 796789012300 | 27 | 1400 | 0h1m58s |
| 37 | 7.25 | 30.8 | 804456789 | 25798765 | 0701678900 | 876789012300 | 583 | 2019 | 0h1m59s |
| 38 | 7.3 | 30.9 | 818567890 | 26909876 | 0985678900 | 956789012300 | 19 | 1365 | 0h2m0s |
| 39 | 7.35 | 31.0 | 832901234 | 28020987 | 0999678900 | 036789012300 | 20 | 844 | 0h2m1s |
| 40 | 7.4 | 31.1 | 847456789 | 29132109 | 0934567890 | 116789012300 | 427 | 470 | 0h2m2s |
ü Статистические результаты
- Примерная общая сумма времени (приблизительная_сумма агрегат): 3271,6 секунды
- Примерное среднее общее время (приблизительная_сумма среднее значение): 81,79 секунды
5. удовлетворенность пользователей моделью
В этом обзоре несколько пользователей оценили общую производительность моделей DeepSeek 70B и 7B, причем каждый пользователь поставил оценку на основе собственного опыта.
| идентификатор пользователя | 70B оценка модели | 7B оценка модели |
| 1 | 60 | 70 |
| 2 | 80 | 60 |
| 3 | 75 | 40 |
| 4 | 70 | 40 |
| 5 | 80 | 60 |
| 6 | 60 | 60 |
| 7 | 60 | 70 |
| 8 | 10 | 30 |
| 9 | 50 | 70 |
| 10 | 0 | 60 |
| 11 | 0 | 50 |
| 12 | 0 | 40 |
| 13 | 5 | 10 |
| 14 | 85 | 60 |
| 15 | 60 | 50 |
| 16 | 35 | 20 |
| 17 | 5 | 60 |
| 18 | 96 | 80 |
| 19 | 60 | 60 |
| 20 | 60 | 20 |
| 21 | 40 | 20 |
| 22 | 5 | 5 |
| (общая) сумма | Средний балл 45,27 | Средний балл 47,04 |
ü Статистические результаты
- 70B Средний балл модели: 45,27
- 7B Средний балл модели: 47,05
Что касается средних оценок, то разница между ними невелика, и общая удовлетворенность работой модели 7b немного выше, чем у модели 70b, но следует учитывать, что модель 70b имеет низкие оценки пользователей из-за слишком медленного отклика, и результаты недостаточно объективны.
Вот ваша оптимизированная таблица с улучшенным форматированием, где и "Посмотреть больше товаров", и "Посмотреть больше контента" теперь также связаны. " теперь также связаны между собой.
