Deepseek sul proprio computer: cosa ci possiamo fare davvero?

– Fonte: Markus Winkler su Unsplash.

Nell’articolo precedente ho presentato l’interfaccia di LM Studio, provando poi il modello proposto di default (DeepSeek 7B) con uno dei prompt di esempio.

Quello che ci serve davvero, però, è verificare se un LLM sia in grado di svolgere quei compiti ripetitivi e un po’ noiosi che ci toccano sempre più spesso e che è bene fare sul nostro computer, senza dover inviare in giro per la rete dei documenti riservati o che potrebbero contenere dei dati sensibili.¹

Ma a ben pensarci le questioni relative alla privacy non sono i soli motivi per usare un LLM locale. C’è anche il vantaggio di poter sperimentare liberamente con modelli diversi, modificandone le impostazioni in base alle nostre esigenze.

Un altro aspetto importante è la riproducibilità dei risultati, che è praticamente impossibile da garantire con gli LLM online che vengono aggiornati di continuo, ma che è fondamentale in alcuni ambiti, in particolare in campo scientifico, tecnologico e ingegneristico.

Infine c’è la questione dei costi: non tutti possono permettersi di spendere 20, 30, perfino 200 dollari al mese per usare un LLM commerciale come ChatGPT o Gemini, mentre far girare un LLM sul proprio computer è gratis, o quasi.

Generazione di un testo

E allora mettiamo DeepSeek 7B alla prova facendogli scrivere un testo. Rimaniamo in tema, chiedendogli di scrivere un post per un blog di tipo tecnico sui pro e contro di usare Deepseek.

You are a blogger who writes about computers and development. Write a short post about the pros and cons of using an LLM like Deepseek, using a technical tone but understandable to most readers.

Deepseek ci pensa un po’ su e poi tira fuori i testi che trovate qui sotto. La sezione racchiusa fra i tag <think> e </think> corrisponde al ragionamento effettuato dal modello, mentre tutto il resto costituisce la risposta vera e propria. Per non appesantire troppo l’articolo, ho deciso di nascondere di default i testi generati, che è possibile visualizzare cliccando sui rispettivi pulsanti.²

<think>

Alright, so I’m trying to wrap my head around this whole topic about using Large Language Models (LLMs) like DeepSeek in blogging and content creation. From what I understand, these models can generate text based on the data they’ve been trained on. They’re kinda like having a really smart writer who can come up with all sorts of ideas or even mimic human writing styles.

First off, let’s talk about the pros. One big advantage is efficiency. Instead of spending hours writing an article or blog post manually, I could potentially just give the model some keywords and a rough idea, and it would spit out something pretty decent. That sounds super useful, especially if I want to write more frequently without dedicating too much time each time.

Another pro is access to knowledge. These models are trained on vast amounts of data, so they can draw from various fields like technology, science, arts, etc., right? So if I’m writing about a niche topic or trying to understand something complex, the model could provide insights or even generate content in that specific area.

Cost-effectiveness is another point. Instead of hiring someone to write for me or using expensive tools that require significant computational resources, relying on an LLM might be more economical, especially if I’m just starting out and don’t have a huge budget.

Scalability also seems like a plus. These models can handle large-scale data and generate content in multiple languages or formats as needed, which is great for global blogging or diverse projects.

Innovation is another area to consider. By using an LLM, I might be able to explore new writing styles or experiment with different forms of digital content that I hadn’t considered before. It could open up creative possibilities and keep my content fresh.

Now, thinking about the cons. There’s definitely a risk involved in using these models. The quality of generated text can vary widely depending on how well the model understands the input and its training data. If I don’t provide clear instructions or context, the output might not be what I expect, leading to confusion or misinformation.

Ethical concerns are also significant. There’s a debate about who should bear responsibility if an AI goes rogue or misinterprets user queries. As someone using these tools, it’s hard to know exactly how much of the content is generated by the model versus my own original work.

Privacy and security issues come to mind too. If an LLM has access to sensitive information through its training data, there’s a risk that the information could be leaked or misused without the owner’s consent. Ensuring that such models operate in secure environments is crucial but might add complexity to their implementation.

Over-reliance on these models could lead to decreased critical thinking and creativity. If I’m too dependent on an LLM for content generation, I might not develop my own skills or originality, which are important for maintaining the quality of my work over time.

Lastly, there’s a potential job displacement aspect. As LLMs become more advanced and efficient in generating content, it could lead to a decrease in demand for human writers in certain roles, especially if the models can replicate tasks like writing, editing, or creating social media content with ease.

Overall, while LLMs offer immense benefits in terms of efficiency, access to knowledge, cost-effectiveness, scalability, and innovation, they also present significant challenges related to quality control, ethical accountability, privacy, over-reliance, and the potential impact on human jobs. Balancing these pros and cons is crucial for deciding whether to use such tools in my blogging and content creation efforts.

One thing I’m still unsure about is how to ensure the integrity of the content produced by an LLM. How do I verify that the text generated is accurate or original? Maybe cross-referencing with multiple sources or using AI tools designed for fact-checking could help, but it might be time-consuming and resource-intensive.

Another thing is understanding the limitations of these models. For instance, they might struggle with complex or nuanced topics that require deep contextual knowledge. It would be helpful to know more about how to work within these limitations and still produce high-quality content.

Also, considering the legal aspects—how do I handle attribution if my blog content includes text generated by an LLM? Should I always cite it as AI-generated, and is there a risk of non-compliance with terms of service or copyright laws?

I’m also curious about the diversity of outputs. Do these models sometimes produce inconsistent or unexpected results? How can I fine-tune them to better suit my specific needs without losing the ability to generate diverse content.

Lastly, exploring case studies or examples where other bloggers have successfully integrated LLMs into their workflow could provide valuable insights and practical tips on managing the associated challenges.

</think>

The Pros and Cons of Using Large Language Models (LLMs) in Blogging

In recent years, Large Language Models (LLMs) like DeepSeek have emerged as powerful tools for generating text across various fields. For bloggers and content creators, these models offer both immense benefits and significant challenges. Below is an organized summary of the pros and cons, providing a balanced view to help decide whether to incorporate such tools into one’s workflow.

Pros of Using LLMs in Blogging

1. Efficiency:
   LLMs can significantly enhance productivity by automating content generation. Instead of spending hours writing or revising posts manually, users can input keywords and a brief idea, and the model generates a draft. This is particularly useful for frequent content creation.

2. Access to Knowledge:
   Trained on vast datasets, LLMs can draw from diverse fields such as technology, science, arts, etc., providing insights or generating content in niche areas. This broad knowledge base is invaluable for exploring complex topics and offering informed perspectives.

3. Cost-Effectiveness:
   Relying on an LLM avoids the costs associated with hiring writers or using expensive tools that require substantial computational resources. It is especially beneficial for startups or individuals with limited budgets.

4. Scalability:
   These models handle large-scale data and can generate content in multiple languages or formats, making them suitable for global blogging and diverse projects.

5. Innovation:
   LLMs open up creative possibilities by allowing exploration of new writing styles or digital content forms, keeping content fresh and engaging.

Cons of Using LLMs in Blogging

1. Quality Variability:
   The output quality can vary widely based on input clarity and context. Without clear instructions, generated text may not meet expectations, potentially leading to confusion or misinformation.

2. Ethical Concerns:
   Questions arise about accountability if an AI misinterprets queries. Users must be cautious to ensure the model is used ethically and that any content created remains under their control.

3. Privacy and Security:
   Risks of information leakage exist if sensitive data is part of the training dataset. Ensuring secure environments for such models adds complexity but is crucial.

4. Over-Reliance:
   Over-reliance on LLMs can reduce critical thinking and creativity, potentially leading to a decline in originality over time as users become too dependent on these tools.

5. Job Displacement:
   As LLM efficiency increases, there may be decreased demand for human writers in certain roles, raising concerns about the future of content creation jobs.

Additional Considerations

• Integrity and Verification: Ensuring the accuracy and originality of generated content is crucial. Cross-referencing with multiple sources or using fact-checking tools can help mitigate this risk.

• Limitations of Models: LLMs may struggle with complex or nuanced topics requiring deep contextual knowledge. Understanding these limitations is key to effectively utilizing them.

• Legal Aspects: Proper attribution for AI-generated content is necessary to avoid legal issues. Users should be aware of terms of service and copyright laws regarding AI outputs.

• Diversity of Outputs: Models can produce inconsistent results, necessitating fine-tuning to meet specific needs while maintaining diversity in content.

• Case Studies and Examples: Examining successful integration strategies from other bloggers or case studies can provide practical insights and tips for managing challenges.

In conclusion, while LLMs offer significant advantages in efficiency, knowledge access, cost-effectiveness, scalability, and innovation, they also present challenges related to quality control, ethics, privacy, over-reliance, and potential job displacement. Balancing these factors is essential for determining the appropriate use of such tools in blogging and content creation.

La risposta di Deepseek è giusta, è precisa, ma… è anche più piatta di un tavolo da biliardo! Il testo generato potrebbe forse andare bene per una presentazione aziendale, magari come introduzione all’argomento per un pubblico che non ne sa assolutamente niente. Ma per un post su un blog? Solo se volessi far dormire i miei lettori.

E in ogni caso, se quello che avete appena letto vi suona familiare, è solo perché ormai gran parte di quello che troviamo online è generato dalla intelligenza artificiale, anche su piattaforme in teoria di alta qualità come Medium. Tutta spazzatura, facile da generare ma che è inutile leggere.

Va detto, invece che i pensieri generati dal modello sono molto più interessanti: il tono è più vivace e scorrevole e il testo è in linea con la richiesta. Ma, una volta messi in bella nella risposta finale, perdono mordente e diventano banali. Vai a capire perché.

E in italiano?

Ma perché ho usato l’inglese, se questo è un articolo in italiano? Perché, se ripeto la stessa domanda in italiano, il risultato è un disastro: pieno di errori di grammatica e impossibile da usare, anche solo come schema di partenza per scrivere qualcosa di più sensato.

Sei un blogger che scrive di informatica e di sviluppo. Scrivi un post sui pro e i contro dell’utilizzo di un LLM come Deepseek, utilizzando un tono tecnico ma rendendolo comprensibile alla maggior parte dei lettori. Rispondi in italiano.

<think>

Alright, so I’m supposed to write a blog post about the pros and cons of using an LLM like DeepSeek for blogging, specifically targeting bloggers who write about computer science and development. The user wants it in Italian, with a technical tone but made understandable to most readers. Okay, let’s break this down.

First, I need to understand what an LLM is and how it can be used in blogging. From what I know, LLMs are large language models that can generate text based on the input they receive. DeepSeek seems like a specific type or version of such a model. Bloggers might use these models to automate content creation, get quick summaries or expanded versions of articles, translate content quickly, and so on.

Now, thinking about the pros: efficiency is probably a big one because generating content manually can be time-consuming. Instead, using an LLM could save a lot of time. Also, if the model has knowledge about various technical topics, it could provide accurate and up-to-date information for blog posts on niche subjects in computer science.

Another potential advantage is that LLMs can write in different languages or formats, which might be useful if the blogger needs to publish in multiple languages without having separate content. Additionally, they could help create more engaging content by suggesting variations of a topic or integrating visuals and multimedia elements.

On the flip side, there are definitely cons to consider. One major concern is the quality of the generated text. If the input isn’t clear or specific enough, the output might not be very useful or could even contain errors. It’s also an issue if the model doesn’t have deep technical knowledge, leading to incorrect or misleading information in blog posts.

Another point is the need for constant monitoring and verification since the content produced by LLMs can vary a lot. Even if the overall direction is correct, there might be nuances that aren’t captured accurately. Plus, using such tools could encourage over-reliance on AI, reducing the motivation to engage deeply with the material or improve writing skills.

There’s also the aspect of intellectual property and attribution. If an LLM generates content without proper credit, it could lead to issues like plagiarism claims in the future. Ensuring that generated content is properly acknowledged and cited seems crucial but might be challenging if the AI creates a lot of content quickly.

Privacy concerns are another factor. The data used to train LLMs often includes personal information or sensitive content from previous users. Handling this data securely is essential, especially for bloggers who deal with confidential or personal information in their content.

Scalability could also be a consideration. While LLMs can handle large-scale content creation and adapt to various formats, there might be limitations when it comes to highly specialized or niche technical topics that require deep expertise beyond what the model has been trained on.

Additionally, there’s the issue of job displacement for human writers in certain roles if AI tools become significantly more efficient at creating high-quality content. This could have broader implications for the writing industry and professional development.

Lastly, integration with existing workflows might be tricky. Bloggers would need to invest time in setting up processes where LLMs can assist effectively without disrupting their workflow negatively. There’s also the challenge of maintaining a balance between using AI tools and continuing to develop critical thinking and creativity independently.

In conclusion, while LLMs offer numerous benefits for efficiency, access to diverse content, and scalability in blogging about computer science and development, they also present challenges related to content quality, ethical considerations like proper attribution and data security, potential over-reliance on AI leading to loss of critical skills, and the need for ongoing monitoring and verification. Balancing these factors is essential for bloggers considering integrating such tools into their workflow.

</think>

Pro e Contra dell’utilizzo degli LLMS come DeepSeek per il Blogging di Informatica e sviluppo

Il utilizzo di Large Language Models (LLMs) come DeepSeek in ambito del blogging di informatica e sviluppo offre una serie di vantaggi, ma anche desavantaggi che devono essere considerati.

Vantaggi

1. Efficienza:
   Gli LLMs possono risparmiare tempo durante il processo di elaborazione dell’informazione per generare contenuti in modo automatico. Questo è particolarmente utile per blogger che dovolgono a creare contenuti regolari, poiché riduce il tempo necessario per la redazione e la revisione man mano che i modelli vengono addestrati a produrre output di qualità superiore.

2. Accesso a Conoscenza Ampia:
   Grazie alla diversa formazione dati, gli LLMs possono trarre know-how da vari campi, inclusivamente quelli specifici della informatica e sviluppo.Questo rende possibile generare contenuti adatto anche su temi specializzati o lessicali, fornendo informazioni precise ed up-to-date.

3. Cost-Effectività:
   L’uso di LLMs evita costi significativi associati al pagamento di autori professionali o strumenti computazionali intensivi. Questo è particolarmente utile per imprenditori o blogger individuali con risorse ridotte.

4. Scalabilità:
   Gli LLMs gestiscono facilmente enormi dataset e possono generare contenuti in vari formati, adatto a un blogging globale e a diverse esigenze.È particolarmente utile per sondaggi o progetti che richiedono una diversa distribuzione geografica.

5. ** novità e Varietà**:
   LLMs apERTono prospettive di innovazione nel genere della scrittura, permittendo l’esplorazione di nuovi stili di composizione o formaci di contenuto, mantenendo la divagazione del blog.

Costanti

1. Qualità Variable:
   La qualità dell’output può variare a seconda della clarezza e della contextualità dell’input. Senza precise indirizzazioni, il contenuto generato non raggiunge sempre le aspettative di un utente.

2. Ethica e Attribuzione:
   Questioni di etica emergono se l’autore non sapeva cosa chiedere all’LLM. È essenziale assicurarsi che i contenuti generati siano autori veritiari e che siano correctly attribuiti, per prevenire situazioni di tronconamento.

3. Sicurezza:
   I rischi di esposizione a informazioni sensibili esistono se la banca dati training include contenuti personali o confidenziale. La gestione di queste informazioni secure è essenziale per evitare inconvenienti legali.

4. Dipendenza da Macchine:
   L’uso intensivo di LLMs può portare a una riduzione del desiderio per svolgere manualmente compiti che potrebbero essere affrontati automaticamente, portando a un potenziale over-relianza su strumenti.

5. Monitoraggio e Verifica:
   Dato che l’output degli LLMs può essere inconsistent, è essenziale un constante monitoraggio e la verifica dei contenuti per mantenere il livello di qualità desiderato.

6. Intelligenza e Originalità:
   L’utente deve prevenire una riduzione delle capacità di pensiero critico e creativo se l’usanza degli LLMs diventa dominante, potenziando la tendenza all’autonomia inoltre.

7. Innovazione e Monitoraggio:
   È necessario integrare gli LLMs in modo efficiente nel lavoro di scrittura per mantenere il bilancio tra utilizzo di AI e sviluppo personale, assicurando che i contelli siano usati in modo equilibrato.

Conclusioni

Gli LLMs rappresentano una potenza strumentale per il blogging di informatica e sviluppo, offrendo risparmi di tempo e accesso a contenuti specializzati. Tuttavia, è essenziale considerare i potenziali inconvenienti associati alla quality variable del contenuto generato, questioni legate all’attribuzione e all’attribuzione giusta, il rischio di over-relianza su AI, e la necessità di costante monitoraggio.

In conclusione, l’utente di blogging dovrà valutare le specifiche proprie delle sue esigenze e del suo pubblico, integrando l’uso degli LLMs in modo adatto al loro contesto per mantenere una equilibrazione efficiente tra output generato e output originale.

I pensieri dell’LLM, invece, sono in inglese e come prima sono molto più interessanti. È probabile che Deepseek sia stato addestrato utilizzando ben pochi testi nella nostra lingua. E si vede!

Riassumere un articolo

Visto che con l’italiano non ce la fa, torno all’inglese e chiedo a Deepseek di riassumere la versione in inglese del mio primo articolo su LM Studio.³

Summarize this blog post https://melabit.com/2025/03/31/lmstudio-an-llm-on-your-computer/

Il risultato è questo:

The blog post discusses the release of an advanced Large Language Model (LLM) by LM Studio, a company focused on AI research. The model is designed to run efficiently on personal computers, offering enhanced capabilities in natural language processing tasks such as text generation, translation, and comprehension. The author highlights improvements in computational efficiency and accessibility, suggesting that this could democratize AI technology, making high-level AI applications more widely available to individuals without the need for specialized hardware or expensive cloud services. The post also speculates on potential future developments and uses of the model, emphasizing its potential impact across industries reliant on data analysis, content creation, and innovation.

Praticamente il nulla. E in ogni caso non ha niente a che fare con quello che c’è scritto nell’articolo che avrebbe dovuto riassumere.

Vediamo se Deepseek ce la fa almeno a preparare una lista dei punti principali dello stesso articolo, magari da utilizzare per una presentazione.

Prepare a bulleted list of the main points of this blog post: https://melabit.com/2025/03/31/lmstudio-an-llm-on-your-computer/

• Large Language Model (LLM) released: LM Studio has launched an advanced LLM designed to run efficiently on personal computers.
• Enhanced capabilities: The model is equipped with improved natural language processing abilities, including text generation, translation, and comprehension.
• Computational efficiency: The new model offers faster processing speeds and lower resource requirements compared to previous versions.
• Accessibility: The LLM aims to democratize AI technology, making it more widely accessible without the need for specialized hardware or expensive cloud services.
• Potential future developments: The blog suggests possible advancements in areas like multimodal capabilities (combining text with images or video) and real-time applications.
• Industry impact: The model could significantly influence sectors reliant on data analysis, content creation, and innovation across various industries.

Quello che scrive, in sé, è quasi tutto corretto, ma è anche generico, piatto e noioso quanto una presentazione aziendale. Inutile dire che, come prima, è completamente diverso dal contenuto reale del mio articolo.

E le traduzioni?

Arrivati a questo punto dovrebbe essere chiaro che Deepseek 7B non funziona. Ma facciamoci ancora più male e vediamo come se la cava con una traduzione. Basta limitarsi al primo paragrafo del solito articolo,

Translate this sentence to italian:

“As some of you may already know, I use LLMs (Large Language Models) for what they’re really good at, but I’m pretty skeptical about whether they’re truly intelligent or can solve any problem, as the folks at OpenAI, Microsoft, Google, and Meta keep telling us every day. They’ve invested a ton of money in LLMs, and they obviously have a big stake in getting everyone to use them all the time.”

che diventa, dopo ben 60 secondi di riflessione sul Mac Mini M1,

“Come alcuni di voi già sappiano, uso i Large Language Models per ciò che sono veramente adatto a farlo, ma penso che siano pregiati in modo falso e non possano risolvere qualsiasi problema, dato che spesso dicono quei company a noi di giorno e notte. Hanno investito un milione di dollari in LLM e hanno un’importante impresa nel farlo Everyone accoppati dietro dietro.”

che è più o meno come il francese di Totò.

Ho provato anche la traduzione opposta, dalla frase originale in italiano all’inglese, ma ve la risparmio. In realtà è abbastanza corretta, ma una perla come questa “I use Large Language Models (which are essentially large language models)” se la poteva risparmiare. Bocciato a prescindere.

Conclusioni

È evidente che il problema non sta in LM Studio, che è solo una interfaccia, ma nel modello usato. Deepseek online è ottimo e non fa di queste sciocchezze ma evidentemente, una volta compresso in soli 7 miliardi di parametri (dai 700 miliardi del modello originale), perde la testa e dà risultati senza senso.

Si può fare di meglio lavorando solo ed esclusivamente con dei modelli locali? Lo vedremo la prossima volta.

1. Ricordo ancora con orrore un weekend passato, in tre, a tradurre in inglese un grosso documento scritto in italiano. E ricordo con ancora più fastidio l’inutilità di tutto quel lavoro, perché quel documento serviva ad ottenere un finanziamento che non è mai arrivato. Per quel caso, un LLM locale sarebbe stato perfetto. ↩

2. Questo giochetto mi è costato due serate di prove e controprove per trovare il modo più semplice per mostrare un testo nascosto. ↩

3. Anche se il testo da riassumere è su internet, il modello effettua lo stesso tutte le sue elaborazioni solo in locale, sul nostro computer. ↩