为了报复元朝的侵略，松浦家族的武士集团开始对朝鲜半岛沿海进行掠夺。
因他们来自平户藩掌控的三个岛（对马岛、壹岐岛、平户岛），所以被朝鲜称为“三岛倭寇” 。后来，松浦家对朝鲜与中国沿海的侵扰逐渐演变为纯粹经济性的掠夺，对实施海禁的明朝中国沿海边防造成了颇大的威胁，中国因此沿用倭寇一词来称呼这股来自日本的外患。
在松浦史料博物馆外站着一座不足1米的铜像，那是一个改变平户与日本历史的中国人——中国沿海走私大户，徽州人王直。 王直在1542年来到平户，被藩主松浦隆信奉为上宾，他于是以平户为基地，从事日本——中国——东南亚的海上贸易，因暴利成为富商巨贾，也使平户摇身一变成了日本对外贸易的重镇。王直在平户自封为“徽王”，还率领日本浪人多次攻打中国沿海，在江浙闽粤地区烧杀掳掠，并要挟明朝廷开放海禁。1557年王直被浙江总督胡宗宪诱捕，两年后被处死。
王直在中国正史中是祸国殃民的倭寇首领，是抗倭名将俞大猷、戚继光的主要对手之一，然而对平户以及整个日本来说，他却是带领他们进入大航海时代的领航者。
16世纪中，葡萄牙人为了寻找马可波罗笔下的黄金之国，前来日本，在种子岛遇难，是王直将他们带到了平户，并在松浦隆信的热情接待下，开启了日本与欧洲（主要是葡萄牙及荷兰）的海上贸易。其中一条葡萄牙船上还搭载着前来远东传教的基督教耶稣会创始人之一沙勿略，他藉此机会第一次将基督教传入了日本（一个月内，平户有200人因他改信基督教）。因此无论在经济或文化上，王直对日本都造成巨大的影响。
王直死后，中国与日本的贸易并未禁绝；后来海禁时而趋缓，更多中国商人逐利于东海与南海之上，有时，他们乘着商船与日本交通，与欧洲商人贸易。郑成功的父亲郑芝龙就是这样来到日本的。
郑芝龙，号飞虹，小名一官，福建南安石井人（今福建泉州南安市石井镇）。他的生年难以考证，有些学者推测应在1595年。文献说他自幼“眉目清秀，气宇轩昂”，但又“性情荡逸，不喜读书，有膂力、好拳棒”。后来因做了不容于父亲的事，逃离家乡，投奔在澳门经商的母舅。当时澳门是葡萄牙人与中国贸易的商港，郑一官在此有机会与葡人交往，能通葡语，并曾经受洗成为天主教徒，还有个“尼古拉”的教名。
也许在1622年前后，年轻的郑一官因为押运舅舅的货物而坐上了平户华侨李旦的商船来到日本。抵达日本后，郑芝龙可能还到了骏府拜访了当时已退隐的德川第一代幕府将军德川家康，告以外国情势。德川家康让他住在长崎，后来又迁往平户，成了松浦隆信藩主（与其祖同名）的入幕之宾。据日本文献的说法，他还在那里学习日本“图明流的双刀法”。
